相關(guān)文章

• 基于文件存儲UFS的Pytorch訓(xùn)練IO優(yōu)化實踐

  摘要：我們在協(xié)助某客戶排查一個文件存儲的性能時發(fā)現(xiàn)，其使用的訓(xùn)練性能和硬件的能力有很大的差距后面內(nèi)容有具體性能對比數(shù)據(jù)。但直接緩存數(shù)據(jù)在集群規(guī)模上升之后肯定是不現(xiàn)實的，我們初步只緩存各個訓(xùn)練文件的句柄信息，以降低元數(shù)據(jù)訪問開銷。我們在協(xié)助某AI客戶排查一個UFS文件存儲的性能case時發(fā)現(xiàn)，其使用的Pytorch訓(xùn)練IO性能和硬件的IO能力有很大的差距（后面內(nèi)容有具體性能對比數(shù)據(jù)）。讓我們感到困惑...

  Tecode 2022-06-28 18:59 評論0 收藏0

• 【容器實例Cube】在Cube中使用UFS：需要在UFS產(chǎn)品頁面購買UFS實例并設(shè)置好掛載點

  摘要：在中使用前置條件需要在產(chǎn)品頁面購買實例并設(shè)置好掛載點，如沒有創(chuàng)建在使用中請根據(jù)提示進(jìn)行創(chuàng)建。操作后在頁面點擊刷新即可。掛載卷點擊容器的高階設(shè)置。查看掛載是否成功我們使用概覽頁面的登錄按鈕進(jìn)入容器。在Cube中使用UFS前置條件需要在UFS產(chǎn)品頁面購買UFS實例并設(shè)置好掛載點，如沒有創(chuàng)建UFS在使用中請根據(jù)提示進(jìn)行創(chuàng)建。操作后在Cube頁面點擊刷新即可。添加卷已經(jīng)創(chuàng)建好UFS實例和掛載點后，根...

  Tecode 2022-06-28 19:00 評論0 收藏0

• 基于NVMe SSD的分布式文件存儲UFS性能提升技術(shù)解析

  摘要：宋體是一款自主研發(fā)的分布式文件存儲產(chǎn)品，此前已推出容量型版本。宋體性能的提升不僅僅是因為存儲介質(zhì)的升級，更有架構(gòu)層面的改進(jìn)，本文將從協(xié)議索引存儲設(shè)計等幾方面來詳細(xì)介紹性能型升級改造的技術(shù)細(xì)節(jié)。UFS (UCloud File System) 是一款 UCloud 自主研發(fā)的分布式文件存儲產(chǎn)品，此前已推出容量型 UFS 版本。UFS 以其彈性在線擴(kuò)容、穩(wěn)定可靠的特點，為眾多公有云、物理云、托管...

  Cheng_Gang 2019-12-27 12:22 評論0 收藏0
• 

  主要概念 文件存儲 UFS

  摘要：主要概念主要概念主要概念文件系統(tǒng)文件系統(tǒng)用戶通過控制臺等方式申請得到的文件存儲實例，文件系統(tǒng)是用戶做數(shù)據(jù)管理掛載管理等操作的實體。強(qiáng)烈建議文件存儲用戶對各文件系統(tǒng)實例開啟用量告警并及時擴(kuò)容。 主要概念文件系統(tǒng)用戶通過控制臺、API等方式申請得到的文件存儲實例，文件系統(tǒng)是用戶做數(shù)據(jù)管理、掛載管理等操作的實體。文件系統(tǒng)名稱用戶自定義的字符串，用于描述某個文件系統(tǒng)的使用場景、業(yè)務(wù)類型等便于識別特定...

  ernest.wang 2022-07-12 17:32 評論0 收藏2135
• 

  在UK8S中使用UFS 容器云 UK8S

  摘要：與集群必須處于同一，否則文件系統(tǒng)無法成功掛載。此處填寫掛載地址創(chuàng)建創(chuàng)建創(chuàng)建創(chuàng)建示例如下創(chuàng)建完后，可以發(fā)現(xiàn)與已經(jīng)綁定。在中掛載在中掛載在中掛載創(chuàng)建完之后，我們可以通過命令進(jìn)入容器，執(zhí)行命令查看是否掛載到 在UK8S中使用UFS本篇目錄前置條件創(chuàng)建PV創(chuàng)建PVC在Pod中掛載UFS本文檔介紹如何在UK8S集群中，使用UFS作為K8S底層的存儲支持，UFS為共享存儲，可以同時為多個Pod提供服務(wù)。...

  ernest.wang 2022-07-12 17:38 評論0 收藏2130
• 

  創(chuàng)建文件系統(tǒng) 文件存儲 UFS

  摘要：若后續(xù)希望跨項目組的主機(jī)訪問文件系統(tǒng)，可以通過在控制臺上打通主機(jī)和文件系統(tǒng)掛載點所在的來實現(xiàn)。 創(chuàng)建文件系統(tǒng)步驟一、進(jìn)入文件存儲 UFS 產(chǎn)品步驟二、在控制臺頁面選擇創(chuàng)建文件存儲的目標(biāo)地域和項目組目前文件存儲在各地域的支持詳情請參見產(chǎn)品限制章節(jié)或咨詢技術(shù)支持。由于文件系統(tǒng)的訪問是基于 VPC 的，并且目前在控制臺上只允許選擇和文件系統(tǒng)實例同一個項目組下的 VPC 進(jìn)行訪問，請您確定需要訪問文...

  ernest.wang 2022-07-12 17:45 評論0 收藏1611