日本免费全黄少妇一区二区三区-高清无码一区二区三区四区-欧美中文字幕日韩在线观看-国产福利诱惑在线网站-国产中文字幕一区在线-亚洲欧美精品日韩一区-久久国产精品国产精品国产-国产精久久久久久一区二区三区-欧美亚洲国产精品久久久久

阿里云圖片存儲 阿里云盤資源共享站( 三 )


阿里云圖片存儲 阿里云盤資源共享站


DADI 鏡像采用塊存儲+分層技術(shù) , 每層只記錄被增量修改的數(shù)據(jù)塊 , 支持壓縮以及實(shí)時(shí)的按需解壓縮;支持按需傳輸 , 只傳輸用到的數(shù)據(jù)塊下載使用;DADI 還可以采用 P2P 傳輸架構(gòu) , 一傳十、十傳百 , 在大規(guī)模集群內(nèi)將網(wǎng)絡(luò)流量均衡到所有多個(gè)節(jié)點(diǎn)上去 。
DADI 關(guān)鍵技術(shù)解讀DADI 增量鏡像可以通過基于塊+分層技術(shù)來實(shí)現(xiàn) , 其中每個(gè)層對應(yīng)于一個(gè) LBA 的變更 。DADI 的關(guān)鍵技術(shù)包括遠(yuǎn)程鏡像的細(xì)粒度按需傳輸 , 高效的在線解壓縮 , 基于 trace 讀取 , 用于處理突發(fā)工作的 P2P 傳輸技術(shù) 。DADI 在提高部署應(yīng)用的敏捷性和彈性方面非常有效 。
1、分層塊設(shè)備 Overlay Block Device
每層記錄被增量修改的變長數(shù)據(jù)塊 LBA , 不涉及文件/文件系統(tǒng)的概念 , 以 512 字節(jié)為最小粒度 ??焖偎饕?nbsp;, 支持變長記錄 , 以節(jié)省內(nèi)存 , 各記錄的 LBA 不重疊 , 支持高效的區(qū)間查詢 。
2、原生支持可寫層
提供追加寫文件和隨機(jī)寫稀疏文件兩種模式構(gòu)建 DADI 鏡像 。只讀層 , 每個(gè)只讀都可以按照不同類型的大小 , 每層查詢區(qū)間 , 速度極快 。可寫層由存儲原始數(shù)據(jù)(Raw Data)和存儲索引(Index)兩部分組成 , 接受 append only 組織而成 。
阿里云圖片存儲 阿里云盤資源共享站


3、ZFile 壓縮格式
標(biāo)準(zhǔn)壓縮文件格式 , 例如 gz , bz2 , xz 等 , 無法高效的進(jìn)行隨機(jī)讀寫操作 , 無論讀取壓縮文件中的哪一部分 , 都需要從頭部開始解壓 , 為了支持 layer blob 的壓縮并同時(shí)支持遠(yuǎn)程鏡像的按需讀取 , DADI 引入了 ZFile 壓縮格式 。ZFile 的壓縮格式如下圖所示 , 按固定大小數(shù)據(jù)塊壓縮 , 只解壓讀到的數(shù)據(jù)塊 , 支持多種有效的壓縮算法 , 包括 lz4 , zstd , gzip 等 , 采用通用格式 , 不綁定于 DADI 。
阿里云圖片存儲 阿里云盤資源共享站


4、基于 Trace 預(yù)取
記錄應(yīng)用過程中的讀取日志、只記位置、不記數(shù)據(jù)本身 。在應(yīng)用冷啟動(dòng)時(shí) , 若已有 trace 記錄 , 則 DADI 將根據(jù)trace提前把數(shù)據(jù)預(yù)取回本地 , 采用高并發(fā)讀取 , 更加高效 。Trace 作為一個(gè)特殊的 layer 存于 image , 專門用于加速 , 用戶不可見 , 未來可容納其他加速文件 。如下圖綠色部分表示加速層、容納 trace 文件以及其他文件 。
5、按需 P2P 傳輸
在我們的生產(chǎn)環(huán)境中 , 有幾個(gè)關(guān)鍵應(yīng)用程序已經(jīng)部署在數(shù)千臺服務(wù)器上 , 并且包含高達(dá)數(shù) GB 的 Layer , 這些應(yīng)用程序的部署給 Registry 和網(wǎng)絡(luò)基礎(chǔ)設(shè)施帶來了巨大壓力 。為了更好的處理此類大型應(yīng)用 , DADI 將最近使用的數(shù)據(jù)塊緩存在每個(gè)宿主機(jī)的本地磁盤上 , 采用 P2P 的方式在主機(jī)之間傳輸數(shù)據(jù) 。
阿里云圖片存儲 阿里云盤資源共享站


1、采用樹形拓?fù)浣Y(jié)構(gòu)分發(fā)數(shù)據(jù)
  • 各個(gè)節(jié)點(diǎn)均緩存最近使用過的數(shù)據(jù)塊
  • 跨節(jié)點(diǎn)請求大概率命中父節(jié)點(diǎn)自己的 cache
  • 未命中的請求會遞歸向上傳遞 , 直到 registry
2、拓?fù)浣Y(jié)構(gòu)由 root 節(jié)點(diǎn)動(dòng)態(tài)維護(hù)
  • 每個(gè) layer 單獨(dú)一個(gè)傳輸拓?fù)?/li>
3、每個(gè)機(jī)房單獨(dú)部署一組 root

推薦閱讀