日本免费全黄少妇一区二区三区-高清无码一区二区三区四区-欧美中文字幕日韩在线观看-国产福利诱惑在线网站-国产中文字幕一区在线-亚洲欧美精品日韩一区-久久国产精品国产精品国产-国产精久久久久久一区二区三区-欧美亚洲国产精品久久久久

  1. 首頁 > 云知道 > >

解析Linux新技術(shù)對象存儲文件系統(tǒng)( 二 )

云知道


2、對象存儲設(shè)備
對象存儲設(shè)備具有一定的智能，它有自己的CPU、內(nèi)存、網(wǎng)絡(luò)和磁盤系統(tǒng)，目前國際上通常采用刀片式結(jié)構(gòu)實現(xiàn)對象存儲設(shè)備 。OSD提供三個主要功能：
（1） 數(shù)據(jù)存儲 。OSD管理對象數(shù)據(jù)，并將它們放置在標(biāo)準(zhǔn)的磁盤系統(tǒng)上，OSD不提供塊接口訪問方式，Client請求數(shù)據(jù)時用對象ID、偏移進(jìn)行數(shù)據(jù)讀寫 。
（2） 智能分布 。OSD用其自身的CPU和內(nèi)存優(yōu)化數(shù)據(jù)分布，并支持?jǐn)?shù)據(jù)的預(yù)取 。由于OSD可以智能地支持對象的預(yù)取，從而可以優(yōu)化磁盤的性能 。
（3） 每個對象元數(shù)據(jù)的管理 。OSD管理存儲在其上對象的元數(shù)據(jù)，該元數(shù)據(jù)與傳統(tǒng)的inode元數(shù)據(jù)相似，通常包括對象的數(shù)據(jù)塊和對象的長度 。而在傳統(tǒng)的NAS系統(tǒng)中，這些元數(shù)據(jù)是由文件服務(wù)器維護(hù)的，對象存儲架構(gòu)將系統(tǒng)中主要的元數(shù)據(jù)管理工作由OSD來完成，降低了Client的開銷 。
3、元數(shù)據(jù)服務(wù)器（Metadata Server，MDS）
MDS控制Client與OSD對象的交互，主要提供以下幾個功能： （1） 對象存儲訪問 。MDS構(gòu)造、管理描述每個文件分布的視圖，允許Client直接訪問對象 。MDS為Client提供訪問該文件所含對象的能力，OSD在接收到每個請求時將先驗證該能力，然后才可以訪問 。（2） 文件和目錄訪問管理 。MDS在存儲系統(tǒng)上構(gòu)建一個文件結(jié)構(gòu)，包括限額控制、目錄和文件的創(chuàng)建和刪除、訪問控制等 。（3） Client Cache一致性 。為了提高Client性能，在對象存儲文件系統(tǒng)設(shè)計時通常支持Client方的Cache 。由于引入Client方的Cache，帶來了Cache一致性問題，MDS支持基于Client的文件Cache，當(dāng)Cache的文件發(fā)生改變時，將通知Client刷新Cache，從而防止Cache不一致引發(fā)的問題 。4、對象存儲文件系統(tǒng)的Client 為了有效支持Client支持訪問OSD上的對象，需要在計算結(jié)點實現(xiàn)對象存儲文件系統(tǒng)的Client，通常提供POSIX文件系統(tǒng)接口，允許應(yīng)用程序像執(zhí)行標(biāo)準(zhǔn)的文件系統(tǒng)操作一樣 。2.2 對象存儲文件系統(tǒng)的關(guān)鍵技術(shù) 1、分布元數(shù)據(jù)傳統(tǒng)的存儲結(jié)構(gòu)元數(shù)據(jù)服務(wù)器通常提供兩個主要功能 。（1）為計算結(jié)點提供一個存儲數(shù)據(jù)的邏輯視圖（Virtual File System，VFS層），文件名列表及目錄結(jié)構(gòu) 。（2）組織物理存儲介質(zhì)的數(shù)據(jù)分布（inode層） 。對象存儲結(jié)構(gòu)將存儲數(shù)據(jù)的邏輯視圖與物理視圖分開，并將負(fù)載分布，避免元數(shù)據(jù)服務(wù)器引起的瓶頸（如NAS系統(tǒng)） 。元數(shù)據(jù)的VFS部分通常是元數(shù)據(jù)服務(wù)器的10％的負(fù)載，剩下的90％工作（inode部分）是在存儲介質(zhì)塊的數(shù)據(jù)物理分布上完成的 。在對象存儲結(jié)構(gòu)，inode工作分布到每個智能化的OSD，每個OSD負(fù)責(zé)管理數(shù)據(jù)分布和檢索，這樣90%的元數(shù)據(jù)管理工作分布到智能的存儲設(shè)備，從而提高了系統(tǒng)元數(shù)據(jù)管理的性能 。另外，分布的元數(shù)據(jù)管理，在增加更多的OSD到系統(tǒng)中時，可以同時增加元數(shù)據(jù)的性能和系統(tǒng)存儲容量 。2、并發(fā)數(shù)據(jù)訪問對象存儲體系結(jié)構(gòu)定義了一個新的、更加智能化的磁盤接口OSD 。OSD是與網(wǎng)絡(luò)連接的設(shè)備，它自身包含存儲介質(zhì)，如磁盤或磁帶，并具有足夠的智能可以管理本地存儲的數(shù)據(jù) 。計算結(jié)點直接與OSD通信，訪問它存儲的數(shù)據(jù)，由于OSD具有智能，因此不需要文件服務(wù)器的介入 。如果將文件系統(tǒng)的數(shù)據(jù)分布在多個OSD上，則聚合I/O速率和數(shù)據(jù)吞吐率將線性增長，對絕大多數(shù)Linux集群應(yīng)用來說，持續(xù)的I/O聚合帶寬和吞吐率對較多數(shù)目的計算結(jié)點是非常重要的 。對象存儲結(jié)構(gòu)提供的性能是目前其它存儲結(jié)構(gòu)難以達(dá)到的，如ActiveScale對象存儲文件系統(tǒng)的帶寬可以達(dá)到10GB/s 。
2.3 Lustre對象存儲文件系統(tǒng) Lustre對象存儲文件系統(tǒng)就是由客戶端（client）、存儲服務(wù)器（OST，Object Storage Target）和元數(shù)據(jù)服務(wù)器（MDS）三個主要部分組成 。Lustre的客戶端運行Lustre文件系統(tǒng)，它和OST進(jìn)行文件數(shù)據(jù)I/O的交互，和MDS進(jìn)行命名空間操作的交互 。為了提高Lustre文件系統(tǒng)的性能，通常Client、OST和MDS是分離，當(dāng)然這些子系統(tǒng)也可以運行在同一個系統(tǒng)中 。其三個主要部分如圖1所示 。圖1 Lustre文件系統(tǒng)的組成Lustre是一個透明的全局文件系統(tǒng)，客戶端可以透明地訪問集群文件系統(tǒng)中的數(shù)據(jù)，而無需知道這些數(shù)據(jù)的實際存儲位置 ?？蛻舳送ㄟ^網(wǎng)絡(luò)讀取服務(wù)器上的數(shù)據(jù)，存儲服務(wù)器負(fù)責(zé)實際文件系統(tǒng)的讀寫操作以及存儲設(shè)備的連接，元數(shù)據(jù)服務(wù)器負(fù)責(zé)文件系統(tǒng)目錄結(jié)構(gòu)、文件權(quán)限和文件的擴(kuò)展屬性以及維護(hù)整個文件系統(tǒng)的數(shù)據(jù)一致性和響應(yīng)客戶端的請求 。Lustre把文件當(dāng)作由元數(shù)據(jù)服務(wù)器定位的對象，元數(shù)據(jù)服務(wù)器指導(dǎo)實際的文件I/O請求到存儲服務(wù)器，存儲服務(wù)器管理在基于對象的磁盤組上的物理存儲 。由于采用元數(shù)據(jù)和存儲數(shù)據(jù)相分離的技術(shù)，可以充分分離計算和存儲資源，使得客戶端計算機可以專注于用戶和應(yīng)用程序的請求；存儲服務(wù)器和元數(shù)據(jù)服務(wù)器專注于讀、傳輸和寫數(shù)據(jù) 。存儲服務(wù)器端的數(shù)據(jù)備份和存儲配置以及存儲服務(wù)器擴(kuò)充等操作不會影響到客戶端，存儲服務(wù)器和元數(shù)據(jù)服務(wù)器均不會成為性能瓶頸 。Lustre的全局命名空間為文件系統(tǒng)的所有客戶端提供了一個有效的全局唯一的目錄樹，并將數(shù)據(jù)條塊化，再把數(shù)據(jù)分配到各個存儲服務(wù)器上，提供了比傳統(tǒng)SAN的"塊共享"更為靈活的共享訪問方式 。全局目錄樹消除了在客戶端的配置信息，并且在配置信息更新時仍然保持有效 。

推薦閱讀