日本免费全黄少妇一区二区三区-高清无码一区二区三区四区-欧美中文字幕日韩在线观看-国产福利诱惑在线网站-国产中文字幕一区在线-亚洲欧美精品日韩一区-久久国产精品国产精品国产-国产精久久久久久一区二区三区-欧美亚洲国产精品久久久久

  1. 首頁 > 云知道 > >

解析Linux新技術(shù)對象存儲文件系統(tǒng)

云知道

隨著高性能計算由傳統(tǒng)的主機方式向網(wǎng)絡(luò)化集群演變，傳統(tǒng)的基于主機的存儲架構(gòu)已逐漸向網(wǎng)絡(luò)化存儲發(fā)展，計算和存儲分離的趨勢越來越明顯 。
針對 SAN 和 NAS 的不足，國際上已開展針對 Linux 集群的新型文件系統(tǒng)――對象存儲文件系統(tǒng)的研究，本文重點論述了存儲對象文件系統(tǒng)的架構(gòu)、技術(shù)特點，并針對Lustre 對象存儲文件系統(tǒng)進(jìn)行了初步測試，結(jié)果表明對象存儲文件系統(tǒng)在可擴展性、性能、易用性等方面都有顯著提高，隨著網(wǎng)絡(luò)化存儲技術(shù)的不斷成熟，對象存儲文件系統(tǒng)將成為重要的發(fā)展方向 。
一、引言
高性能計算已由傳統(tǒng)的主機方式逐漸向集群方式演變，如TOP500中，1998年只有2臺系統(tǒng)是集群方式，而到2003年已有208臺為集群系統(tǒng) 。隨著高性能計算體系結(jié)構(gòu)的發(fā)展變化，傳統(tǒng)的基于主機的存儲架構(gòu)已成為新的瓶頸，不能滿足集群系統(tǒng)的需求 。集群的存儲系統(tǒng)必須有效解決兩個主要問題：（1）提供共享訪問數(shù)據(jù)，便于集群應(yīng)用程序的編寫和存儲的負(fù)載均衡；（2）提供高性能的存儲，在I/O級和數(shù)據(jù)吞吐率方面能滿足成百上千臺規(guī)模的Linux集群服務(wù)器聚合訪問的需求 。目前，網(wǎng)絡(luò)化存儲已成為解決集群系統(tǒng)高性能存儲的有效技術(shù)途徑 。
國際上主要有兩類網(wǎng)絡(luò)化存儲架構(gòu)，它們是通過命令集來區(qū)分的 。第一類是SAN（Storage Area Network）結(jié)構(gòu)，它采用SCSI 塊I/O的命令集，通過在磁盤或FC（Fiber Channel）級的數(shù)據(jù)訪問提供高性能的隨機I/O和數(shù)據(jù)吞吐率，它具有高帶寬、低延遲的優(yōu)勢，在高性能計算中占有一席之地，如SGI的CXFS文件系統(tǒng)就是基于SAN實現(xiàn)高性能文件存儲的，但是由于SAN系統(tǒng)的價格較高，且可擴展性較差，已不能滿足成千上萬個CPU規(guī)模的系統(tǒng) 。第二類是NAS（Network Attached Storage）結(jié)構(gòu)，它采用NFS或CIFS命令集訪問數(shù)據(jù)，以文件為傳輸協(xié)議，通過TCP/IP實現(xiàn)網(wǎng)絡(luò)化存儲，可擴展性好、價格便宜、用戶易管理，如目前在集群計算中應(yīng)用較多的NFS文件系統(tǒng)，但由于NAS的協(xié)議開銷高、帶寬低、延遲大，不利于在高性能集群中應(yīng)用 。
針對Linux集群對存儲系統(tǒng)高性能和數(shù)據(jù)共享的需求，國外已開始研究全新的存儲架構(gòu)和新型文件系統(tǒng)，希望能有效結(jié)合SAN和NAS系統(tǒng)的優(yōu)點，支持直接訪問磁盤以提高性能，通過共享的文件和元數(shù)據(jù)以簡化管理，目前對象存儲文件系統(tǒng)已成為Linux集群系統(tǒng)高性能文件系統(tǒng)的研究熱點，如Cluster File Systems公司的Lustre、Panasas公司的ActiveScale文件系統(tǒng)等 。Lustre文件系統(tǒng)采用基于對象存儲技術(shù)，它來源于卡耐基梅隆大學(xué)的Coda項目研究工作，2003年12月發(fā)布了Lustre 1.0版，預(yù)計在2005年將發(fā)布2.0版 。Lustre在美國能源部(U.S.Department of Energy：DOE)、Lawrence Livermore 國家實驗室，Los Alamos國家實驗室，Sandia 國家實驗室，Pacific Northwest國家實驗室的高性能計算系統(tǒng)中已得到了初步的應(yīng)用，IBM正在研制的Blue Gene系統(tǒng)也將采用Lustre文件系統(tǒng)實現(xiàn)其高性能存儲 。ActiveScale文件系統(tǒng)技術(shù)來源于卡耐基梅隆大學(xué)的Dr. Garth Gibson，最早是由DARPA支持的NASD（Network Attached Secure Disks）項目，目前已是業(yè)界比較有影響力的對象存儲文件系統(tǒng)，榮獲了ComputerWorld 2004年創(chuàng)新技術(shù)獎 。
二、對象存儲文件系統(tǒng)
2.1 對象存儲文件系統(tǒng)架構(gòu),
對象存儲文件系統(tǒng)的核心是將數(shù)據(jù)通路（數(shù)據(jù)讀或?qū)懀┖涂刂仆罚ㄔ獢?shù)據(jù)）分離，并且基于對象存儲設(shè)備（Object-based Storage Device，OSD）構(gòu)建存儲系統(tǒng)，每個對象存儲設(shè)備具有一定的智能，能夠自動管理其上的數(shù)據(jù)分布，對象存儲文件系統(tǒng)通常有以下幾部分組成 。
1、對象
對象是系統(tǒng)中數(shù)據(jù)存儲的基本單位，一個對象實際上就是文件的數(shù)據(jù)和一組屬性的組合，這些屬性可以定義基于文件的RAID參數(shù)、數(shù)據(jù)分布和服務(wù)質(zhì)量等，而傳統(tǒng)的存儲系統(tǒng)中用文件或塊作為基本的存儲單位，在塊存儲系統(tǒng)中還需要始終追蹤系統(tǒng)中每個塊的屬性，對象通過與存儲系統(tǒng)通信維護(hù)自己的屬性 。在存儲設(shè)備中，所有對象都有一個對象標(biāo)識，通過對象標(biāo)識OSD命令訪問該對象 。通常有多種類型的對象，存儲設(shè)備上的根對象標(biāo)識存儲設(shè)備和該設(shè)備的各種屬性，組對象是存儲設(shè)備上共享資源管理策略的對象集合等 。

推薦閱讀