日本免费全黄少妇一区二区三区-高清无码一区二区三区四区-欧美中文字幕日韩在线观看-国产福利诱惑在线网站-国产中文字幕一区在线-亚洲欧美精品日韩一区-久久国产精品国产精品国产-国产精久久久久久一区二区三区-欧美亚洲国产精品久久久久

  1. 首頁 > 云知道 > >

hadoop上傳文件命令 hadoop菜鳥教程( 二 )

云知道

  • client開始往A上傳第一個block(先從磁盤讀取數(shù)據(jù)放到一個本地內(nèi)存緩存)，以packet為單位，A收到一個packet就會傳給B，B傳給C；A每傳一個packet會放入一個應(yīng)答隊列等待應(yīng)答 。
  • 當(dāng)一個block傳輸完成之后，client再次請求namenode上傳第二個block的服務(wù)器 。
    • 3. HDFS讀數(shù)據(jù)流程
    概述：客戶端將要讀取的文件路徑發(fā)給namenode，namenode獲取文件的元信息(主要是block的存放位置信息)返回給客戶端，客戶端根據(jù)返回的信息找到相應(yīng)datanode逐個獲取文件的block并在客戶端進行數(shù)據(jù)追加合并從而獲得整個文件 。
    詳細(xì)步驟解析：
    跟namenode通信查詢元數(shù)據(jù)，找到文件塊所在的datanoede服務(wù)器挑選一臺datanode(就近原則，然后隨機)服務(wù)器，請求建立socket流datanode開始發(fā)送數(shù)據(jù)(從磁盤里面讀取數(shù)據(jù)放入流，以packet為單位來做校驗)客戶端以packet為單位接收，先在本地緩存，然后寫入目標(biāo)文件 。?
    NAMENODE工作機制
    學(xué)習(xí)目標(biāo)：理解namenode的工作機制尤其是元數(shù)據(jù)管理機制，以增強對HDFS工作原理的理解，及培養(yǎng)hadoop集群運營中”性能調(diào)優(yōu)”、”namenode”故障問題的分析解決能力
    職責(zé)：
    【hadoop上傳文件命令 hadoop菜鳥教程】NAMENODE職責(zé):負(fù)責(zé)客戶端請求的響應(yīng)元數(shù)據(jù)的管理(查詢、修改)元數(shù)據(jù)管理：namenode對數(shù)據(jù)的管理采用了三種存儲形式:內(nèi)存元數(shù)據(jù)(NameSystem)磁盤元數(shù)據(jù)鏡像文件(fsimage)數(shù)據(jù)操作日志文件(edits.xml)可通過日志運算出元數(shù)據(jù)元數(shù)據(jù)存儲機制(重要)：
    A、內(nèi)存中有一份完整的元數(shù)據(jù)(內(nèi)存meta data)
    B、磁盤有一個”準(zhǔn)完整”的元數(shù)據(jù)鏡像(fsimage)文件(在namenode的工作目錄中)
    ?C、用于銜接內(nèi)存metadata和持久化元數(shù)據(jù)鏡像fsimage之間的操作日志(edits文件)
    注：當(dāng)客戶端對hdfs中的文件進行新增或者修改操作，操作記錄首先被記入edits日志文件中，當(dāng)客戶端操作完成后，相應(yīng)的元數(shù)據(jù)會更新到內(nèi)存meta.data中 。
    元數(shù)據(jù)手動查看
    可通過hdfs的一個工具來查看edits中的信息hdfs oev -i edits -o edits.xmlhdfs oiv -i fsimage_0000000087 -p XML -o fsimage.xml
    inputfile: 要查看的fsimage文件
    outputfile:用于保存格式化之后的文件 process: 使用什么進程解碼，XML|Web|…
    ?Datanode工作職責(zé):
    存儲管理用戶的文件塊數(shù)據(jù)定期向namenode匯報自身所持有的block信息(通過心跳信息上報)(這點很重要，因為當(dāng)集群發(fā)生某些block副本失效時，集群如何恢復(fù)block初始副本數(shù)量的

    推薦閱讀