日本免费全黄少妇一区二区三区-高清无码一区二区三区四区-欧美中文字幕日韩在线观看-国产福利诱惑在线网站-国产中文字幕一区在线-亚洲欧美精品日韩一区-久久国产精品国产精品国产-国产精久久久久久一区二区三区-欧美亚洲国产精品久久久久

  1. 首頁 > 云知道 > >

通過CDH5 Hadoop讀取和寫入OSS數(shù)據(jù)( 二 )

云知道云服務(wù)器


[root@cdh-master lib]# ln -s ../../../jars/httpclient-4.5.2.jar httpclient-4.5.2.jar
[root@cdh-master lib]# ln -s ../../../jars/httpcore-4.4.4.jar httpcore-4.4.4.jar
[root@cdh-master lib]# ln -s ../../../jars/jdom-1.1.jar jdom-1.1.jar

  • 進(jìn)入Resurce Manager部署節(jié)點的${CDH_HOME}/lib/hadoop-yarn/bin/目錄，將yarn中的CLASSPATH=${CLASSPATH}:$HADOOP_YARN_HOME/${YARN_DIR}/* CLASSPATH=${CLASSPATH}:$HADOOP_YARN_HOME/${YARN_LIB_JARS_DIR}/*替換為CLASSPATH=$HADOOP_YARN_HOME/${YARN_DIR}/*:${CLASSPATH}CLASSPATH=$HADOOP_YARN_HOME/${YARN_LIB_JARS_DIR}/*:${CLASSPATH} 。
  • 進(jìn)入到Resurce Manager部署節(jié)點的${CDH_HOME}/lib/hadoop-yarn/lib目錄，執(zhí)行如下命令：
    [root@cdh-master lib]# ln -s ../../../jars/httpclient-4.2.5.jar httpclient-4.2.5.jar
    [root@cdh-master lib]# ln -s ../../../jars/httpcore-4.2.5.jar httpcore-4.2.5.jar
  • 通過集群管理工具CM增加配置 。
    若沒有CM管理的集群，可以修改core-site.xml 。以CM為例，您需要增加如下配置：
    配置項值fs.oss.endpoint填寫需要連接的OSS的Endpoint 。
    例如華東1（杭州）地址的Endpoint為oss-cn-hangzhou.aliyuncs.com 。更多地域的Endpoint信息，請參見訪問域名和數(shù)據(jù)中心 。
    fs.oss.accessKeyId填寫OSS的AccessKey ID 。AccessKey的獲取方式，請參見創(chuàng)建AccessKey 。fs.oss.accessKeySecret填寫OSS的AccessKey Secret 。AccessKey的獲取方式，請參見創(chuàng)建AccessKey 。fs.oss.implHadoop OSS文件系統(tǒng)實現(xiàn)類 。目前固定為org.apache.hadoop.fs.aliyun.oss.AliyunOSSFileSystem 。fs.oss.buffer.dir填寫臨時文件目錄 。
    建議值：/tmp/oss
    fs.oss.connection.secure.enabled是否開啟HTTPS，開啟HTTPS會影響性能 。
    建議值：false
    fs.oss.connection.maximum與OSS的連接數(shù) 。
    建議值：2048
    更多參數(shù)詳情，請參見 Hadoop-Aliyun module 。
  • 根據(jù)CM提示重啟集群 。
  • 測試讀寫OSS 。
    • 【通過CDH5 Hadoop讀取和寫入OSS數(shù)據(jù)】測試讀
      hadoop fs -ls oss://${your-bucket-name}/
    • 測試寫
      hadoop fs -mkdir oss://${your-bucket-name}/hadoop-test若測試可以讀寫OSS，則配置成功；若無法讀寫OSS，請檢查配置 。
    • 步驟二：配置Impala對OSS的支持Impala可以直接查詢存儲在HDFS的數(shù)據(jù)，在CDH5支持OSS后，就可以直接查詢存儲在OSS的數(shù)據(jù) 。OSS SDK要求這兩個組件的版本較高，所以需要在所有部署Impala的節(jié)點執(zhí)行以下操作：
    1. 進(jìn)入${CDH_HOME}/lib/impala/lib，執(zhí)行如下命令：
      [root@cdh-master lib]# rm -f httpclient-4.2.5.jar httpcore-4.2.5.jar
      [root@cdh-master lib]# ln -s ../../../jars/httpclient-4.5.2.jar httpclient-4.5.2.jar
      [root@cdh-master lib]# ln -s ../../../jars/httpcore-4.4.4.jar httpcore-4.4.4.jar
      [root@cdh-master lib]# ln -s ../../../jars/hadoop-aliyun-2.6.0-cdh5.14.4.jar hadoop-aliyun.jar
      [root@cdh-master lib]# ln -s ../../../jars/aliyun-java-sdk-core-3.4.0.jar aliyun-java-sdk-core-3.4.0.jar
      [root@cdh-master lib]# ln -s ../../../jars/aliyun-java-sdk-ecs-4.2.0.jar aliyun-java-sdk-ecs-4.2.0.jar
      [root@cdh-master lib]# ln -s ../../../jars/aliyun-java-sdk-ram-3.0.0.jar aliyun-java-sdk-ram-3.0.0.jar
      [root@cdh-master lib]# ln -s ../../../jars/aliyun-java-sdk-sts-3.0.0.jar aliyun-java-sdk-sts-3.0.0.jar
      [root@cdh-master lib]# ln -s ../../../jars/aliyun-sdk-oss-3.4.1.jar aliyun-sdk-oss-3.4.1.jar
      [root@cdh-master lib]# ln -s ../../../jars/jdom-1.1.jar jdom-1.1.jar
    2. 進(jìn)入${CDH_HOME}/bin目錄，修改impalad、statestored、catalogd三個文件，在文件最后一行的exec命令前，增加如下內(nèi)容：
      export CLASSPATH=$CLASSPATH:${IMPALA_HOME}/lib/httpclient-4.5.2.jar:${IMPALA_HOME}/lib/httpcore-4.4.4.jar:${IMPALA_HOME}/lib/hadoop-aliyun.jar:${IMPALA_HOME}/lib/aliyun-java-sdk-core-3.4.0.jar:${IMPALA_HOME}/lib/aliyun-java-sdk-ecs-4.2.0.jar:${IMPALA_HOME}/lib/aliyun-java-sdk-ram-3.0.0.jar:${IMPALA_HOME}/lib/aliyun-java-sdk-sts-3.0.0.jar:${IMPALA_HOME}/lib/aliyun-sdk-oss-3.4.1.jar:${IMPALA_HOME}/lib/jdom-1.1.jar

      推薦閱讀