CDH（Cloudera’s Distribution, including Apache Hadoop）是眾多Hadoop發(fā)行版本中的一種，最新版本CDH6.0.1中的Hadoop3.0.0版本已經(jīng)支持OSS，但CDH5中的Hadoop2.6版本不支持OSS 。本文介紹如何配置CDH5支持OSS讀寫(xiě) 。
前提條件擁有一個(gè)已搭建好的CDH5集群（本文以CDH 5.14.4版本為例） 。如何搭建CDH5集群，請(qǐng)參見(jiàn)官方文檔 。
背景信息由于CDH5的httpclient和httpcore這兩個(gè)組件版本較低（4.2.5），Resource Manager要求的httpclient和httpcore必須是低版本，而OSS SDK要求這兩個(gè)組件的版本較高 。因此，本文提供了一個(gè)workaround方案 。
步驟一：增加OSS配置您需要在所有的CDH節(jié)點(diǎn)執(zhí)行以下操作：
- 查看CDH5安裝目錄${CDH_HOME}的結(jié)構(gòu)：
[root@cdh-master CDH-5.14.4-1.cdh5.14.4.p0.3]# ls -lh
總用量 100K
drwxr-xr-x2 root root 4.0K 6月12 21:03 bin
drwxr-xr-x 27 root root 4.0K 6月12 20:57 etc
drwxr-xr-x5 root root 4.0K 6月12 20:57 include
drwxr-xr-x2 root root68K 6月12 21:09 jars
drwxr-xr-x 38 root root 4.0K 6月12 21:03 lib
drwxr-xr-x3 root root 4.0K 6月12 20:57 lib64
drwxr-xr-x3 root root 4.0K 6月12 20:51 libexec
drwxr-xr-x2 root root 4.0K 6月12 21:02 meta
drwxr-xr-x4 root root 4.0K 6月12 21:03 share
說(shuō)明 本文中所有${}的內(nèi)容為環(huán)境變量，請(qǐng)根據(jù)您實(shí)際的環(huán)境修改 。
- 下載CDH 5.14.4版本支持OSS的支持包至CDH5的安裝目錄中的jars文件夾中 。
該支持包是根據(jù)CDH 5.14.4中Hadoop的版本，并增加Apache Hadoop對(duì)OSS支持的補(bǔ)丁后編譯得到的 。其他版本支持包下載地址，請(qǐng)參見(jiàn)：
- CDH 5.8.5
- CDH 5.4.4
- CDH 6.3.2
說(shuō)明 對(duì)于CDH 6.3.2版本，您需要將支持包的文件復(fù)制到CDH6安裝目錄的jars文件夾中，然后參考以下步驟進(jìn)行部署（主要更新aliyun-sdk-oss-3.4.1.jar以及將aliyun-java-sdk-*.jar符號(hào)鏈接到對(duì)應(yīng)的位置） 。
- CDH 5.8.5
- 解壓支持包 。
[root@cdh-master CDH-5.14.4-1.cdh5.14.4.p0.3]# tar -tvf hadoop-oss-cdh-5.14.4.tar.gz
drwxr-xr-x root/root 0 2018-10-08 18:16 hadoop-oss-cdh-5.14.4/
-rw-r--r-- root/root 13277 2018-10-08 17:36 hadoop-oss-cdh-5.14.4/aliyun-java-sdk-sts-3.0.0.jar
-rw-r--r-- root/root 326724 2018-10-08 18:16 hadoop-oss-cdh-5.14.4/httpcore-4.4.4.jar
-rw-r--r-- root/root 524927 2018-10-08 17:36 hadoop-oss-cdh-5.14.4/aliyun-sdk-oss-3.4.1.jar
-rw-r--r-- root/root 116337 2018-10-08 17:36 hadoop-oss-cdh-5.14.4/aliyun-java-sdk-core-3.4.0.jar
-rw-r--r-- root/root 215492 2018-10-08 17:36 hadoop-oss-cdh-5.14.4/aliyun-java-sdk-ram-3.0.0.jar
-rw-r--r-- root/root 788137 2018-10-08 17:36 hadoop-oss-cdh-5.14.4/aliyun-java-sdk-ecs-4.2.0.jar
-rw-r--r-- root/root 70017 2018-10-08 17:36 hadoop-oss-cdh-5.14.4/hadoop-aliyun-2.6.0-cdh5.14.4.jar
-rw-r--r-- root/root 736658 2018-10-08 18:16 hadoop-oss-cdh-5.14.4/httpclient-4.5.2.jar - 進(jìn)入${CDH_HOME}/lib/hadoop目錄，執(zhí)行如下命令：
[root@cdh-master hadoop]# rm -f lib/httpclient-4.2.5.jar
[root@cdh-master hadoop]# rm -f lib/httpcore-4.2.5.jar
[root@cdh-master hadoop]# ln -s ../../jars/hadoop-aliyun-2.6.0-cdh5.14.4.jar hadoop-aliyun-2.6.0-cdh5.14.4.jar
[root@cdh-master hadoop]# ln -s hadoop-aliyun-2.6.0-cdh5.14.4.jar hadoop-aliyun.jar
[root@cdh-master hadoop]# cd lib
[root@cdh-master lib]# ln -s ../../../jars/aliyun-java-sdk-core-3.4.0.jar aliyun-java-sdk-core-3.4.0.jar
[root@cdh-master lib]# ln -s ../../../jars/aliyun-java-sdk-ecs-4.2.0.jar aliyun-java-sdk-ecs-4.2.0.jar
[root@cdh-master lib]# ln -s ../../../jars/aliyun-java-sdk-ram-3.0.0.jar aliyun-java-sdk-ram-3.0.0.jar
[root@cdh-master lib]# ln -s ../../../jars/aliyun-java-sdk-sts-3.0.0.jar aliyun-java-sdk-sts-3.0.0.jar
[root@cdh-master lib]# ln -s ../../../jars/aliyun-sdk-oss-3.4.1.jar aliyun-sdk-oss-3.4.1.jar推薦閱讀
- 如何通過(guò)對(duì)方手機(jī)號(hào)定位對(duì)方位置 手機(jī)號(hào)定位在線查詢位置
- 如何通過(guò)對(duì)方手機(jī)號(hào)定位對(duì)方位置 手機(jī)號(hào)定位查詢位置免費(fèi)
- 紅米手機(jī)如何通過(guò)數(shù)據(jù)線連接電腦
- 通過(guò)電壓判斷電池電量,手機(jī)如何判斷電池電量
- 通過(guò)身份證號(hào)碼可以查照片嗎 手機(jī)號(hào)碼可以查找定位嗎
- 怎么通過(guò)手機(jī)號(hào)定位對(duì)方位置 通過(guò)手機(jī)號(hào)查詢對(duì)方位置
- 聯(lián)通手機(jī)怎樣查詢剩余流量
- woop,我oppo官網(wǎng)
- 純水機(jī)，什么是純水機(jī)
- 蘋(píng)果筆記本通過(guò)命令行怎么查看mac地址
-
