日本免费全黄少妇一区二区三区-高清无码一区二区三区四区-欧美中文字幕日韩在线观看-国产福利诱惑在线网站-国产中文字幕一区在线-亚洲欧美精品日韩一区-久久国产精品国产精品国产-国产精久久久久久一区二区三区-欧美亚洲国产精品久久久久

  1. 首頁 > 云知道 > >

spark和hadoop的區(qū)別和聯(lián)系 spark和hadoop的區(qū)別

云知道


spark和hadoop的區(qū)別和聯(lián)系 spark和hadoop的區(qū)別


據(jù)最新發(fā)布的《大數(shù)據(jù)人才報(bào)告》顯示,目前全國的大數(shù)據(jù)人才僅46萬,未來3-5年內(nèi)大數(shù)據(jù)人才的缺口將高達(dá)150萬，大數(shù)據(jù)研發(fā)工程師缺口巨大，大數(shù)據(jù)相關(guān)的面試題目更少，希望本篇能幫助想進(jìn)入大數(shù)據(jù)行業(yè)的從業(yè)者 。
大數(shù)據(jù)方面： mapreduce過程 hbase和傳統(tǒng)數(shù)據(jù)庫的區(qū)別 hbase讀數(shù)據(jù)過程 hbase master和regionserver的交互 hbase的ha，zookeeper在其中的作用，master宕機(jī)的時(shí)候，哪些能正常工作，讀寫數(shù)據(jù)？region分裂？ 數(shù)據(jù)傾斜 mysql索引，哪些索引？實(shí)現(xiàn)原理？哪些存儲(chǔ)引擎支持B樹索引，哪些支持hash索引？ 為啥mysql索引要用B+樹而MongoDB用B樹？ Mysql查詢優(yōu)化？ 主鍵和唯一索引的區(qū)別 事務(wù)的隔離機(jī)制，mysql默認(rèn)是哪一級(jí) MyISAM和InnoDB存儲(chǔ)引擎的區(qū)別 mysql查詢優(yōu)化，慢查詢?cè)趺慈ザㄎ唬?mysql中的各種鎖，樂觀鎖，悲觀鎖（排他鎖，共享鎖）；行鎖，表鎖是怎么實(shí)現(xiàn)的？ mapreduce支持哪些join，map端？reduce端？semi join？semi join你可以通過什么算法去優(yōu)化？ mapreduce實(shí)現(xiàn)二次排序 用mapreduce實(shí)現(xiàn)兩表join 用mapreduce實(shí)現(xiàn)一個(gè)存儲(chǔ)kv數(shù)據(jù)的文件，對(duì)里面的v進(jìn)行全量排序 zookeeper實(shí)現(xiàn)原理，zab協(xié)議以及原子廣播協(xié)議 paxos協(xié)議，multi-paxos，zab，raft各種分布式協(xié)議內(nèi)容，使用場(chǎng)景 hadoop namenode的ha，主備切換實(shí)現(xiàn)原理，日志同步原理，QJM中用到的分布式一致性算法（就是paxos算法） spark運(yùn)行架構(gòu) spark運(yùn)行原理，從提交一個(gè)jar到最后返回結(jié)果，整個(gè)過程 spark的stage劃分是怎么實(shí)現(xiàn)的？拓?fù)渑判?？怎么?shí)現(xiàn)？還有什么算法實(shí)現(xiàn)？ spark rpc，spark2.0為啥舍棄了akka，而用netty? spark的各種shuffle，與mapreduce的對(duì)比 spark的各種ha，master的ha，worker的ha，executor的ha，driver的ha,task的ha,在容錯(cuò)的時(shí)候?qū)夯蚴莟ask有什么影響？ spark的內(nèi)存管理機(jī)制，spark1.6前后對(duì)比分析 spark2.0做出了哪些優(yōu)化？tungsten引擎？cpu與內(nèi)存兩個(gè)方面分別說明 spark rdd、dataframe、dataset區(qū)別callable runnable 區(qū)別 synchronized與lock區(qū)別 類加載機(jī)制 gc算法 spark數(shù)據(jù)傾斜 spark shuffle spark 內(nèi)存管理 各種排序算法，時(shí)間復(fù)雜度，空間復(fù)雜度，spark和hadoop中shuffle中各個(gè)階段用到的排序算法把這幾種排序算法的使用場(chǎng)景表現(xiàn)得淋漓盡致啊 。spark里面有哪些參數(shù)可以設(shè)置？針對(duì)各個(gè)場(chǎng)景說明類加載過程（class文件到j(luò)vm這個(gè)過程）內(nèi)存泄露，哪些場(chǎng)景會(huì)出現(xiàn)top k問題，有哪些實(shí)現(xiàn)方案兩串?dāng)?shù)字找同時(shí)出現(xiàn)的B樹索引慢查詢定位說說你熟悉的加密算法怎么快速統(tǒng)計(jì)出一個(gè)城市有多少家餐館講講最能代表你技術(shù)能力的項(xiàng)目進(jìn)程線程區(qū)別hashMap和treeMap的區(qū)別，以及實(shí)現(xiàn)concurrenthashmap怎么實(shí)習(xí)同步？各個(gè)版本的實(shí)現(xiàn)方案？hdfs讀取流程，小文件處理 算法數(shù)據(jù)結(jié)構(gòu)方面： 圖怎么存的、有哪些圖算法 紅黑樹怎么實(shí)現(xiàn)、如果樹里面有兩個(gè)值相等的節(jié)點(diǎn)，怎么識(shí)別？ 一排正整數(shù)，每次只能去兩頭的數(shù)，甲乙兩個(gè)人輪流取，如果甲先取，問最后誰取得數(shù)相加和最大，最大和為多少？典型博弈論問題（可以看看海盜分金問題），寫了兩個(gè)動(dòng)態(tài)規(guī)劃方程HBASE，HDFS，HIVE,MAPREDUCE
1 HBASE為何能海量存儲(chǔ)，ORACLE為何不行，底層什么形式存在HDFS上？
2 HBASE和HDFS區(qū)別？
3 HADOOP1.0和2.0區(qū)別？
【spark和hadoop的區(qū)別和聯(lián)系 spark和hadoop的區(qū)別】4 NAMENODE的HA？
5 槽位數(shù)的共享問題？需要注意什么？（REDUCE SLOT提前啟動(dòng)和MAPSLOT餓死）
6 ZK的LEADER選舉算法？
7 如何設(shè)置優(yōu)先級(jí)？
8 2.0如何資源調(diào)度？
9 MAPREDUCE和HIVE區(qū)別？HIVE的外部表和內(nèi)部表？
10 怎么優(yōu)化？
11 HADOOP1.0和2.0HDFS的BLOCK各為多少？

推薦閱讀