日本免费全黄少妇一区二区三区-高清无码一区二区三区四区-欧美中文字幕日韩在线观看-国产福利诱惑在线网站-国产中文字幕一区在线-亚洲欧美精品日韩一区-久久国产精品国产精品国产-国产精久久久久久一区二区三区-欧美亚洲国产精品久久久久

  1. 首頁(yè) > 云知道 > >

10個(gè)最流行的大數(shù)據(jù)分析工具,大數(shù)據(jù)處理平臺(tái)

云知道平臺(tái)

大數(shù)據(jù)平臺(tái)開(kāi)發(fā)大數(shù)據(jù)平臺(tái)工程師開(kāi)發(fā)主要關(guān)注提供大數(shù)據(jù)基礎(chǔ)設(shè)施和工具 。大數(shù)據(jù)開(kāi)發(fā)和大數(shù)據(jù)平臺(tái)開(kāi)發(fā)的工作都主要集中在1、2、3三層 ?？傊?，大數(shù)據(jù)平臺(tái)開(kāi)發(fā)工程師關(guān)注基礎(chǔ)設(shè)施和工具 。什么時(shí)候需要大數(shù)據(jù)平臺(tái)？簡(jiǎn)單的說(shuō)就是當(dāng)數(shù)據(jù)總量大到傳統(tǒng)單機(jī)數(shù)據(jù)解決方面沒(méi)辦法存儲(chǔ)，分析，計(jì)算時(shí)就要用到大數(shù)據(jù)平臺(tái) 。
大數(shù)據(jù)開(kāi)發(fā)跟大數(shù)據(jù)平臺(tái)開(kāi)發(fā)有區(qū)別嗎？

10個(gè)最流行的大數(shù)據(jù)分析工具,大數(shù)據(jù)處理平臺(tái)


我用一個(gè)比喻說(shuō)說(shuō)個(gè)人理解吧：大數(shù)據(jù)平臺(tái)在一些地方被稱為數(shù)據(jù)倉(cāng)庫(kù)，如果把數(shù)據(jù)倉(cāng)庫(kù)比作糧倉(cāng)的話，大數(shù)據(jù)平臺(tái)開(kāi)發(fā)工程師提供工具，比如研發(fā)更快的收割機(jī)、設(shè)計(jì)更大的倉(cāng)庫(kù)等等；大數(shù)據(jù)開(kāi)發(fā)工程師使用這些工具處理數(shù)據(jù)，比如將農(nóng)田里的收割、晾曬、去皮、研磨成可以食用的大米面粉 。數(shù)據(jù)科學(xué)金字塔上圖的數(shù)據(jù)金字塔展示了數(shù)據(jù)科學(xué)領(lǐng)域各崗位的大致職能 。
最底層是數(shù)據(jù)收集部分，主要是原始數(shù)據(jù)的生成和收集 。這部分?jǐn)?shù)據(jù)來(lái)自各種IoT設(shè)備、傳感器、手機(jī)APP上的用戶行為、外部數(shù)據(jù)、以及用戶生成數(shù)據(jù)（類似抖音用戶主動(dòng)發(fā)布的視頻） 。第二層是數(shù)據(jù)存儲(chǔ)部分，一般需要構(gòu)建數(shù)據(jù)倉(cāng)庫(kù)，生成一系列數(shù)據(jù)流，將原始數(shù)據(jù)存儲(chǔ)至大數(shù)據(jù)平臺(tái) 。第三層是數(shù)據(jù)清洗和轉(zhuǎn)化部分，主要對(duì)數(shù)據(jù)進(jìn)行清洗和預(yù)處理，將數(shù)據(jù)轉(zhuǎn)化為更高層次的數(shù)據(jù)，為上層數(shù)據(jù)分析做準(zhǔn)備 。
第四層是數(shù)據(jù)聚合部分，主要做一些基礎(chǔ)的數(shù)據(jù)分析和業(yè)務(wù)報(bào)表，進(jìn)行一些數(shù)據(jù)挖掘，并構(gòu)建機(jī)器學(xué)習(xí)的訓(xùn)練數(shù)據(jù) 。第五層是機(jī)器學(xué)習(xí)部分，主要構(gòu)建機(jī)器學(xué)習(xí)模型，將模型發(fā)布到生產(chǎn)系統(tǒng)，進(jìn)行AB實(shí)驗(yàn) 。最頂層是人工智能部分，頂級(jí)的科學(xué)家提出新算法或新架構(gòu) 。大數(shù)據(jù)開(kāi)發(fā)和大數(shù)據(jù)平臺(tái)開(kāi)發(fā)的工作都主要集中在1、2、3三層 。原始的數(shù)據(jù)就像農(nóng)田里的麥子，需要經(jīng)過(guò)層層工序，才能最終將其轉(zhuǎn)化餐桌上的面包 。
大數(shù)據(jù)開(kāi)發(fā)和大數(shù)據(jù)平臺(tái)開(kāi)發(fā)打通了糧食收割、清理、制粉的整個(gè)流程，將原始的糧食轉(zhuǎn)化成了面粉 。大數(shù)據(jù)平臺(tái)開(kāi)發(fā)大數(shù)據(jù)平臺(tái)工程師開(kāi)發(fā)主要關(guān)注提供大數(shù)據(jù)基礎(chǔ)設(shè)施和工具 。目前的大數(shù)據(jù)公司都建有自己的數(shù)據(jù)倉(cāng)庫(kù)，數(shù)據(jù)倉(cāng)庫(kù)中的一個(gè)子任務(wù)就是構(gòu)建OLAP（Online Analytical Processing，聯(lián)機(jī)分析處理）工具：主要是在Hadoop生態(tài)上，構(gòu)建大數(shù)據(jù)分析平臺(tái) 。
大數(shù)據(jù)平臺(tái)開(kāi)發(fā)所做的工作包括提供HDFS、HBase、對(duì)象存儲(chǔ)等數(shù)據(jù)存儲(chǔ)服務(wù)；Hive和Spark批處理、Druid和Kylin預(yù)處理等數(shù)據(jù)分析工具；Spark Streaming、Flink等流式計(jì)算工具 ?？傊髷?shù)據(jù)平臺(tái)開(kāi)發(fā)工程師關(guān)注基礎(chǔ)設(shè)施和工具 。大數(shù)據(jù)開(kāi)發(fā)大數(shù)據(jù)工程師的一個(gè)重要任務(wù)是ETL（Extract、Trasform、Load）：使用大數(shù)據(jù)平臺(tái)開(kāi)發(fā)工程師提供的基礎(chǔ)設(shè)施和工具，在收集到的數(shù)據(jù)上做提取和轉(zhuǎn)化，生成更高層次的數(shù)據(jù) 。
這部分工程師關(guān)注業(yè)務(wù)相關(guān)的數(shù)據(jù)流 。因?yàn)樵紨?shù)據(jù)一般都是互相獨(dú)立的，數(shù)據(jù)與數(shù)據(jù)之間關(guān)聯(lián)性差，使用這些原始數(shù)據(jù)，幾乎很難快速生成用戶畫像、廣告收入等高層次數(shù)據(jù)分析結(jié)果，更不用提如何進(jìn)行機(jī)器學(xué)習(xí)建模了 。以今日頭條內(nèi)容推薦引擎為例，整個(gè)推薦引擎要接入不同類型的異構(gòu)大數(shù)據(jù)源：每個(gè)用戶在APP上的使用行為、公司購(gòu)買的第三方數(shù)據(jù)（包括用戶金融能力數(shù)據(jù)等）、自媒體產(chǎn)生的海量圖文視頻內(nèi)容等等 。
數(shù)據(jù)工程師的工作包括：將用戶在APP內(nèi)的點(diǎn)擊行為與點(diǎn)擊的內(nèi)容做關(guān)聯(lián)，生成用戶興趣畫像；將用戶的APP內(nèi)部數(shù)據(jù)與第三方數(shù)據(jù)關(guān)聯(lián)，生成用戶的消費(fèi)能力畫像等 。大數(shù)據(jù)開(kāi)發(fā)工程師主要對(duì)收集過(guò)來(lái)的底層數(shù)據(jù)做處理，建立一系列數(shù)據(jù)管道，將來(lái)自不同數(shù)據(jù)源的原始數(shù)據(jù)經(jīng)過(guò)層層轉(zhuǎn)化，生成對(duì)數(shù)據(jù)分析和算法建模更有價(jià)值的中間數(shù)據(jù)，一般稱這個(gè)流程為數(shù)據(jù)流 。

推薦閱讀