日本免费全黄少妇一区二区三区-高清无码一区二区三区四区-欧美中文字幕日韩在线观看-国产福利诱惑在线网站-国产中文字幕一区在线-亚洲欧美精品日韩一区-久久国产精品国产精品国产-国产精久久久久久一区二区三区-欧美亚洲国产精品久久久久

大數(shù)據(jù)平臺架構(gòu)詳解 主流大數(shù)據(jù)架構(gòu)圖

【大數(shù)據(jù)平臺架構(gòu)詳解 主流大數(shù)據(jù)架構(gòu)圖】大數(shù)據(jù):顧名思義就是很大量的數(shù)據(jù) 。不過如果只說到這里的話,未免太敷衍了 。大數(shù)據(jù)除了量大之外,還有其他幾個特點:借用5V的理論,量大,高速,多樣性、低價值密度、還有真實性 。因為這五個詞的英文都是以V開頭的,所以叫5V 。
但是在普通人的眼中,大數(shù)據(jù)就被理解偏了,很多人都把大數(shù)據(jù)理解成了用戶的隱私 。比如我今天上午剛在網(wǎng)上搜了買房子的信息,下午就有中介給我打電話,向我推薦二手房 。類似于這樣的事情比比皆是,我們幾乎每一個人,每天都被騷擾電話所困擾著 。這些騷擾電話除了廣撒網(wǎng)之外,有很多的騷擾電話竟然非常精確地能夠匹配到你的需求 。當(dāng)你需要錢時,就有人給你打電話,向你推薦貸款;當(dāng)你想買房子時,就有房產(chǎn)中介給你打電話,推薦二手房;當(dāng)你想買車時,就有4S店的人給你打電話……總之,無論你想做什么,總會有一個陌生人,突然給你打電話,向你推銷你剛剛想的事兒 。

大數(shù)據(jù)平臺架構(gòu)詳解 主流大數(shù)據(jù)架構(gòu)圖


隱私數(shù)據(jù)滿天飛
這事兒確實很可怕,但是這個事兒不是我今天要講的 。我今天要講的是大數(shù)據(jù)的技術(shù) 。以上的是屬于個人隱私泄露,其中有一部分的確是受益于大數(shù)據(jù)技術(shù)的發(fā)展,但更多的更主要的原因,還是因為每個人和全社會對個人隱私數(shù)據(jù)的保護(hù)意識不夠強 。不過好在的是我國的相關(guān)立法部門正在重點關(guān)照這個領(lǐng)域,我們每個人的隱私數(shù)據(jù)將來也會得到越來越好的保護(hù) 。
扯遠(yuǎn)了,說回大數(shù)據(jù)技術(shù) 。大數(shù)據(jù)技術(shù)是因為近些年產(chǎn)業(yè)互聯(lián)網(wǎng)和工業(yè)互聯(lián)網(wǎng)產(chǎn)生了大量的數(shù)據(jù),為了處理這些數(shù)據(jù),準(zhǔn)確的說是為了更方便快捷并且便宜的處理這些數(shù)據(jù),大數(shù)據(jù)技術(shù)才應(yīng)運而生的 。工業(yè)互聯(lián)網(wǎng)離我們太遠(yuǎn),我們暫時先不說 。先說說產(chǎn)業(yè)互聯(lián)網(wǎng),更狹義的就是指我們的移動互聯(lián)網(wǎng) 。由于4G的到來,手機越來越成為人們不可或缺的工具,人們每天花在手機上的時間是越來越多 。隨之而來的自然就是人們留存在手機上的數(shù)據(jù)也會越來越多 。購物的數(shù)據(jù),吃飯的數(shù)據(jù),騎車的數(shù)據(jù),打車的數(shù)據(jù),刷短視頻的數(shù)據(jù),看新聞的數(shù)據(jù),聊天兒的數(shù)據(jù),工作的數(shù)據(jù),學(xué)習(xí)的數(shù)據(jù),看電影的數(shù)據(jù),看綜藝的數(shù)據(jù),打游戲的數(shù)據(jù)……大家可以自行查看一下自己的手機上到底裝了多少個app 。這么多app,組成了每個人的基礎(chǔ)畫像 。為了處理這些海量的數(shù)據(jù),為了能夠讓這些海量的數(shù)據(jù)跟我們說話,告訴我們有價值的信息,告訴我們每一個人喜愛偏好,聰明的技術(shù)人員發(fā)明了大數(shù)據(jù)技術(shù) 。
因為IT世界里的開源概念,大數(shù)據(jù)相關(guān)的技術(shù)非常多 。而其中最有名的便是Hadoop家族,同時也是全世界最流行的大數(shù)據(jù)框架 。關(guān)于Hadoop的族譜見下圖:
大數(shù)據(jù)平臺架構(gòu)詳解 主流大數(shù)據(jù)架構(gòu)圖


Hadoop家族
以上便是大數(shù)據(jù)技術(shù)的通俗解釋 。說白了,這玩意兒就是一門技術(shù),處理海量數(shù)據(jù)的技術(shù) 。為什么要處理海量數(shù)據(jù)?因為數(shù)據(jù)只有處理了才是有價值的,不處理就是一堆沒用的、空占存儲資源的垃圾 。這種處理包含了數(shù)據(jù)采集、數(shù)據(jù)存儲、數(shù)據(jù)清洗、數(shù)據(jù)集成、數(shù)據(jù)挖掘、數(shù)據(jù)探索、數(shù)據(jù)開發(fā)等等步驟,最終形成了我們想要的數(shù)據(jù),對我們做出決策提供依據(jù),這些決策往大了說可以是未來的商業(yè)策略,往小了說可以是手機端給用戶推薦什么視頻什么商品 。幾乎所有的互聯(lián)網(wǎng)巨頭都是大數(shù)據(jù)技術(shù)運用的高手,而我們平時所見到的大數(shù)據(jù)開源框架幾乎也都是那些互聯(lián)網(wǎng)巨頭主導(dǎo)并開源的 。這門技術(shù),也只有互聯(lián)網(wǎng)這樣的土壤才能孕育,因為他們需要;傳統(tǒng)企業(yè)甚至于傳統(tǒng)IT企業(yè)都沒有辦法做這樣的研發(fā),因為他們不需要 。這就又應(yīng)了句名言:

推薦閱讀