av网站免费av网站免费,国产精品_国产精品

以下是淘寶云梯分布式計算平臺的整體架構(gòu) ，由數(shù)據(jù)分析網(wǎng)整理自網(wǎng)絡(luò)資料，供大家學習參考。
一、系統(tǒng)架構(gòu)
1、系統(tǒng)整體架構(gòu)
數(shù)據(jù)流向從上到下，從各數(shù)據(jù)源、Gateway、云梯、到各應用場景。

2、淘寶云計算介紹
主要由數(shù)據(jù)源、數(shù)據(jù)平臺、數(shù)據(jù)集群三部分構(gòu)成

二、數(shù)據(jù)同步方案
1、數(shù)據(jù)同步方案——概覽

2、數(shù)據(jù)同步方案—— 實時同步VS非實時同步

3、數(shù)據(jù)同步方案—— TimeTunnel2 介紹
TimeTunnel是一個實時數(shù)據(jù)傳輸平臺， TimeTunnel的主要功能就是實時完成海量數(shù)據(jù)的交換，因此TimeTunnel的業(yè)務(wù)邏輯主要也就有兩個：一個是發(fā)布數(shù)據(jù) ，將數(shù)據(jù)發(fā)送到TimeTunnel；一個是訂閱數(shù)據(jù) ，從TimeTunnel讀取自己關(guān)心的數(shù)據(jù) 。
TimeTunnel作為一個實時數(shù)據(jù)傳輸平臺具有以下特點：
高效性：單點1k數(shù)據(jù)可以到4萬TPS高可靠性：M-S模式時保證數(shù)據(jù)不丟失
高可用性：單點故障不影響整個集群服務(wù)
順序性：當沒有故障發(fā)生時，保證所有傳輸都
是順序的，或者說一次連接內(nèi)的傳輸是順序的。

4、數(shù)據(jù)同步方案—— Dbsync 介紹
dbsync是一個用于同步服務(wù)庫數(shù)據(jù)到HDFS的產(chǎn)品，通過分析數(shù)據(jù)庫服務(wù)器的log文件來提取相應的數(shù)據(jù)庫動作，進而達到數(shù)據(jù)庫到HADOOP的數(shù)據(jù)同步，供相關(guān)部門提取增量數(shù)據(jù) 。

Dbsync實時同步性能
記錄大小速度
2K 4M/s
9K 10M/s
應用場景
數(shù)據(jù)量 800G
00:10分備庫打開：
非實時同步完成時間0:55
實時同步完成時間0:25
5、數(shù)據(jù)同步方案—— DataX 介紹
DataX是一個在異構(gòu)的數(shù)據(jù)容器之間交換數(shù)據(jù)的工具。用于在任意的數(shù)據(jù)處理系統(tǒng)(RDBMS/NoSql/FS）之間交換數(shù)據(jù) 。
Framework+plugin ， Framework處理了高速數(shù)據(jù)交換的大部分問題，插件提供對數(shù)據(jù)處理系統(tǒng)的訪問。
運行模式：stand-alone / on hadoop
Webui + cui 基于元數(shù)據(jù)的高效配置,例子:表A sharding為32個庫， 1024張表，配置時間<1 min