日日噜噜噜噜夜夜爽亚洲精品,亚洲精品国产激情av成人精品,91大神精品在线视频

新浪公司是一家服務(wù)于中國(guó)及全球華人社群的領(lǐng)先網(wǎng)絡(luò)媒體公司。其業(yè)務(wù)涵蓋新浪媒體、微博和新浪金融。新浪通過(guò)門戶網(wǎng)站新浪網(wǎng)、新浪移動(dòng)、新浪財(cái)經(jīng)以及社交媒體平臺(tái)微博組成的數(shù)字媒體網(wǎng)絡(luò) ，幫助廣大用戶獲得專業(yè)媒體、機(jī)構(gòu)和個(gè)人創(chuàng)作的多媒體內(nèi)容并與他人進(jìn)行興趣分享和社交互動(dòng) 。
其中，微博是人們?cè)诰€創(chuàng)作、分享和發(fā)現(xiàn)內(nèi)容的中國(guó)領(lǐng)先社交媒體平臺(tái) 。新浪微博于 2009 年上線，是中國(guó)頭部、流行的社交媒體平臺(tái)，提供在線創(chuàng)作、分享和發(fā)現(xiàn)優(yōu)質(zhì)內(nèi)容的服務(wù) 。據(jù)微博 2022 年第一季度財(cái)報(bào)，微博月活躍用戶為 5.82 億，日活躍用戶為 2.52 億，平臺(tái)日均處理萬(wàn)億級(jí)消息。
日均萬(wàn)億消息， Kafka 運(yùn)維遇挑戰(zhàn)
新浪現(xiàn)有 Kafka 集群主要處理來(lái)自新浪新聞、微博等的數(shù)據(jù)，數(shù)據(jù)類型包括特征日志、訂單數(shù)據(jù)、廣告曝光、埋點(diǎn) / 監(jiān)控 / 服務(wù)日志等。這些數(shù)據(jù)經(jīng)過(guò) Kafka 在線集群、廣告專用集群、日志集群、離線集群和機(jī)器學(xué)習(xí)訓(xùn)練等集群的處理后，會(huì)用于推薦訓(xùn)練、HDFS 落地、離線數(shù)倉(cāng)、實(shí)時(shí)監(jiān)控、數(shù)據(jù)報(bào)表和實(shí)時(shí)分析等生產(chǎn)目的。

新浪在使用和運(yùn)維 Kafka 集群的過(guò)程中，遇到的痛點(diǎn)有：

Kafka 運(yùn)維較困難，突發(fā)熱點(diǎn)事件時(shí)擴(kuò)容節(jié)點(diǎn)無(wú)法自動(dòng)均衡。在高流量峰值場(chǎng)景下，經(jīng)常遇到了磁盤和 broker 達(dá)到瓶頸的情況。Kafka 可以輕松擴(kuò)容 broker，然而集群擴(kuò)容時(shí)新增 broker 無(wú)法自動(dòng)承載流量，需要較為復(fù)雜的人工運(yùn)維操作。
磁盤數(shù)據(jù)分布不均， topic 分區(qū)流量分布不均。隨著業(yè)務(wù)波動(dòng)，一些承載較大流量的 topic 下線后，其所在 broker 的流量和磁盤數(shù)據(jù)存儲(chǔ)也會(huì)下降，類似情況多次發(fā)生后 topic 分區(qū)流量和磁盤數(shù)據(jù)分布就會(huì)失衡，需要人工干預(yù)來(lái) rebalance 流量。
遷移分區(qū)帶來(lái)數(shù)據(jù)移動(dòng) ，容易造成問(wèn)題。流量 rebalance 需要遷移分區(qū)，相當(dāng)于增加副本，在熱點(diǎn)事件爆發(fā)、資源緊張時(shí)會(huì)造成更嚴(yán)重的后果。
新浪單集群每日有萬(wàn)億級(jí)以上消息寫(xiě)入，涉及到非常多的業(yè)務(wù)方與多語(yǔ)言客戶端，因此遷移到其他消息隊(duì)列較為困難。
一些重要業(yè)務(wù)有很多作者不詳?shù)闹匾洗a，源碼因故丟失，難以處理、遷移和改造。

借助 KoP，落地 Pulsar
團(tuán)隊(duì)希望能有一個(gè)消息隊(duì)列可以解決 Kafka 存在的這些問(wèn)題，同時(shí)業(yè)務(wù)方只需簡(jiǎn)單修改配置，替換 Kafka 的 broker list 即可遷移 ?；谶@樣的背景，團(tuán)隊(duì)調(diào)研了存算分離架構(gòu)的 Apache Pulsar，可以很好地解決上述挑戰(zhàn) 。Pulsar 的 bookie 和 broker 是分離的，而擴(kuò)容時(shí) bookie 可以自動(dòng)承接新流量；broker 只承擔(dān)一些元數(shù)據(jù)的計(jì)算工作，所以需要做 rebalance 時(shí)速度很快，無(wú)需數(shù)據(jù)移動(dòng) 。
在調(diào)研 Pulsar 的過(guò)程中團(tuán)隊(duì)發(fā)現(xiàn)了 KoP 這個(gè)開(kāi)源項(xiàng)目。KoP 是開(kāi)源項(xiàng)目 Kafka-on-Pulsar 的縮寫(xiě)，Kafka 用戶可借助 KoP 插件無(wú)縫遷移到 Pulsar，充分利用 Pulsar 的諸多功能特性，以降低遷移成本（GitHub 地址：https://github.com/streamnative/kop）。KoP 實(shí)質(zhì)上就是用 Pulsar 提供的 Protocol Handler 機(jī)制來(lái)對(duì)接 Kafka 數(shù)據(jù) 。當(dāng) Kafka 集群寫(xiě)入數(shù)據(jù)時(shí)，通過(guò)基于 Kafka Protocol Handler 來(lái)操作。KoP 復(fù)用了 Pulsar 的 topic lookup 機(jī)制和抽象的 Managed Ledger 存儲(chǔ)層，將數(shù)據(jù)通過(guò) bookie client 直接發(fā)送到 bookie 集群中，如下圖：