上述問題的核心原因在于 KoP Broker 屬于無狀態(tài)服務(wù)，一致性無法得到很好的保障，所以需要引入一個(gè)基于 MetadataStore 的元數(shù)據(jù)事件處理器，對(duì)應(yīng)的是 Pulsar ZooKeeper 。Broker 上線時(shí)會(huì)觸發(fā) Listener 事件，其他 broker 會(huì)監(jiān)聽該事件并處理元數(shù)據(jù)變更 。刪除 topic 時(shí)會(huì)觸發(fā) topic 刪除事件，其他 broker 會(huì)響應(yīng)事件，coordinator 會(huì)將對(duì)應(yīng)的元數(shù)據(jù)信息移除，解決殘留問題 。
總結(jié)
本文介紹了新浪微博通過使用 KoP 落地 Pulsar 來解決大規(guī)模 Kafka 集群運(yùn)維的痛點(diǎn) 。新浪微博在 KoP 支持 Kafka 0.9 與 0.10 版本客戶端，并引入元數(shù)據(jù)事件管理器解決版本兼容與日志協(xié)議兼容的問題 。作為 KoP Maintainer，截至目前，沈文兵已給 KoP 提交 42 個(gè) PR，合并 36 個(gè) 。未來他會(huì)繼續(xù)參與 KoP 的維護(hù)和開發(fā)工作 。
目前 KoP 功能日趨完善，Kafka 的大部分功能都已經(jīng)在 KoP 中得到實(shí)現(xiàn) 。如果大家在工作中面對(duì) Kafka 運(yùn)維的痛點(diǎn)，非常推薦大家通過 KoP 組件搭建解決方案 。
作者簡介：
【微博怎么注冊(cè) 微博是干什么用的】沈文兵，新浪微博數(shù)據(jù)平臺(tái)研發(fā)工程師，主要負(fù)責(zé) Kafka 和 Pulsar 的運(yùn)維研發(fā)工作 。開源項(xiàng)目愛好者，Apache Pulsar/BookKeeper/Kafka Contributor ， KoP（Kafka-on-Pulsar）Maintainer 。
推薦閱讀
- 快手怎么查看快手號(hào) 快手怎么查看快手號(hào)狀態(tài)
- 名爵zs雨刷怎么抬起來 名爵zs的雨刷怎么豎起來
- 《銀行家》雜志社怎么樣 銀行家雜志是什么期刊
- word受保護(hù)的視圖如何解除 word受保護(hù)的視圖怎么解除
- 電腦開機(jī)慢運(yùn)行卡怎么解決 電腦開機(jī)慢運(yùn)行卡解決方法
- 龍須樹葉子發(fā)黃干枯怎么處理 龍須樹葉子發(fā)黃干枯怎么樣處理
- 小土狗怎么養(yǎng) 小土狗如何養(yǎng)
- 微信對(duì)方拒收消息怎么解決 是怎么回事？
- 電腦qq怎么同步聊天記錄 qq怎么同步聊天記錄
- html怎么設(shè)置背景圖片 html怎么設(shè)置背景圖片大小