日本免费全黄少妇一区二区三区-高清无码一区二区三区四区-欧美中文字幕日韩在线观看-国产福利诱惑在线网站-国产中文字幕一区在线-亚洲欧美精品日韩一区-久久国产精品国产精品国产-国产精久久久久久一区二区三区-欧美亚洲国产精品久久久久

  1. 首頁 > 云知道 > >

DORIS是什么牌子 Doris是什么意思( 四 )

云知道Doris是什么意思


【DORIS是什么牌子 Doris是什么意思】3.5 性能解決方案
（1）Bitmap縱向切分建庫
針對以上的問題，我們提出了一種正交的Bitmap計(jì)算的UDAF解決辦法 。

DORIS是什么牌子 Doris是什么意思


我們對 Bitmap 進(jìn)行縱向的切分建庫，如右圖所示，我們的出發(fā)點(diǎn)是減少或避免高32位的計(jì)算，并且進(jìn)一步提升并發(fā)能力 。
具體來講，首先我們按照 uid 進(jìn)行數(shù)據(jù)縱向切分，以 rid 范圍進(jìn)行分片，降低單個(gè) Bitmap 的 size 。這同時(shí)帶來了一個(gè)好處，這種切分方式滿足正交方式，無論在 tag 維度層面還是在 id 范圍層面，同一個(gè)分片內(nèi)是可以相互獨(dú)立的 ?；谶@種正交關(guān)系，我們進(jìn)一步優(yōu)化分布式計(jì)算的實(shí)現(xiàn) 。
（2）分布式計(jì)算優(yōu)化
DORIS是什么牌子 Doris是什么意思


首先在數(shù)據(jù)層面，我們讓相同 id 范圍的數(shù)據(jù)（即使不同 tag）也在相同的實(shí)例部署 。在數(shù)據(jù)的交并集計(jì)算上，我們讓各個(gè)分片分別在各自的節(jié)點(diǎn)上完成計(jì)算，merge的是計(jì)算結(jié)果而不是原始數(shù)據(jù) 。這樣可以讓計(jì)算的節(jié)點(diǎn)數(shù)變多、實(shí)現(xiàn)并發(fā)，還可以在數(shù)據(jù)傳輸過程中不進(jìn)行全量傳輸，網(wǎng)絡(luò)通信的成本也降到最低 。
右圖所示是進(jìn)行 count 計(jì)算時(shí)，在本地完成了 local 的交并集計(jì)算之后只需要把 count 值給出去，最后將不同的 count 值 merge 就完成了整個(gè)計(jì)算過程 。
3.5 性能測試
經(jīng)過以上的處理，我們的整體計(jì)算效率得到了很大的提升，小數(shù)據(jù)量的情況下得到了兩個(gè)數(shù)量級的提升，在大數(shù)據(jù)量下我們由不可能變成了可能 。
DORIS是什么牌子 Doris是什么意思


從上圖中可以看出，性能變得更加可用，可以在秒級完成我們的業(yè)務(wù)需求 。
3.6 標(biāo)簽索引應(yīng)用在Doris基礎(chǔ)實(shí)現(xiàn)的功能問題
DORIS是什么牌子 Doris是什么意思


（1）數(shù)據(jù)灌庫、建庫
目前還是基于之前的離線計(jì)算方式，這種方式效率不夠高，但是引入新的解決方法——Enhanced Spark-based Load，這種方式現(xiàn)在還在測試，預(yù)計(jì)性能會有非常大的提升 。
（2）批量ID導(dǎo)出
Doris 自身的 SQL API 沒有支持億級數(shù)據(jù)導(dǎo)出 。結(jié)合業(yè)務(wù)場景 Doris 的同學(xué)幫我們想出了一種解決方法——通過修改現(xiàn)有的 select outfile 將 MysqlWriter 改寫成 FileWriter，并且通過 Broker 把結(jié)果數(shù)據(jù)寫到遠(yuǎn)端存儲 。這樣就可以實(shí)現(xiàn)批量原始 id 的數(shù)據(jù)導(dǎo)出，滿足我們對細(xì)粒度用戶數(shù)據(jù)的需求 。
4 業(yè)務(wù)效果
標(biāo)簽索引滿足主要人群圈選業(yè)務(wù)場景
人群圈選時(shí)效從天/小時(shí)級提升到秒級響應(yīng)
業(yè)務(wù)應(yīng)用效率大幅度提升，支持更加靈活的業(yè)務(wù)應(yīng)用
在廣告、增長等方向取得良好的業(yè)務(wù)效果
5 應(yīng)用指南
我們在今年8月已經(jīng)將相關(guān)的代碼和使用指南已經(jīng)提交到 Apache Doris 的代碼庫，供大家分享使用：
http://doris.incubator.apache.org/master/zh-CN/extending-doris/udf/contrib/udaf-orthogonal-bitmap-manual.html
DORIS是什么牌子 Doris是什么意思


這里需要有一個(gè)額外的編譯過程來滿足UDAF的應(yīng)用：
最終使用的時(shí)候只需要寫一個(gè)select BITMAP_COUNT 就可以快速得到需要的數(shù)據(jù)結(jié)果 。
DORIS是什么牌子 Doris是什么意思


————————————————
版權(quán)聲明：本文為CSDN博主「ApacheDoris」的原創(chuàng)文章，遵循CC 4.0 BY-SA版權(quán)協(xié)議，轉(zhuǎn)載請附上原文出處鏈接及本聲明 。
原文鏈接：https://blog.csdn.net/ucanuup_/article/details/114976373

推薦閱讀