日本免费全黄少妇一区二区三区-高清无码一区二区三区四区-欧美中文字幕日韩在线观看-国产福利诱惑在线网站-国产中文字幕一区在线-亚洲欧美精品日韩一区-久久国产精品国产精品国产-国产精久久久久久一区二区三区-欧美亚洲国产精品久久久久

  1. 首頁 > 云知道 > >

個(gè)常見使用場(chǎng)景,redis使用場(chǎng)景( 四 )

云知道


當(dāng)從Redis中讀取數(shù)據(jù)的時(shí)候，如果讀取的key對(duì)應(yīng)的value不在內(nèi)存中，那么Redis就需要從swap文件中加載相應(yīng)數(shù)據(jù)，然后再返回給請(qǐng)求方 。這里就存在一個(gè)I/O線程池的問題 。在默認(rèn)的情況下，Redis會(huì)出現(xiàn)阻塞，即完成所有的swap文件加載后才會(huì)相應(yīng) 。這種策略在客戶端的數(shù)量較小，進(jìn)行批量操作的時(shí)候比較合適 。
但是如果將Redis應(yīng)用在一個(gè)大型的網(wǎng)站應(yīng)用程序中，這顯然是無法滿足大并發(fā)的情況的 。所以Redis運(yùn)行我們?cè)O(shè)置I/O線程池的大小，對(duì)需要從swap文件中加載相應(yīng)數(shù)據(jù)的讀取請(qǐng)求進(jìn)行并發(fā)操作，減少阻塞的時(shí)間 。對(duì)于像Redis和Memcached這種基于內(nèi)存的數(shù)據(jù)庫系統(tǒng)來說，內(nèi)存管理的效率高低是影響系統(tǒng)性能的關(guān)鍵因素 。
傳統(tǒng)C語言中的malloc/free函數(shù)是最常用的分配和釋放內(nèi)存的方法，但是這種方法存在著很大的缺陷：首先，對(duì)于開發(fā)人員來說不匹配的malloc和free容易造成內(nèi)存泄露；其次頻繁調(diào)用會(huì)造成大量?jī)?nèi)存碎片無法回收重新利用，降低內(nèi)存利用率；最后作為系統(tǒng)調(diào)用，其系統(tǒng)開銷遠(yuǎn)遠(yuǎn)大于一般函數(shù)調(diào)用 。所以，為了提高內(nèi)存的管理效率，高效的內(nèi)存管理方案都不會(huì)直接使用malloc/free調(diào)用 。
Redis和Memcached均使用了自身設(shè)計(jì)的內(nèi)存管理機(jī)制，但是實(shí)現(xiàn)方法存在很大的差異，下面將會(huì)對(duì)兩者的內(nèi)存管理機(jī)制分別進(jìn)行介紹 。Memcached默認(rèn)使用Slab Allocation機(jī)制管理內(nèi)存，其主要思想是按照預(yù)先規(guī)定的大小，將分配的內(nèi)存分割成特定長(zhǎng)度的塊以存儲(chǔ)相應(yīng)長(zhǎng)度的key-value數(shù)據(jù)記錄，以完全解決內(nèi)存碎片問題 。
Slab Allocation機(jī)制只為存儲(chǔ)外部數(shù)據(jù)而設(shè)計(jì)，也就是說所有的key-value數(shù)據(jù)都存儲(chǔ)在Slab Allocation系統(tǒng)里，而Memcached的其它內(nèi)存請(qǐng)求則通過普通的malloc/free來申請(qǐng)，因?yàn)檫@些請(qǐng)求的數(shù)量和頻率決定了它們不會(huì)對(duì)整個(gè)系統(tǒng)的性能造成影響Slab Allocation的原理相當(dāng)簡(jiǎn)單 。
如圖所示，它首先從操作系統(tǒng)申請(qǐng)一大塊內(nèi)存，并將其分割成各種尺寸的塊Chunk，并把尺寸相同的塊分成組Slab Class 。其中，Chunk就是用來存儲(chǔ)key-value數(shù)據(jù)的最小單位 。每個(gè)Slab Class的大小，可以在Memcached啟動(dòng)的時(shí)候通過制定Growth Factor來控制 。假定圖中Growth Factor的取值為1.25，如果第一組Chunk的大小為88個(gè)字節(jié)，第二組Chunk的大小就為112個(gè)字節(jié)，依此類推 。
當(dāng)Memcached接收到客戶端發(fā)送過來的數(shù)據(jù)時(shí)首先會(huì)根據(jù)收到數(shù)據(jù)的大小選擇一個(gè)最合適的Slab Class，然后通過查詢Memcached保存著的該Slab Class內(nèi)空閑Chunk的列表就可以找到一個(gè)可用于存儲(chǔ)數(shù)據(jù)的Chunk 。當(dāng)一條數(shù)據(jù)庫過期或者丟棄時(shí)，該記錄所占用的Chunk就可以回收，重新添加到空閑列表中 。
從以上過程我們可以看出Memcached的內(nèi)存管理制效率高，而且不會(huì)造成內(nèi)存碎片，但是它最大的缺點(diǎn)就是會(huì)導(dǎo)致空間浪費(fèi) 。因?yàn)槊總€(gè)Chunk都分配了特定長(zhǎng)度的內(nèi)存空間，所以變長(zhǎng)數(shù)據(jù)無法充分利用這些空間 。如圖 所示，將100個(gè)字節(jié)的數(shù)據(jù)緩存到128個(gè)字節(jié)的Chunk中，剩余的28個(gè)字節(jié)就浪費(fèi)掉了 。Redis的內(nèi)存管理主要通過源碼中zmalloc.h和zmalloc.c兩個(gè)文件來實(shí)現(xiàn)的 。
Redis為了方便內(nèi)存的管理，在分配一塊內(nèi)存之后，會(huì)將這塊內(nèi)存的大小存入內(nèi)存塊的頭部 。如圖所示，real_ptr是redis調(diào)用malloc后返回的指針 。redis將內(nèi)存塊的大小size存入頭部，size所占據(jù)的內(nèi)存大小是已知的，為size_t類型的長(zhǎng)度，然后返回ret_ptr 。當(dāng)需要釋放內(nèi)存的時(shí)候，ret_ptr被傳給內(nèi)存管理程序 。
通過ret_ptr，程序可以很容易的算出real_ptr的值，然后將real_ptr傳給free釋放內(nèi)存 。Redis通過定義一個(gè)數(shù)組來記錄所有的內(nèi)存分配情況，這個(gè)數(shù)組的長(zhǎng)度為ZMALLOC_MAX_ALLOC_STAT 。數(shù)組的每一個(gè)元素代表當(dāng)前程序所分配的內(nèi)存塊的個(gè)數(shù)，且內(nèi)存塊的大小為該元素的下標(biāo) 。在源碼中，這個(gè)數(shù)組為zmalloc_allocations 。

推薦閱讀