日本免费全黄少妇一区二区三区-高清无码一区二区三区四区-欧美中文字幕日韩在线观看-国产福利诱惑在线网站-国产中文字幕一区在线-亚洲欧美精品日韩一区-久久国产精品国产精品国产-国产精久久久久久一区二区三区-欧美亚洲国产精品久久久久

  1. 首頁(yè) > 云知道 > >

費(fèi)諾編碼的比較,香農(nóng)編碼

云知道香農(nóng)

香農(nóng)定理到底有什么含義？能通俗地解釋一下么？

費(fèi)諾編碼的比較,香農(nóng)編碼


香農(nóng)定理是信息論的主要內(nèi)容 。香農(nóng)定理實(shí)際上是多個(gè)定理構(gòu)成，國(guó)內(nèi)似乎比較常用“香農(nóng)三定理”的提法，而在國(guó)外資料很少這么提.信息論和香農(nóng)定理信息論研究信息的量化，存儲(chǔ)和傳播 。最初由克勞德·香農(nóng)于1948年提出，他在具有里程碑意義的題為《通訊的數(shù)學(xué)原理》的論文中闡述了信號(hào)處理和通信操作（如數(shù)據(jù)壓縮）的基本限制 。
信息論的基本的應(yīng)用主題包括無(wú)損數(shù)據(jù)壓縮（例如ZIP文件），有損數(shù)據(jù)壓縮（例如MP3和JPEG）和信道編碼（例如用于DSL） 。[頭條·小宇堂-未經(jīng)許可嚴(yán)禁轉(zhuǎn)載]信息論的一個(gè)關(guān)鍵量是“熵” 。熵是不確定性的定量描述 。例如，擲骰子的可能性 。信息論中還討論的其他一些重要的量包括：互信息、信道容量、誤差指數(shù)和相對(duì)熵等等 。
上圖：克勞德·艾爾伍德·香農(nóng)-1916.4.30-2001.2.24,享年84歲 。美國(guó) 。專業(yè)領(lǐng)域：電子工程學(xué)和數(shù)學(xué) 。香農(nóng)定理涉及這三個(gè)部分：信道編碼——主要涉及噪音下模擬信道的信道容量的定理，即香農(nóng)-哈特利定理（香農(nóng)-哈特利定理只描述涉及高斯噪音的模擬信道，但還有二進(jìn)制信道模式的模式的對(duì)應(yīng)定理這里略述）信源編碼——包含涉及無(wú)損編碼和有損編碼的兩個(gè)定理；信源采樣——奈奎斯特-香農(nóng)采樣定理但國(guó)內(nèi)資料常說(shuō)的“香農(nóng)三定理”是指前兩個(gè)部分所涉及的的三個(gè)定理，下面主要詳述這三個(gè)定理：有噪音的模擬信道編碼定理（國(guó)外資料一般稱“香農(nóng)-哈特利定理”）注意：這個(gè)定理在國(guó)外資料中才通常被簡(jiǎn)稱為“香農(nóng)定理”這個(gè)定理通俗地說(shuō)，就是首先表明了如果傳輸信息的信道存在噪音，但是也可以實(shí)現(xiàn)信息的傳遞，然后可以根據(jù)帶寬等參數(shù)計(jì)算出信息傳遞的最大的有效速率 。
這可以通俗地類比我們熟悉的語(yǔ)音通話，雖然在電話里面有很多電流噪音或者環(huán)境噪音，但是我們?nèi)匀豢梢月?tīng)懂對(duì)方講的話 。因?yàn)槲覀冇谜Z(yǔ)音和語(yǔ)言對(duì)信息進(jìn)行了雙重的編碼，“語(yǔ)音”這種編碼可以在大量噪音干擾的情況下仍然能夠工作，那是因?yàn)槲覀兊穆曇敉ǔＳ幸粋€(gè)帶寬，但噪音往往只是某一個(gè)頻率的聲音，不一定能夠覆蓋我們嗓音的全頻段 。
因此即便低音或高音被噪音干擾，我們?nèi)匀荒苈?tīng)到對(duì)方在說(shuō)什么 。而另一方面，如果對(duì)方聽(tīng)不清楚，我們還可以提高嗓門來(lái)提升我們說(shuō)話的“信噪比”，從而保證對(duì)方能夠聽(tīng)清楚我們所說(shuō)的話 。上圖：有噪信道編碼定理的計(jì)算公式，可以用打電話的例子來(lái)解釋一下 。嗓音越高，噪音越低，嗓音越渾厚（而不是尖利，尖利的嗓音所用的頻段要少一點(diǎn)），就越容易被聽(tīng)清楚 。
[頭條·小宇堂-未經(jīng)許可嚴(yán)禁轉(zhuǎn)載]可變長(zhǎng)無(wú)失真信源編碼定理（無(wú)損編碼）通俗地說(shuō)就是我們今天用到的各種無(wú)損編碼算法——我們現(xiàn)在用的ZIP,RAR壓縮，以及APE，F(xiàn)LAC等編碼算法都屬于無(wú)損壓縮，采用這些算法可以在不損失原有信息的情況下減少存儲(chǔ)這些信息的數(shù)據(jù)量 。這個(gè)原理通俗點(diǎn)說(shuō)就像是對(duì)一疊紙牌：如果是有序排列的（熵較低），例如A、2、3、4、5、6、7、8、9、J、Q、K，那么就可以用一個(gè)很很短的符號(hào)，例如“A-K”來(lái)記錄這個(gè)序列所代表的信息(這也說(shuō)明這個(gè)序列所含有的信息很少)；但如果這疊紙牌是亂序排列的（熵較高），那么就需要更多的符號(hào)來(lái)記錄才能確保序列所傳達(dá)的信息不丟失 。
如果用前面語(yǔ)音通話的例子來(lái)說(shuō)明的話，就是某人口吃說(shuō)了很多重復(fù)話，諸如：“我我我我對(duì)你很很很景景景仰……”，可以無(wú)損地編碼為“我對(duì)你很景仰……”，這就是無(wú)損壓縮，但完全不損失需要表達(dá)的信息（其實(shí)也丟失了口吃重復(fù)數(shù)量的信息，嚴(yán)格地說(shuō)應(yīng)該編碼成“我4對(duì)你很3景3仰……”） 。有損信源編碼定理，又稱傳輸率-扭曲定律該定理通俗的解釋可以沿用前面語(yǔ)音通話的例子，我們用“語(yǔ)音”的編碼方式規(guī)避了信道噪音，此外我們還可以用“語(yǔ)言”編碼的方式“長(zhǎng)話短說(shuō)”來(lái)讓對(duì)方大概了解我要表達(dá)的意思 。

推薦閱讀