1. 首頁 > 云知道 > >

奈奎斯特采樣定理,香農采樣定理

云知道香農

香農定理涉及這三個部分：信道編碼——主要涉及噪音下模擬信道的信道容量的定理，即香農-哈特利定理（香農-哈特利定理只描述涉及高斯噪音的模擬信道，但有二進制信道模式的模式的對應定理這里略述）信源編碼——包含涉及無損編碼和有損編碼的兩個定理；信源采樣——奈奎斯特-香農采樣定理但國內資料常說的“香農三定理”是指前兩個部分所涉及的的三個定理，下面主要詳述這三個定理：有噪音的模擬信道編碼定理（國外資料一般稱“香農-哈特利定理”）注意：這個定理在國外資料中才通常被簡稱為“香農定理”這個定理通俗地說，就是首先表明了如果傳輸信息的信道存在噪音，也可以實現信息的傳遞，然后可以根據帶寬等參數計算出信息傳遞的最大的有效速率 。
香農定理到底有什么含義？能通俗地解釋一下么？

奈奎斯特采樣定理,香農采樣定理


香農定理是信息論的主要內容 。香農定理實際上是多個定理構成，國內似乎比較常用“香農三定理”的提法，而在國外資料很少這么提.信息論和香農定理信息論研究信息的量化，存儲和傳播 。最初由克勞德·香農于1948年提出，他在具有里程碑意義的題為《通訊的數學原理》的論文中闡述了信號處理和通信操作（如數據壓縮）的基本限制 。
信息論的基本的應用主題包括無損數據壓縮（例如ZIP文件），有損數據壓縮（例如MP3和JPEG）和信道編碼（例如用于DSL） 。[頭條·小宇堂-未經許可嚴禁轉載]信息論的一個關鍵量是“熵” 。熵是不確定性的定量描述 。例如，擲骰子的可能性 。信息論中還討論的其他一些重要的量包括：互信息、信道容量、誤差指數和相對熵等等 。
上圖：克勞德·艾爾伍德·香農-1916.4.30-2001.2.24,享年84歲 。美國 。專業領域：電子工程學和數學 。香農定理涉及這三個部分：信道編碼——主要涉及噪音下模擬信道的信道容量的定理，即香農-哈特利定理（香農-哈特利定理只描述涉及高斯噪音的模擬信道，但還有二進制信道模式的模式的對應定理這里略述）信源編碼——包含涉及無損編碼和有損編碼的兩個定理；信源采樣——奈奎斯特-香農采樣定理但國內資料常說的“香農三定理”是指前兩個部分所涉及的的三個定理，下面主要詳述這三個定理：有噪音的模擬信道編碼定理（國外資料一般稱“香農-哈特利定理”）注意：這個定理在國外資料中才通常被簡稱為“香農定理”這個定理通俗地說，就是首先表明了如果傳輸信息的信道存在噪音，但是也可以實現信息的傳遞，然后可以根據帶寬等參數計算出信息傳遞的最大的有效速率 。
這可以通俗地類比我們熟悉的語音通話，雖然在電話里面有很多電流噪音或者環境噪音，但是我們仍然可以聽懂對方講的話 。因為我們用語音和語言對信息進行了雙重的編碼，“語音”這種編碼可以在大量噪音干擾的情況下仍然能夠工作，那是因為我們的聲音通常有一個帶寬，但噪音往往只是某一個頻率的聲音，不一定能夠覆蓋我們嗓音的全頻段 。
因此即便低音或高音被噪音干擾，我們仍然能聽到對方在說什么 。而另一方面，如果對方聽不清楚，我們還可以提高嗓門來提升我們說話的“信噪比”，從而保證對方能夠聽清楚我們所說的話 。上圖：有噪信道編碼定理的計算公式，可以用打電話的例子來解釋一下 。嗓音越高，噪音越低，嗓音越渾厚（而不是尖利，尖利的嗓音所用的頻段要少一點），就越容易被聽清楚 。
[頭條·小宇堂-未經許可嚴禁轉載]可變長無失真信源編碼定理（無損編碼）通俗地說就是我們今天用到的各種無損編碼算法——我們現在用的ZIP,RAR壓縮，以及APE，FLAC等編碼算法都屬于無損壓縮，采用這些算法可以在不損失原有信息的情況下減少存儲這些信息的數據量 。這個原理通俗點說就像是對一疊紙牌：如果是有序排列的（熵較低），例如A、2、3、4、5、6、7、8、9、J、Q、K，那么就可以用一個很很短的符號，例如“A-K”來記錄這個序列所代表的信息(這也說明這個序列所含有的信息很少)；但如果這疊紙牌是亂序排列的（熵較高），那么就需要更多的符號來記錄才能確保序列所傳達的信息不丟失 。

推薦閱讀