日本免费全黄少妇一区二区三区-高清无码一区二区三区四区-欧美中文字幕日韩在线观看-国产福利诱惑在线网站-国产中文字幕一区在线-亚洲欧美精品日韩一区-久久国产精品国产精品国产-国产精久久久久久一区二区三区-欧美亚洲国产精品久久久久

  1. 首頁 > 云知道 > >

熵 熵增定律( 二 )

云知道


下面是對于伯努利試驗中熵的圖像 。（伯努利試驗有兩種可能的結(jié)果：p和1-p）：
在伯努利試驗中，當p=0.5時，熵達到最大
基本性質(zhì)2：對于獨立事件，不確定性是可加的假設 A 和 B 是獨立事件 。換句話講 ， 知道事件 A 的結(jié)果并不會絲毫影響 B 的結(jié)果 。
關(guān)于這兩個事件的不確定性應該是兩個事件單獨的不確定性的和，這也是我們希望熵的公式應該具備的性質(zhì) 。
對于獨立事件，不確定性是可加的
讓我們使用拋兩個硬幣的試驗作為例子來使這個概念更加具體 。我們既可以兩個硬幣同時拋 ， 也可以先拋一個硬幣再拋另一個硬幣 。在兩種情況下，不確定性是相同的 。
考慮兩個特殊的硬幣，第一個硬幣正面朝上 (H, Head) 的概率為80%，背面朝上 (T, Tail) 的概率為 20% 。另一個硬幣的正面朝上和反面朝上的概率分別為 60% 和 40% 。如果我們同事拋兩枚硬幣，那么有四種可能：正正，正反，反正，反反 。對應的概率分別為[0.48, 0.32, 0.12, 0.08] 。
兩個獨立事件的聯(lián)合熵等于獨立事件的熵的和
將這些概率帶入到熵的公式中 ， 我們能夠看到：
就跟我們設想的一樣，兩個獨立事件的聯(lián)合熵等于各個獨立事件的熵的和 。
基本性質(zhì)3：加入發(fā)生概率為0的結(jié)果并不會有影響假設有一個游戲，獲勝條件如下：（a）只要#1號結(jié)果出現(xiàn) ， 你就贏了 。（b）你可以在兩個概率分布 A 和 B 中選一個進行游戲 。分布 A 有兩種可能，#1號結(jié)果為 80% 概率，#2號結(jié)果為 20% 概率 。分布 B 有三種結(jié)果 ， #1號結(jié)果80%，#2號結(jié)果20%，#3號結(jié)果0%.
增加第三個概率為0的結(jié)果并不會有什么不同
給定 A 和 B 兩個選擇，你會選哪個？可能正確的反應應該是聳聳肩或白個眼 。第三個結(jié)果的加入并沒有增加或減少這個游戲的不確定性 。誰關(guān)心到底是用A還是B呀 ， 因為用哪個都是一樣的 。
熵的公式也滿足這個性質(zhì)：
即，增加一個概率為0的結(jié)果，并不會影響對于不確定性的度量 。
基本性質(zhì)4：不確定性的度量應該是連續(xù)的最后一個基本性質(zhì)是連續(xù)性 。
連續(xù)性的最直觀的解釋就是沒有斷開或者空洞 。更精確的解釋是：輸出（在我們的場景下是不確定性）中任意小的變化，都可以由輸入（概率）中足夠小的變化得到 。
對數(shù)函數(shù)在定義域上每個點都是連續(xù)的 。在子集上有限數(shù)量函數(shù)的和和乘積也是連續(xù)的 。由此可能得出熵函數(shù)也是連續(xù)的 。
唯一性定理
Khinchin（1957）證明 ， 滿足上述四種基本屬性的唯一函數(shù)族具有如下形式：
其中λ是正常數(shù) 。Khinchin稱之為唯一性定理 。將λ設為1，并使用以2為底的對數(shù)就得到了香農(nóng)熵 。
重申一下，使用熵作為不確定性度量是因為它具有我們期望的屬性，并且是從滿足上面提到的四個屬性的函數(shù)族中做出的很自然的選擇 。
其他屬性除了上述用于Khinchin的唯一性定理中的四個基本屬性 ， 熵還具有一些其他的性質(zhì)，下面就介紹其中的一些 。
性質(zhì)5：具有更多可能結(jié)果的均勻分布有更大的不確定性比如你可以在拋硬幣試驗和拋骰子試驗中做出一個選擇，如果硬幣正面朝上或者骰子1那面朝上就算贏 。你會選擇那個試驗？如果你想最大化收入，肯定會選擇硬幣 。如果只是想體驗下不確定性 ， 那可能就會選骰子 。
隨著等概率結(jié)果的數(shù)量的增加，不確定性的度量也應該增加 。

推薦閱讀