日本免费全黄少妇一区二区三区-高清无码一区二区三区四区-欧美中文字幕日韩在线观看-国产福利诱惑在线网站-国产中文字幕一区在线-亚洲欧美精品日韩一区-久久国产精品国产精品国产-国产精久久久久久一区二区三区-欧美亚洲国产精品久久久久

  1. 首頁 > 云知道 > >

熵 熵增定律( 三 )

云知道


這正是熵所做的：H（1/6，1/6， 1/6，1/6 ，  1/6，1/6）> H（0.5 ，  0.5）
一般來說，L(k)為具有K個(gè)結(jié)果的均勻分布的熵，我們能夠得到：
對于m>n，有
性質(zhì)6：事件擁有非負(fù)的不確定性你知道什么是負(fù)的不確定性嗎？反正我也不知道 。
對于一個(gè)用戶友好的不確定性度量來說，無論輸入是什么，應(yīng)該總會(huì)返回一個(gè)非負(fù)的結(jié)果 。
熵的公式同樣滿足這個(gè)性質(zhì)，我們來看一下公式：
概率是定義在0-1的范圍內(nèi)的，因此是非負(fù)的 。所以概率的對數(shù)是負(fù)的 。概率乘概率的對數(shù)不會(huì)改變符號 。因此求和之后應(yīng)該是負(fù)的 ， 最終負(fù)負(fù)得正 。所以對于所有的輸入，熵都是非負(fù)的 。
性質(zhì)7：有確定結(jié)果的事件具有0不確定性假設(shè)你擁有一個(gè)魔法硬幣，無論你怎么拋 ， 硬幣總是正面朝上 。
你會(huì)怎么量化這個(gè)魔法硬幣的不確定性，或者其他情況下有確定結(jié)果的事件的不確定性？這中情況下就沒有不確定性，所以結(jié)果也很自然，不確定性為0 。
熵的定義也滿足這個(gè)性質(zhì) 。
假設(shè)結(jié)果i一定會(huì)發(fā)生，即p_i=1， 所以H(X)為：
即，確定事件的熵為0 。
性質(zhì)8：調(diào)轉(zhuǎn)參數(shù)順序沒有影響這是另一個(gè)顯而易見的理想性質(zhì) ?？紤]兩種情況 ， 第一個(gè)，拋硬幣正面朝上的概率和背面朝上的概率分別為80%和20% 。第二個(gè)情況里概率正好相反：正面朝上和背面朝上的概率分別為20%和80% 。
兩種拋硬幣試驗(yàn)都有相同的熵 ， 即H(0.8, 0.2) = H(0.2, 0.8) 。
更通用的形式，對于個(gè)結(jié)果的試驗(yàn)，我們有：
實(shí)際上這對于有任何數(shù)量結(jié)果的試驗(yàn)都適用 。我們可以以任意的方式調(diào)整參數(shù)的順序，而所有的結(jié)果都是一樣的 。
總結(jié)回顧一下，香農(nóng)熵是一種不確定性的度量 。
它被廣泛的適用 ， 因?yàn)樗鼭M足了我們想要的一些標(biāo)準(zhǔn)（同時(shí)也是因?yàn)槲覀兩钪谐錆M了不確定性） 。唯一性定理告訴我們，只有一個(gè)函數(shù)族具有我們想要的四種基本性質(zhì) 。香農(nóng)熵是這個(gè)函數(shù)族的一個(gè)很自然的選擇 。
熵的性質(zhì)有（1）對于均勻分布有最大的熵；（2）對于獨(dú)立事件熵是可加的；（3）具有非零概率的結(jié)果數(shù)量增加，熵也會(huì)增加；（4）連續(xù)性；（5）非負(fù)性；（6）確定事件的熵為0；（7）參數(shù)排列不變性 。
【熵 熵增定律】via TowardsDatascience，雷鋒網(wǎng) AI 科技評論編譯

推薦閱讀