Entrópia, mint egy intézkedés bizonytalanság egy fizikai rendszer
Entrópia, mint egy intézkedés bizonytalanság egy fizikai rendszer
Részletek vannak kitéve tárolása, továbbítása és az átállás az információ. az információk mennyisége alapuló intézkedés fogalmának entrópia. Entrópia - az intézkedés a bizonytalanság a rendszer állapotáról X (random változó) véges vagy megszámlálható esetek száma.
Ami azt jelenti, a bizonytalanság, és hogyan kell mérni?
Példa. Tegyük fel, hogy két rendszer: az első rendszer - a szerszám (6 államok), a második rendszer - érme (2 állapot).
A kérdés az: milyen állapotban van a rendszer nehezebb megjósolni (a bizonytalanság a rendszer több)? Természetesen a bizonytalanság az első rendszer felett. Így a bizonytalanság a rendszer számától függ a lehetséges állapotok. Azonban az államok száma nem kimerítő jellemző a bizonytalanság.
Megmutatjuk ebben a példában olyan rendszerek esetében két stabil állapot. Tegyük fel, hogy 2 M1 és M2 érmék (a érme két lehetséges állapotok: 0 Eagle és farok P):
P i - a valószínűsége a pénzérmék képes fej vagy írás.
Ez könnyű észrevenni, hogy a bizonytalanság a két rendszer eltérő lesz. A bizonytalanság az első rendszer több, mint a táblázat azt mutatja, hogy a második érme szinte állandóan állapotban egy sas. Az első ismert, amelyben egy érme van jelen, akkor az is valószínű, hogy az állam vagy a fej vagy írás állapotban.
Így azt látjuk, hogy a bizonytalanság mértéke is függ a valószínűségek államok a rendszer. Mivel eleve bizonytalan mértékű információs entrópia elmélet szerint.
Shannon entrópia összegével egyenlő termékek valószínűségek rendszer államok logaritmusainak ezeket a valószínűségeket, hozott ellenkező előjellel:
ahol X = (x 1 x2 ... x i, ... x n.) - több lehetséges állapot X. rendszer befogadóelemet valószínűségekkel p (x 1), p (x 2), ... p (xi), ... p (xn),
n - a számos lehetséges állapotok. Ugyanakkor meg kell jegyezni normalizálás állapota:
A képletű 1,1 log bázis lehet bináris, decimális vagy természetes. Ha ön használ egy bináris bázis, akár el is hagyható. Az alapja a bináris entrópia a bit, vagy egy bináris egyet. Általános képletű (1,1) lehet az az alábbi formában:
Entrópia jellemzi az átlagos értéket és képviseli a várható - log p. azaz, H (X) = M [- log p (x)].
Tekintsük a tulajdonságok az entrópia:
1. entrópia az az érték a valós, nem-negatív és határolja: H # 8807; 0.
Ez következik a kifejezés (1.2).
Tekintsük egy kifejezés - pk pk napló. Pk Ha megváltoztatja a nulla egyik egy pozitív valós idejű változik nullától, elérte a csúcsot pk =. ismét nullára csökken (sm.ris.1.1)
Tény, hogy hagyta, hogy pk nullára, megkapjuk
Ha lecseréli
kapjuk a következő képlet: azaz a kifejezés eltűnik, ha pk = 0. Ha pk = 1, a log pk = 0, és a kifejezés is nulla: - pk log pk = 0.
A maximális érték a feltétel:
- log pk e = 0. Ezért pk × e = 1; Helyettesítő Hk
A maximális érték 0,531.
2. entrópia minimális, és a nullával egyenlő, ha legalább az egyik az államok a rendszer bizonyos: H = Hmin = 0.
Hagyja, hogy a rendszer három állam, és a valószínűségek ezen államok egyenlő lesz: p 1 = p 2 = 0, p 1 = 1. Ekkor
3. Az entrópia maximális és egyenlő logaritmusa államok száma, ha az állam a rendszer egyformán valószínű:
4. Az entrópia bináris értéke változik 0-1.
Tegyük fel, p 1 = p; p 2 = (1-p); Ezután H = - p × log p - (1- p) × log (1- p);
Entrópia nulla, ha a valószínűsége az egyik Államok nulla, akkor növekszik, és eléri a maximális p = 0,5, vagyis ha p 1 = p 2 = 0,5. Ebben az esetben az üzenetek bizonytalanság fogadásakor a legnagyobb.
A bázis a logaritmus lehet kifejezni bináris, decimális vagy fizikai egységben. Ez entrópia becslésére bázis elhagyható bináris egység:
entrópia kiszámítása lehet egyszerűsíteni bevezetésével egy speciális funkció # 951; (p) =. akkor H (x) = # 931; # 951; (p).
Kiszámításához az entrópia ilyen funkcióra speciálisan kialakított táblázatot (lásd 1. táblázat, 1. melléklet).