Információ kódolási redundancia és a kód, a cikk címsor
Bármilyen üzenetet is képviselteti magát más formáját, amely bele van kódolva a különböző módokon. Különböző módon kódoló általuk elfoglalt egyenlőtlen mennyiségű információt. Optimális kód lesz az egyik egy átlagérték az entrópia jutó szimbólum, egyenlő a forrás információs entrópia.
A legtöbb esetben a használt kódolási rendszerek redundancia, hogy köteles rögzíteni több információt tartalmaz a kódolt üzenetet. A redundanciát a következő képlet adja # 92; [E = 1 - # 92; frac # 92], ahol # 92; (H # 92) - az entrópia az üzenet, # 92; (Q # 92) - az átlagos mennyiségű információ kerül egy szimbólumot a kódolt üzenetet.
Minél nagyobb a redundancia kód, annál nagyobb a valószínűsége a hibamentes átvitelt az információ, de annál nagyobb a szükséges mennyiség tárolása és a nagy sávszélességű átviteli csatornát. Természetes emberi nyelvek jellemzi egy nagyon magas fokú redundancia is nagy redundancia a genom a magasabb rendű szervezetek tárolt DNS-molekulák.
érték # 92; (H / Q # 92;) az úgynevezett hatékonyságát kódot. Az optimális kód # 92; (H / Q = 1 # 92;), és nincs redundancia, azaz # 92; (E = 0 # 92;).
Redundancia csökkentésére kódolási folyamatot nevezik tömörítési információkat, és használják, hogy csökkentsék a mennyiségű memória szükséges információk tárolására. Tömöríteni a tárolt adatok a memóriában ispolzuyutsya- archiváló és a konzervgyárak.
Példa: Annak megállapításához, az entrópia szereplő információk a jelentés „A tudósok - a fény, és nem tudós - a sötétség”, és a kód redundancia. Minden karakter az üzenetet kódolja 1 byte (8 bit).
Megoldás: kiszámítja a karakterek száma az üzenetben, az egyszerűség kedvéért figyelmen kívül hagyva hiányosságok: N = 26. Találunk az ismétlési frekvencia minden egyes karakter (a valószínűsége az üzenetet), amely az alábbi táblázatban a képen a bal oldalon.
Konkrét entrópia (entrópia egy karaktert az üzenetben) bit per szimbólum # 92; [# 92; hullámvonal H = 5 # 92; cdot # 92; frac> 13+ # 92; frac> # 92; frac> + 2 # 92; cdot # 92; frac> # 92; frac> + 4 # 92; cdot # 92; frac> 26 # 92; kb # 92]; # 92; [ # 92; kb # 92; frac> # 92; cdot 3,7004 + # 92; frac> # 92; cdot 2,1155 + # 92; frac> # 92; cdot 3,1155 + # 92; frac> # 92; cdot 4,7004 # 92; kb 3,3535 # 92] A teljes entrópia Hozzászólások # 92; (H = 3,3535 # 92; cdot 26 = 87,19 # 92;) bit. A bitek száma kódolásához szükséges minden szimbólum egy bájt, az # 92; (Q = 208 # 92 # 92 ;;;) bit.
redundancia kód # 92; (E = 1-87,19 / 208 = 0,58 = 58% # 92;).