Kölcsönös tájékoztatás és tulajdonságai
Most határozza szereplő információk egy együttest a másikhoz képest, például a vett jel képest a továbbított üzenet. Ehhez olyan üzenetet két különálló sávok és B. Általánosságban elmondható, hogy függő. Ez úgy értelmezhető, mint egy pár állások együttesek vagy együttesek üzenetek és jelek által, amelyek az üzenet továbbítása, vagy mint a konstelláció a bemeneti és kimeneti kommunikációs csatorna, és így tovább. D. Legyen P (ak, bl) az együttes valószínűsége az ak és bl. A Cooperative entrópia együttesek A és B fogják hívni:
Bemutatjuk fogalma is feltételes entrópia:
A tétel szorzata valószínűségek
Ebből következik, hogy. (10.8)
A feltételes entrópia igazi kettős egyenlőtlenséget:
Vegyünk két szélsőséges esetekben:
1.Ravenstvo kerül sor, amikor tudva végrehajtását. Meg lehet pontosan beállítani végrehajtását. Más szóval, ez tartalmazza a teljes információt.
2. A másik szélsőséges esetben, ha van, ha az események és független. Ebben az esetben a végrehajtás a tudás nem csökkenti a bizonytalanságot. azaz Nem tartalmaz semmilyen információt A.
Kölcsönös tájékoztatás mérjük ugyanabban az egységben, mint az entrópia. Az érték jelzi, hogy hány megkaptuk átlagosan kicsit végrehajtására vonatkozó információkat az együttest. betartva a végrehajtását az együttest.
Nézzük megfogalmazni alaptulajdonságait kölcsönös információ:
1. sőt, az egyenlőség esetén fordul elő, és csak akkor, ha, és függetlenek egymástól
2. azaz, hogy tartalmaz annyi információt. Tartalmaz viszonylag sok. Ez következik a szimmetria kifejezés. Ezért is írja:
3. Sőt, az egyenlőség akkor történik, amikor a végrehajtás lehet pontosan beállítani végrehajtását.
4. Sőt, az egyenlőség akkor történik, amikor a végrehajtás lehet pontosan beállítani végrehajtását.
5. beállítása és figyelembe véve, hogy megkapjuk:
Ez lehetővé teszi számunkra, hogy értelmezze az entrópia a forrása a saját adatait, azaz az információk, amelyek az együttesben magát.
így a megfelelő egyenletet az entrópia és az információ mennyisége kiszámítása nem ugyanazt az üzenetet, és egységnyi idő alatt. Az érték az úgynevezett bitsebesség k (vagy fordítva). Vegyünk egy példát: ha - a együttese jelek diszkrét csatorna bemeneti, és - sávú jeleket a kimenetén, az adatátviteli sebességet a csatornán.
- a forrás az átvitt jel teljesítményét.
„Channel kapacitás”, azaz a teljes tulajdonjoga az információt a vett jel egységnyi idő alatt.