Az információ fogalma
Az "információ" fogalmának számos definíciója létezik. Mindegyikük eltérő megközelítést tükröz a fogalom értelmezésében.
Az újságírók és filológusok az 1920-as és 1930-as években új híreket, üzeneteket, újságírási műfajokat, amelyeken keresztül egy személy különféle információkat kap. XX század. A kifejezés szigorúbb értelmezése két új tudományág megjelenésével jár: az információ és a kibernetika matematikai (statisztikai) elmélete.
Az információelmélet fejlesztésében részt vett az amerikai mérnök, Ralph Hartley. 1928-ban logaritmikus információs méretet javasolt. Az információ megszerzésének folyamata az N egyezõ üzenetek végsõ elõzetesen hozzárendelt készletének egy üzenetének kiválasztása volt, és a kiválasztott üzenetben található információ mennyiségét a képlet határozta meg:
A Hartley formula csak ideális rendszerekhez alkalmazható. A valóságban azonban az üzenetek egyáltalán nem valószínűek.
1948-ban Claude Shannon amerikai mérnök és matematikus megfogalmazta az információ matematikai elméletének alapjait. Vizsgálta a véletlenszerű folyamatokat és jelenségeket, amelyek esetében az eredmény bizonytalansága jellemző (igen, nem). Az információ nem olyan információ (hír), hanem csak azok, amelyek teljesen vagy teljesen csökkentik az átvétel előtt meglévő bizonytalanságot. K. Shannon elmélete szerint az információ enyhült bizonytalanság.
Bizonytalanság áll fenn, ha az egyik esemény bekövetkezhet. A bizonytalanság eltávolításának eredményeként kapott információk mennyiségét a Shannon képlet alapján számított képlet alapján számítjuk ki:
ahol én vagyok az információ mennyisége;
Pi - esemény valószínűsége, 1≤i≤m;
m az összes lehetséges esemény száma.
Az információ mennyiségének meghatározására szolgáló képlet figyelembe veszi az üzenetek esetleges egyenlőtlen valószínűségét.