Teoria informacji
Wyobraźmy sobie system informacyjny, np. sygnalizator drogowy, mający trzy lampy: zieloną, żółtą i czerwoną.
W badaniu stanów systemów, szczególnie naturalnych, określa się różnorodność, czyli zbiór możliwych stanów, które możemy obserwować. Zaistnienie stanu jest związane z wytworzeniem informacji. Warunkiem koniecznym do obliczenia różnorodności jest oczywiście możliwość odróżnienia tych stanów.
Liczba stanów systemu
Sygnalizator ma trzy lampy, każda lampa ma dwa możliwe stany: zapalony, zgaszony. Liczbę możliwych stanów obliczamy jako:
(liczba stanów elementu)liczba elementów = 23 = 8
Liczba możliwych stanów naszego systemu wynosi 8.
Możliwe stany to:
- żadne
- zielone
- czerwone
- żółte
- zielone, czerwone
- zielone, żółte
- czerwone, żółte
- czerwone, zielone, żółte
W praktyce wykorzystuje się tylko 4 stany:
- zielone
- zielone z żółtym
- czerwone
- żółte
Różnorodność
Różnorodność wyraża się w bitach (system dwójkowy) lub ditach (system dziesiętny).
W bitach
Różnorodność sygnalizatora wynosi 
(w bitach)
gdzie:
r - jest różnorodnością
n - jest liczbą stanów
W ditach
Różnorodność sygnalizatora wynosi 
(w ditach)
gdzie:
r - jest różnorodnością
n - jest liczbą stanów
Przeliczenia
Liczbę ditów możemy przeliczyć na liczbę bitów używając jednostki:
H = 3.322 bita/dit
liczba bitów = H * liczba ditów
liczba bitów w powyższym przykładzie = H*0.903 = 3.3222*0.903 = 3
Różnorodność płci
Różnorodność płci 
bit
Różnorodność talii kart
Różnorodność talii kart 
bitów
Różnorodność modelek
Jeżeli mamy modelki (nasze nie są anorektyczne) mające 7 kolorów oczu, 4 kolory skóry, 8 rodzajów fryzur to
różnorodność modelek 
bitów
Zgodnie z prawami matematyki moglibyśmy też wyliczyć to następująco:
różnorodność modelek 
bitów
Niepewność
Często zamiast terminu różnorodność używa się terminu niepewność. Im większa niepewność tym więcej informacji, gdy przestanie być niepewnością. Kierowca dojeżdżający do sygnalizatora zastanie go w pewnym określonym stanie z pewnym prawdopodobieństwem:
| stan | czas trwania (w s) | prawdopodobieństwo stanu |
|---|---|---|
| zielone | 25 | 25/60 = 0.42 |
| zielone z żółtym | 5 | 5/60 = 0.08 |
| czerwone | 25 | 25/60 = 0.42 |
| żółte | 5 | 5/60 = 0.08 |
| Suma | 60 | 60/60 = 1.0 |
Entropia informatyczna
Załóżmy, że czasy przejścia są zmienne, nie znamy czasów przejścia, a czasy ustalone przez nas w tabelce wynikają z obserwacji sygnalizatora przez długi okres czasu.
Jeżeli uwzględnimy odpowiednio długi okres czasu i okaże się, że prawdopodobieństwo przejścia jest stałe, to taka kolejność stanów i przejść jest nazywana łańcuchem Markowa.
Na podstawie tej macierzy możemy określić prawdopodobne zachowania układu.
Znając macierz prawdopodobieństw, nie znając wcześniejszego stanu danego układu, możemy określić prawdopodobne zachowania tego systemu. Jest to system bez pamięci lub bez historii.
Przy odpowiedniej liczebności pomimo, że zachowanie pojedynczego światła jest określone jedynie z pewnym prawdopodobieństwem, to system jako całość jest niezależny od przypadku i jest systemem zdeterminowanym.
A więc różnorodność określa ilość przekazywanej informacji. Miarą ilości informacji dla systemów zachowujących się jak łańcuch Markowa jest entropia.
Entropia jest pojęciem termodynamicznym określającym nieuporządkowanie układu. Im większe nieuporządkowanie tym większa entropia. W układach zamkniętych entropia zawsze wzrasta, czyli procesy przebiegają od stanu uporządkowania do stanu rozproszenia. W układach otwartych zmiana w kierunku odwrotnym wymaga doprowadzenia energii.
Gdyby czas trwania każdego światła w sygnalizatorze był jednakow, to system byłby chaotyczny, a entropia – największa, a informacja dostarczana przez system też największa
Entropię można obliczyć następująco:
S - oznacza entropię
a - jest pewną stałą, którą w obliczeniach informatycznych przyjmuje się za równą 1.
p - jest prawdopodobieństwem kolejnego stanu
r - jest liczbą stanów elementu - dla sygnalizatora = 2 (zgaszone, zapalone)
k - jest liczbą stanów (liczbą rzędów w poniższej tabelce) = 4
Wiemy też że:
| stan | prawdopodobieństwo stanu p |  |
|---|---|---|
| zielone | 0.42 | -0.5256 |
| zielone z żółtym | 0.08 | -0.2915 |
| czerwone | 0.42 | -0.5256 |
| żółte | 0.08 | -0.2915 |
| Suma | 1.0 | -1.6342 |
| *(-1)= | 1.6342 |
Entropia sygnalizatora = 1.6342 bitów. Aby obliczyć entropię w ditach należałoby w ostatniej kolumnie tabelki użyć przelicznika:
Otrzymalibyśmy wówczas entropię 0.4919 ditów.
Własności entropii:
- jest nieujemna
- jest maksymalna, gdy prawdopodobieństwa zdarzeń są takie same
Entropia danej informacji jest równa liczbie bitów potrzebnej do jej zakodowania.
Informacja
Miarą ilości informacji wytwarzanej przez system jest średnia entropia. Możemy ją obliczyć następująco:
| stan | prawdopodobieństwo stanu p |  |
|---|---|---|
| zielone | 0.42 | 0.5256 |
| zielone z żółtym | 0.08 | 0.2915 |
| czerwone | 0.42 | 0.5256 |
| żółte | 0.08 | 0.2915 |
| Suma | 1.0 | 1.6342 |
Informacja przekazywana przez sygnalizator wynosi 1.634 bita na światło (znak, stan).
Gdyby prawdopodobieństwa stanów sygnalizatora były jednakowe i wynosiły 0.25 to informacja przekazywana przez to źródło wynosiłaby 2 bity na światło.
Widzimy więc, co powiedzieliśmy wcześniej, że wraz z rozmyciem prawdopodobieństwa wzrasta entropia, a więc i ilość informacji zawartej w układzie.
Podkreślmy, że aby obliczać entropię:
- suma prawdopodobieństw musi być równa 1.
- prawdopodobieństwo przejścia zależy od systemu, ale nie zależy od poprzedniego stanu
- system jest w stanie równowagi
Entropia termodynamiczna
Entropię termodynamiczną wyraża się też podobnym wzorem co entropię informacyjną.
Stałą a zastępujemy przez stałą Boltzmanna k, a r zastępujemy przez e (podstawa logarytmów naturalnych)
Entropia termodynamiczna, a entropia informatyczna
Entropia termodynamiczna wyrażana jest w dżulach/ stopień Kelwina. Mierzy stan nieuporządkowania układu.
Entropia informatyczna jest wyrażana w bitach lub ditach, które nie mają żadnego fizycznego odpowiednika.
Podstawową różnicą jest fakt, że układ np. cząsteczek gazu jest dynamiczny, znajduje się w stanie ciągłego ruchu i samoczynnie dąży do stanu równowagi termodynamicznej, czyli stanu maksymalnej entropii. Układy informatyczne są stacjonarne i zachowują się jak gaz w temperaturze zera bezwzględnego, który jednak jak wiadomo w tej temperaturze ma entropię równą zero.
Pojawiają się pytania:
- Czy wzrost entropii informacyjnej prowadzi do wzrostu entropii termodynamicznej?
- Czy entropia informacyjna, podobnie jak termodynamiczna, pozostaje nie zmieniona w przypadku, gdy informacja jest odwracalna, a wzrasta, gdy następuje nieodwracalna utrata informacji?
- Czy te dwie entropie - poza wzorem - w ogóle mają coś wspólnego? A może jest to tylko przypadkowa identyczność wzorów?
- Jeśli mają coś wspólnego to czy istnieje temperatura kodu albo wymiana ciepła przy przekazywaniu informacji?
- Jaki jest koszt energetyczny pojawienia się nowej informacji o systemie?
Negentropia
Entropia negatywna. Dla danego układu jest różnicą między maksymalną (ostateczną) entropią tego układu, a jego aktualną entropią. Jest miarą stopnia organizacji układu. Stan o najniższym prawdopodobieństwie daje maksymalną negentropię, czyli nawiększy stopień uorganizowania. Stan o najwyższym prawdopodobieństwie oznacza skrajną dezorganizację układu i minimalną lub zerową negentropię. Jej wartość jest zawsze nieujemna.
W teorii informacji jest jedną z miar koncentracji rozkładu cechy, gdyż mierzy odległość rozkładu statystycznego badanej cechy od rozkładu normalnego (Gaussa).
Bity i bajty
Bit to najmniejsza ilość informacji niezbędna do określenia, który z dwóch równie prawdopodobnych stanów przyjął system.
Bit przyjmuje jeden z dwóch stanów logicznych:
- tak, nie
- prawda, fałsz
- 0, 1
W systemach komputerowych najczęściej oznacza jeden z dwóch możliwych stanów:
- normalne napięcie
- brak napięcia (napięcie zerowe lub niższe niż 10% normalnego).
Symbolem jest mała litera 'b'.
Bajt to najmniejsza jednostka (pojemności) informacji pamięci komputerowej. Tradycyjnie obejmuje 8 bitów pamięci. Najczęściej skrajny prawy bajt zawiera najmniej znaczące bity.
Czym jest informacja
Jeżeli przyjrzymy się historii i definicjom zawartym w tym co nazywamy teorią informacji zobaczymy, że coś takiego jak 'teoria informacji' tak naprawdę nie istnieje. Istnieje teoria komunikacji, która zajmuje się obliczeniami związanymi z przesyłaniem informacji w kanałach telekomunikacyjnych i występującymi tam niekorzystnymi zjawiskami takimi jak szum telekomunikacyjny czy utrata informacji w trakcie przesyłania. Pośrednio dotyczy to również oczywiście przesyłania informacji w komputerach, czy sieciach.
Jeżeli przyjrzymy się dokładniej definicjom to zobaczymy, że tak naprawdę słowo informacja nie zostało zdefiniowane. Informację definiuje się jako komunikat, czy wiadomość, czyli terminy które oznaczają dokładnie to samo - czyli właściwie nie wiadomo co. W Wikipedii przez informację rozumie się: "każde rozpoznanie stanu układu, odróżnialnego od innego stanu tego układu (stanu wyróżnionego); wyróżnienie pewnego stanu wyróżnionego (odróżnialnego) z repertuaru (zbioru stanów wyróżnionych)".
"Odróżnia się też:
- informację swobodną, kiedy możliwości (stany, zdarzenia) uważamy za abstrakcyjne i nie przypisujemy im żadnego znaczenia fizycznego,
- informację związaną, kiedy możliwości (stany, zdarzenia) mogą być interpretowane jako mikrostany (lub zbiory mikrostanów pewnego układu fizycznego."
Definicje te są bardzo nieprecyzyjne chociaż intuicyjnie rozumiemy o co w nich chodzi.
Spójrzmy na problem inaczej.
Załóżmy, że siedzimy w ciemnym pokoju i nagle do naszego oka dociera błysk światła. Do naszej siatkówki dotarł foton lub grupa fotonów. Jeżeli nateżenie światła jest zbyt małe nie zobaczymy kolorów - obraz będzie czarno-biały lub w odcieniach szarości. Jeżeli natężenie światła będzie odpowiednie zobaczymy kolorowy punkt.
To jaki kolor zobaczymy - zależy od długości fali światła, która dotarła do oka. Informacją, która dotarła do oka jest parametr fali świetlnej - nazywany jej długością. Gdyby długość fali świetlnej była inna - otrzymalibyśmy inny kolor, czyli inną informację.
W przypadku wzroku i słuchu rozpoznajemy parametry fal. W przypadku węchu i smaku, czy odczuwania bólu - rozpoznajemy strukturę cząsteczek chemicznych. W przypadku dotyku rozpoznajemy sieć bodźców - podobnie jak przy odczytywaniu obrazów.
Informacja związana z parametrami fizycznymi moemy nazwać informacją fizyczną.
Gdyby żaden żywy organizm nie istniał to świat pewnie byłby superpozycją fal i nic by się w nim nie działo, a żadne informacje nie były przekazywane. Gdyby jednak informacje były przekazywane to było by to mechaniczne przekazywanie sygnału typu bodziec - reakcja.
Potem na świecie pojawiły się organizmy żywe. Każdy żywy organizm jest urządzeniem do przetwarzania informacji. Pojedyncze bodźce takie jak np. długości fal świetlnych ułożyły się w obrazy, fale dźwiękowe i świetlne ułożyły się w sekwencje, cząsteczki chemiczne ułożyły się w gradienty. Informacja zaczęła być wykorzystywana do zmniejszenia entropii, kosztem zwiększenia entropii otaczającego środowiska.
Potem pojawiła się zdolność uczenia - zapamiętywania skutków jakie powodują określone bodźce - i wykorzystywania tej wiedzy do przetrwania.
W przyrodzie wygrywa nie ten, kto jest najsilniejszy, ale ten kto najlepiej potrafi odbierać, zapamiętywać i przetwarzać informacje.
Potem - wraz z rozwojem systemu przetwarzania informacji - pojawiła się zdolność generowania informacji, np. dźwięku. Pojawiła się informacja abstrakcyjna: sekwencje dźwiękowe, słowa, zdania. Pojawiła sie mowa i związana z nią umiejętność rozumienia informacji abstrakcyjnej.
Potem (lub równolegle) pojawiła się zdolność kompozycji - pojawiła się muzyka, malarstwo. Pojawiła się też zdolność do abstrakcyjnego rozumowania oraz wynalazczość - wytwarzanie przedmiotów nie istniejących w przyrodzie, a więc zdolność twórczego przetwarzania - w tym niszczenia - istniejącej rzeczywistości oraz tworzenie uogólnień (np. teorii matematycznych).
Jedym słowem pojawiło się coś - zdolność rozumienia informacji, a zatem znaczenie informacji.
Informacja zindywidualizowała się, gdyż tę samą informację abstrakcyjną, każdy odbiorca może rozumieć i wykorzystać inaczej.
Informacja fizyczna jest przenoszona mechanicznie. Nie potrzeba do jej przekazu ani nadawcy ani odbiorcy.
W przypadku informacji abstrakcyjnej jest inaczej. Gdyby na świecie nie było ludzi, ale gdzieś w przestrzeni istniała Książka, to pytanie czy istniała by informacja abstrakcyjna w niej zawarta. Z fizycznego punktu widzenia litery to tylko układy pikseli, które nic nie znaczą, jeśli nie wiemy, że to jest napis. Nic nie znaczą również, jeśli nie znamy języka, w którym książka jest napisana. W świecie jest mnóstwo informacji, o której nie wiemy, że jest informacją (język przyrody - czy drzewo coś mówi gdy jest wiatr :-)) lub wiemy, że jest informacją, ale i tak nie potrafimy jej przeczytać ani zrozumieć (np. tabliczki rongo-rongo).
Do odbioru informacji abstrakcyjnej konieczny jest nadawca, odbiorca, przesyłana informacja i nośnik tej informacji. Jeżeli człowiek rozmawia z człowiekiem informacją są parametry fali dźwiękowej, a nośnikiem sama fala. Jeżeli czytamy książkę nadawcą jest autor, odbiorcą czytelnik, nośnikiem fala świetlna, a informacją układ parametrów fali świetlnej (kształty liter) zarejestrowany na papierze. Informację fizyczną (zawsze taką samą) przekształcamy w informację abstrakcyjną (która jest zawsze jednakowa) i nadajemy jej indywidualne znaczenie (jeśli ją rozumiemy) i w indywidualny sposób zapamiętujemy i wykorzystujemy.
Najważniejsze jest żeby pamiętać, że informacja jest w pełni materialna, wbrew temu to twierdzi wielu (psedo)uczonych.
Równoważność materii, energii i informacji?
Powstaje pytanie, które zadam, ale na które nie podejmuję się odpowiedzieć: Czy w słynnym równaniu Einsteina E=mc2 brakuje I - jak informacja? Czy informacja jest niezbędną częścią rzeczywistości? Czy Wszechświat zawiera w sobie informacje o swojej budowie? Czy słowo może stać się ciałem?