Informační teorie - Information theory
Informační teorie |
---|
Informační teorie je vědecká studie kvantifikace , skladování a komunikace z digitálních informací . Pole bylo zásadně založeno dílem Harryho Nyquista a Ralpha Hartleyho ve 20. letech 20. století a Clauda Shannona ve 40. letech 20. století. Obor je na průsečíku teorie pravděpodobnosti , statistiky , informatiky , statistické mechaniky , informačního inženýrství a elektrotechniky .
Klíčovým měřítkem v informační teorii je entropie . Entropie kvantifikuje množství nejistoty zahrnuté v hodnotě náhodné veličiny nebo výsledku náhodného procesu . Například identifikace výsledku férového hodu mincí (se dvěma stejně pravděpodobnými výsledky) poskytne méně informací (nižší entropie) než určení výsledku z hodu kostkou (se šesti stejně pravděpodobnými výsledky). Některá další důležitá opatření v informační teorii jsou vzájemné informace , kapacita kanálu, exponenty chyb a relativní entropie . Důležité dílčí pole informační teorie patří zdrojové kódování , algoritmické teorii složitosti , algoritmické informační teorii , informačně-teoretický bezpečnost a konečné délky bloku informační teorii .
Aplikace základních témat informační teorie zahrnují bezeztrátovou kompresi dat (např. Soubory ZIP ), ztrátovou kompresi dat (např. MP3 a JPEG ) a kódování kanálů (např. Pro DSL ). Jeho dopad byl zásadní pro úspěch misí Voyageru do hlubokého vesmíru, vynález kompaktního disku , proveditelnost mobilních telefonů a rozvoj internetu. Teorie našla uplatnění i v dalších oblastech, včetně statistické inference , kryptografie , neurobiologie , vnímání , lingvistiky, evoluce a funkce molekulárních kódů ( bioinformatika ), tepelné fyziky , molekulární dynamiky , kvantové výpočetní techniky , černé díry , získávání informací , shromažďování zpravodajských informací , detekce plagiátorství , rozpoznávání , detekce anomálií a tvorba i umění.
Přehled
Informační teorie studuje přenos, zpracování, extrakci a využití informací. Abstraktně lze informace považovat za řešení nejistoty. V případě komunikace informací přes hlučný kanál byl tento abstraktní koncept formalizován v roce 1948 Claudem Shannonem v dokumentu nazvaném Matematická teorie komunikace , ve kterém je informace považována za soubor možných zpráv a cílem je posílat tyto zprávy přes hlučný kanál a nechat přijímač rekonstruovat zprávu s nízkou pravděpodobností chyby, navzdory šumu kanálu. Shannonův hlavní výsledek, teorém o kódování hlučných kanálů, ukázal, že v limitu mnoha použití kanálu je míra informace, která je asymptoticky dosažitelná, rovna kapacitě kanálu, což je množství závislé pouze na statistikách kanálu, přes který zprávy jsou poslány.
Teorie kódování se zabývá hledáním explicitních metod, nazývaných kódy , pro zvýšení účinnosti a snížení chybovosti datové komunikace přes hlučné kanály na blízkost kapacity kanálu. Tyto kódy lze zhruba rozdělit na techniky komprimace dat (zdrojové kódování) a opravy chyb (kanálové kódování). Ve druhém případě trvalo mnoho let, než se našly metody, které Shannonova práce dokázala, že jsou možné.
Třetí třídou kódů teorie informací jsou kryptografické algoritmy ( kódy i šifry ). Pojmy, metody a výsledky z teorie kódování a teorie informací jsou široce používány v kryptografii a kryptanalýze . Historickou aplikaci najdete v zákazu článku (jednotka) .
Historické pozadí
Významnou událostí, která zavedla disciplínu teorie informací a přivedla ji k okamžité celosvětové pozornosti, bylo zveřejnění klasického článku Clauda E. Shannona „Matematická teorie komunikace“ v technickém časopise Bell System v červenci a říjnu 1948.
Před tímto dokumentem byly v Bell Labs vyvinuty omezené teoreticko-informační myšlenky , všechny implicitně předpokládající události se stejnou pravděpodobností. Papír Harryho Nyquista z roku 1924, Určité faktory ovlivňující rychlost telegrafu , obsahuje teoretickou část kvantifikující „inteligenci“ a „rychlost linky“, při které může být přenášena komunikačním systémem, přičemž vztah W = K log m (připomínající Boltzmannovu konstantu ), kde W je rychlost přenosu inteligence, m je počet různých úrovní napětí, ze kterých si můžete vybrat v každém časovém kroku, a K je konstanta. Dokument Ralpha Hartleye z roku 1928, Přenos informací , používá slovo informace jako měřitelnou veličinu, což odráží schopnost přijímače rozlišit jednu sekvenci symbolů od ostatních, čímž kvantifikuje informace jako H = log S n = n log S , kde S byl počet možných symbolů, a n počet symbolů v přenosu. Jednotkou informace byla tedy desetinná číslice , která se od té doby někdy na jeho počest nazývala hartley jako jednotka nebo měřítko nebo míra informace. Alan Turing v roce 1940 použil podobné myšlenky jako součást statistické analýzy prolomení německých šifer Enigma druhé světové války .
Hodně z matematiky za informační teorie s událostmi z různých pravděpodobností byly vyvinuty pro oblasti termodynamiky podle Ludwig Boltzmann a J. Willard Gibbs . Propojení mezi informačně teoretickou entropií a termodynamickou entropií, včetně důležitých příspěvků Rolfa Landauera v 60. letech, je zkoumáno v Entropii v termodynamice a informační teorii .
V Shannonově revolučním a průkopnickém dokumentu, jehož práce byla v Bell Labs podstatně dokončena do konce roku 1944, Shannon poprvé představil kvalitativní a kvantitativní model komunikace jako statistický proces, který je základem teorie informací, a otevírá se tvrzením:
- "Zásadním problémem komunikace je reprodukce v jednom bodě, buď přesně nebo přibližně, zprávy vybrané v jiném bodě."
S tím přišly nápady
- informační entropii a nadbytečnost zdroje a její relevanci prostřednictvím věty o kódování zdroje ;
- vzájemné informace a kanálová kapacita hlučného kanálu, včetně příslibu dokonalé bezeztrátové komunikace dané kódovací větou o hlučných kanálech;
- praktický výsledek Shannon -Hartleyova zákona pro kapacitu kanálu Gaussova kanálu ; stejně jako
- bit -a nový způsob vidění nejzákladnějších jednotku informace.
Množství informací
Informační teorie vychází z teorie pravděpodobnosti a statistiky. Informační teorie se často zabývá měřením informací o distribucích spojených s náhodnými proměnnými. Důležitá množství informací jsou entropie, míra informace v jedné náhodné proměnné a vzájemná informace, míra informace společná mezi dvěma náhodnými proměnnými. První veličina je vlastností rozdělení pravděpodobnosti náhodné veličiny a udává limit rychlosti, kterou lze data generovaná nezávislými vzorky s daným rozdělením spolehlivě komprimovat. Ten je vlastností společného rozdělení dvou náhodných proměnných a je maximální mírou spolehlivé komunikace přes hlučný kanál na hranici dlouhých blokových délek, když jsou statistiky kanálů určeny společným rozdělením.
Volba logaritmické báze v následujících vzorcích určuje jednotku informační entropie, která se použije. Běžnou jednotkou informace je bit na základě binárního logaritmu . Mezi další jednotky patří nat , který je založen na přirozeném logaritmu , a desetinná číslice , která vychází ze společného logaritmu .
V následujícím je výraz ve formě p log p považován konvencí za rovný nule, kdykoli p = 0 . To je odůvodněné, protože pro jakoukoli logaritmickou základnu.
Entropie zdroje informací
Na základě hmotnostní funkce pravděpodobnosti každého zdrojového symbolu, který má být sdělen, je Shannonova entropie H v jednotkách bitů (na symbol) dána vztahem
kde p i je pravděpodobnost výskytu i -té možné hodnoty zdrojového symbolu. Tato rovnice udává entropii v jednotkách „bitů“ (podle symbolu), protože používá logaritmus báze 2 a tato míra entropie báze 2 se někdy na jeho počest nazývala shannon . Entropie se také běžně počítá pomocí přirozeného logaritmu (základna e , kde e je Eulerovo číslo), který produkuje měření entropie v nats na symbol a někdy zjednodušuje analýzu tím, že se vyhýbá nutnosti zahrnout do vzorců další konstanty. Jsou možné i jiné báze, ale méně běžně používané. Například logaritmus báze 2 8 = 256 vytvoří měření v bajtech na symbol a logaritmus báze 10 vytvoří měření v desítkových číslicích (nebo hartleys ) na symbol.
Intuitivně je entropie H X diskrétní náhodné veličiny X měřítkem míry nejistoty spojené s hodnotou X, když je známo pouze její rozdělení.
Entropie zdroje, který vysílá posloupnost N symbolů, které jsou nezávislé a identicky distribuované (iid), je N ⋅ H bitů (na zprávu N symbolů). V případě, že zdroj datové symboly jsou stejně rozděleny, ale nejsou nezávislé, entropie zprávy o délce N bude menší než N ⋅ H .
Pokud jeden vysílá 1 000 bitů (0 s a 1 s) a hodnota každého z těchto bitů je přijímači známa (má určitou hodnotu s jistotou) před vysláním, je jasné, že nejsou přenášeny žádné informace. Pokud je však každý bit nezávisle stejně pravděpodobný jako 0 nebo 1, bylo přeneseno 1 000 shannonů informací (častěji nazývaných bity). Mezi těmito dvěma extrémy lze informace kvantifikovat následujícím způsobem. Pokud je množina všech zpráv { x 1 , ..., x n }, kterou X může být, a p ( x ) je pravděpodobnost některých , pak je definována entropie, H , z X :
(Zde I ( x ) je vlastní informace , která je příspěvkem entropie k jednotlivým zprávám, a je očekávanou hodnotou .) Vlastností entropie je, že je maximalizována, když jsou všechny zprávy v prostoru zpráv stejně pravděpodobné p ( x ) = 1/ n ; tj. nejvíce nepředvídatelné, v takovém případě H ( X ) = log n .
Zvláštním případem informační entropie pro náhodnou proměnnou se dvěma výstupy je funkce binární entropie, obvykle převzatá do logaritmické báze 2, takže má shannon (Sh) jako jednotku:
Společná entropie
Kloub entropie dvou diskrétních náhodných veličin X a Y je jen entropie jejich párování: ( X , Y ) . To znamená, že pokud X a Y jsou nezávislé , pak jejich kloub entropie je součet jejich individuálních entropií.
Pokud například ( X , Y ) představuje polohu šachové figury - X řádek a Y sloupec, pak společná entropie řady figurky a sloupce figurky bude entropií polohy šachové figury kus.
Přes podobnou notaci by společná entropie neměla být zaměňována s křížovou entropií .
Podmíněná entropie (ekvivokace)
Podmíněná entropie nebo podmíněné nejistota z X, vzhledem k tomu, náhodná veličina Y (také volal dvojznačnost o X o Y ) je průměr podmíněná entropie přes Y :
Protože entropie může být podmíněna náhodnou proměnnou nebo tím, že tato náhodná proměnná je určitou hodnotou, je třeba dbát na to, aby nedošlo k záměně těchto dvou definic podmíněné entropie, z nichž ta první se běžně používá. Základní vlastností této formy podmíněné entropie je, že:
Vzájemné informace (transinformace)
Vzájemné informace měří množství informací, které lze získat o jedné náhodné proměnné pozorováním jiné. Je důležitý v komunikaci, kde jej lze použít k maximalizaci množství informací sdílených mezi vyslanými a přijímanými signály. Vzájemná informace X vzhledem k Y je dána vztahem:
kde SI ( S pecific vzájemné I nformace ) je bodová vzájemná informace .
Základní vlastností vzájemné informace je, že
To znamená, že věděl, Y , můžeme ušetřit průměrně I ( X , Y ) bity v kódování X ve srovnání se neví, Y .
Vzájemné informace jsou symetrické :
Vzájemné informace mohou být vyjádřeny jako průměrný Kullback-Leibler divergence (informace zisk) mezi zadní rozdělení pravděpodobnosti z X danou hodnotu Y a dřívější distribuce na X :
Jinými slovy, to je měřítkem toho, jak moc, v průměru, rozdělení pravděpodobnosti na X se změní kdybychom jsou uvedeny hodnoty Y . To se často přepočítává jako odchylka od součinu mezních rozdělení ke skutečnému společnému rozdělení:
Vzájemné informace úzce souvisí s testem poměru pravděpodobnosti log v kontextu kontingenčních tabulek a multinomiální distribuce a s Pearsonovým testem χ 2 : vzájemné informace lze považovat za statistiku pro posuzování nezávislosti mezi dvojicí proměnných a mají dobře specifikovaná asymptotická distribuce.
Divergence Kullback – Leibler (zisk informací)
Kullback-Leibler divergence (nebo informace divergence , informace o zesílení , nebo relativní entropie ) je způsob porovnání dvou distribuce: „true“ rozdělení pravděpodobnosti , a libovolné rozdělení pravděpodobnosti . Pokud komprimujeme data způsobem, který předpokládá, že jde o distribuci, která je podkladem některých dat, když ve skutečnosti je správná distribuce, Kullback – Leiblerova divergence je počet průměrných dodatečných bitů na datum nezbytný pro kompresi. Je tedy definován
Ačkoli se někdy používá jako „metrika vzdálenosti“, KL divergence není skutečnou metrikou, protože není symetrická a nevyhovuje nerovnosti trojúhelníku (což z něj činí semikvazimetrický prvek).
Další interpretací KL divergence je „zbytečné překvapení“ zavedené převorem z pravdy: předpokládejme, že číslo X bude náhodně vylosováno z diskrétní množiny s distribucí pravděpodobnosti . Pokud Alice zná skutečnou distribuci , zatímco Bob věří (má předchozího ), že distribuce je , pak bude Bob při pohledu na hodnotu X v průměru překvapen více než Alice . Divergence KL je (objektivní) očekávaná hodnota Bobova (subjektivního) překvapení mínus Aliceho překvapení, měřená v bitech, pokud je log na bázi 2. Tímto způsobem lze kvantifikovat, do jaké míry je Bobův prior „špatný“ o tom, jak se od něj „zbytečně překvapilo“.
Jiná množství
Mezi další důležité informační teoretické veličiny patří Rényiho entropie (zobecnění entropie), diferenciální entropie (zobecnění množství informací na spojité distribuce) a podmíněné vzájemné informace .
Teorie kódování
Teorie kódování je jednou z nejdůležitějších a nejpřímějších aplikací teorie informací. Lze jej rozdělit na teorii zdrojového kódování a teorii kódování kanálů. Pomocí statistického popisu dat kvantifikuje teorie informací počet bitů potřebných k popisu dat, což je informační entropie zdroje.
- Komprese dat (zdrojové kódování): Pro problém s kompresí existují dvě formulace:
- bezeztrátová komprese dat : data musí být přesně rekonstruována;
- ztrátová komprese dat : přiděluje bity potřebné k rekonstrukci dat v rámci zadané úrovně věrnosti měřené funkcí zkreslení. Tato podmnožina informační teorie se nazývá teorie zkreslení rychlosti .
- Kódy pro opravu chyb (kódování kanálů): Zatímco komprese dat odstraní co nejvíce nadbytečnosti, kód pro opravu chyb přidá správný druh redundance (tj. Oprava chyb) potřebnou k efektivnímu a věrnému přenosu dat přes hlučný kanál.
Toto rozdělení teorie kódování na kompresi a přenos je odůvodněno teorémami o přenosu informací nebo větami o oddělení zdroje a kanálu, které ospravedlňují použití bitů jako univerzální měny pro informace v mnoha kontextech. Tyto věty však platí pouze v situaci, kdy jeden vysílající uživatel chce komunikovat s jedním přijímajícím uživatelem. Ve scénářích s více než jedním vysílačem (kanál s více přístupy), více než jedním přijímačem ( vysílací kanál ) nebo zprostředkovatelskými „pomocníky“ ( reléový kanál ) nebo obecnějšími sítěmi nemusí být komprese následovaná přenosem optimální. Teorie síťových informací se týká těchto komunikačních modelů s více agenty.
Teorie zdroje
Za zdroj informací lze považovat jakýkoli proces, který generuje postupné zprávy . Bezpaměťový zdroj je takový, ve kterém je každá zpráva nezávislou identicky distribuovanou náhodnou proměnnou , zatímco vlastnosti ergodicity a stacionarity kladou méně omezující omezení. Všechny tyto zdroje jsou stochastické . Tyto termíny jsou dobře prostudovány v jejich vlastní teorii informací.
Hodnotit
Informační rychlost je průměrná entropie na symbol. U zdrojů bez paměti je to pouze entropie každého symbolu, zatímco v případě stacionárního stochastického procesu je
tj. podmíněná entropie symbolu daná všemi předchozími generovanými symboly. V obecnějším případě procesu, který nemusí být nutně stojí, průměrná rychlost je
tj. limit společné entropie na symbol. U stacionárních zdrojů dávají tyto dva výrazy stejný výsledek.
Informační rychlost je definována jako
V informační teorii je běžné hovořit o „rychlosti“ nebo „entropii“ jazyka. To je vhodné například tehdy, když je zdrojem informací anglická próza. Rychlost zdroje informací souvisí s jeho nadbytečností a s tím, jak dobře lze komprimovat, předmětem zdrojového kódování .
Kapacita kanálu
Komunikace přes kanál je primární motivací teorie informací. Kanály však často nedokáží vytvořit přesnou rekonstrukci signálu; hluk, období ticha a jiné formy poškození signálu často zhoršují kvalitu.
Zvažte komunikační proces přes diskrétní kanál. Jednoduchý model procesu je uveden níže:
Zde X představuje prostor přenášených zpráv a Y prostor zpráv přijatých během jednotkového času přes náš kanál. Nechť p ( y | x ) je podmíněná pravděpodobnost distribuční funkce Y daný X . Budeme se zabývat p ( y | x ) být neodmyslitelný Pevná vlastnost našeho komunikačního kanálu (představující povahu hluk našeho kanálu). Potom je společná distribuce X a Y zcela určena naším kanálem a naší volbou f ( x ) , okrajové distribuce zpráv, které se rozhodneme poslat přes kanál. Za těchto omezení bychom chtěli maximalizovat rychlost informací nebo signálu , který můžeme komunikovat přes kanál. Vhodným opatřením je vzájemná informace a tato maximální vzájemná informace se nazývá kapacita kanálu a je dána vztahem:
Tato kapacita má následující vlastnost související s komunikací rychlostí R (kde R je obvykle bitů na symbol). Pro jakoukoli informační rychlost R < C a kódovací chybu ε > 0, pro dostatečně velkou N existuje kód délky N a rychlosti ≥ R a dekódovací algoritmus tak, že maximální pravděpodobnost chyby bloku je ≤ ε ; to znamená, že je vždy možné vysílat s libovolně malou chybou bloku. Navíc pro jakoukoli rychlost R > C není možné vysílat s libovolně malou chybou bloku.
Kódování kanálu se zabývá nalezením téměř optimálních kódů, které lze použít k přenosu dat přes hlučný kanál s malou chybou kódování rychlostí blízkou kapacitě kanálu.
Kapacita jednotlivých modelů kanálů
- Analogový komunikační kanál spojitého času podléhající gaussovskému šumu- viz Shannonova-Hartleyova věta .
- Binární symetrický kanál (BSC) s crossover pravděpodobností p je binární vstup, binární výstupní kanál, který otočí vstupní bit s pravděpodobností p . BSC má kapacitu 1 - H B ( p ) bitů za použití kanálu, kde H b je binární entropie funkce základnové-2 logaritmu:
- Binární vymazání kanál (BEC) s výmazu pravděpodobností p je binární vstup, ternární výstupní kanál. Možné kanálové výstupy jsou 0, 1 a třetí symbol 'e' se nazývá vymazání. Vymazání představuje úplnou ztrátu informací o vstupním bitu. Kapacita BEC je 1 - p bitů na použití kanálu.
Kanály s pamětí a směrovanými informacemi
V praxi má mnoho kanálů paměť. Totiž v čase je kanál dán podmíněnou pravděpodobností . Často je pohodlnější používat notaci a kanál se stát . V takovém případě je kapacita dána mírou vzájemné informace, když není k dispozici zpětná vazba, a mírou směrované informace v případě, že buď existuje zpětná vazba, nebo není (pokud zpětná vazba neexistuje, směrované informace j se rovnají vzájemným informacím).
Aplikace do jiných oborů
Inteligence používá a utajuje aplikace
Informační teoretické koncepty platí pro kryptografii a kryptoanalýzu. Informační jednotka Turinga, zákaz , byla použita v projektu Ultra , který porušil strojový kód německé Enigmy a urychlil konec druhé světové války v Evropě . Sám Shannon definoval důležitý koncept, kterému se nyní říká vzdálenost jednoty . Na základě redundance prostého textu se pokouší poskytnout minimální množství šifrového textu nezbytného k zajištění jedinečné dešifrovatelnosti.
Informační teorie nás vede k přesvědčení, že udržovat tajemství je mnohem obtížnější, než by se na první pohled mohlo zdát. Hrubou silou útok může zlomit systémy založené na asymetrických klíčových algoritmů nebo u většiny běžně používaných metod symetrický klíč algoritmů (někdy nazývané tajného klíče algoritmy), jako jsou například blokové šifry . Zabezpečení všech takových metod v současné době vychází z předpokladu, že je žádný známý útok nemůže v praktickém čase zlomit.
Informační teoretické zabezpečení se týká metod, jako je jednorázová podložka, které nejsou náchylné k útokům hrubou silou. V takových případech mohou pozitivní podmíněné vzájemné informace mezi prostým textem a šifrovým textem (podmíněné klíčem ) zajistit řádný přenos, zatímco bezpodmínečné vzájemné informace mezi prostým textem a šifrovacím textem zůstávají nulové, což má za následek naprosto bezpečnou komunikaci. Jinými slovy, odposlech by nebyl schopen zlepšit své odhady prostého textu tím, že získá znalosti o šifrovém textu, ale ne o klíči. Jako v každém jiném kryptografickém systému je však třeba dbát na správné použití i informačně teoreticky bezpečných metod; projekt Venona dokázal rozlousknout jednorázové podložky ze Sovětského svazu v důsledku jejich nesprávného opakovaného použití klíčového materiálu.
Generování pseudonáhodných čísel
Generátory pseudonáhodných čísel jsou široce dostupné v knihovnách počítačových jazyků a aplikačních programech. Jsou téměř všeobecně nevhodné pro kryptografické použití, protože se nevyhýbají deterministické povaze moderního počítačového vybavení a softwaru. Třída vylepšených generátorů náhodných čísel se nazývá kryptograficky zabezpečené generátory pseudonáhodných čísel , ale i ty vyžadují, aby náhodná semena mimo software fungovala tak, jak bylo zamýšleno. Pokud je provedete pečlivě, lze je získat pomocí extraktorů . Měřítkem dostatečné náhodnosti v extraktorech je min entropie , hodnota vztahující se k Shannonově entropii prostřednictvím Rényiho entropie ; Rényiho entropie se také používá při hodnocení náhodnosti v kryptografických systémech. Ačkoli rozdíly mezi těmito opatřeními souvisejí, znamenají, že náhodná proměnná s vysokou Shannonovou entropií nemusí být nezbytně uspokojivá pro použití v extraktoru, a tedy pro použití v kryptografii.
Seismický průzkum
Jedna z prvních komerčních aplikací teorie informací byla v oblasti seizmického průzkumu ropy. Práce v této oblasti umožnila odizolovat a oddělit nežádoucí šum od požadovaného seismického signálu. Informační teorie a zpracování digitálního signálu nabízí oproti předchozím analogovým metodám zásadní zlepšení rozlišení a čistoty obrazu.
Sémiotika
Sémiotici Doede Nauta a Winfried Nöth považovali Charlese Sanderse Peirce za tvůrce teorie informací ve svých pracích o sémiotice. Nauta definovala teorii semiotických informací jako studium „vnitřních procesů kódování, filtrování a zpracování informací“.
Sémiotici jako Umberto Eco a Ferruccio Rossi-Landi použili koncepty z informační teorie, jako je redundance a kontrola kódu, k vysvětlení ideologie jako formy přenosu zpráv, kdy dominantní sociální třída vysílá své poselství pomocí znaků, které vykazují vysoký stupeň nadbytečnost taková, že mezi výběrem konkurenčních je dekódována pouze jedna zpráva.
Různé aplikace
Informační teorie má také aplikace v hazardních hrách a teorii informací , černých dírách a bioinformatice .
Viz také
- Algoritmická pravděpodobnost
- Bayesovský závěr
- Teorie komunikace
- Teorie konstruktoru - zobecnění teorie informací, která zahrnuje kvantové informace
- Indukční pravděpodobnost
- Informační metriky
- Minimální délka zprávy
- Minimální délka popisu
- Seznam důležitých publikací
- Filozofie informací
Aplikace
Dějiny
Teorie
- Teorie kódování
- Detekční teorie
- Teorie odhadu
- Teorie informací o konečné délce bloku
- Informace Fishera
- Informační algebra
- Informační asymetrie
- Teorie informačního pole
- Informační geometrie
- Informační teorie a teorie míry
- Kolmogorovova složitost
- Seznam nevyřešených problémů v teorii informací
- Logika informací
- Síťové kódování
- Filozofie informací
- Kvantová informační věda
- Kódování zdroje
Pojmy
- Ban (jednotka)
- Kapacita kanálu
- Komunikační kanál
- Komunikační zdroj
- Podmíněná entropie
- Skrytý kanál
- Komprese dat
- Dekodér
- Diferenciální entropie
- Fungovatelné informace
- Složitost fluktuace informací
- Informační entropie
- Společná entropie
- Divergence Kullback – Leibler
- Vzájemné informace
- Bodové vzájemné informace (PMI)
- Přijímač (teorie informací)
- Nadbytek
- Rényiho entropie
- Informace o sobě
- Vzdálenost jednoty
- Odrůda
- Hammingova vzdálenost
Reference
Klasická práce
-
Shannon, CE (1948), „ A Mathematical Theory of Communication “, Bell System Technical Journal , 27, s. 379–423 & 623–656, červenec a říjen 1948. PDF.
Poznámky a další formáty. - RVL Hartley, „Přenos informací“ , Bell System Technical Journal , červenec 1928
- Andrey Kolmogorov (1968), „ Tři přístupy ke kvantitativní definici informace “ v International Journal of Computer Mathematics.
Další články z deníku
- JL Kelly, Jr., Princeton , „A New Interpretation of Information Rate“ Bell System Technical Journal , Vol. 35, červenec 1956, s. 917–26.
- R. Landauer, IEEE.org , „Informace jsou fyzické“ Proc. Workshop on Physics and Computation PhysComp'92 (IEEE Comp. Sci.Press, Los Alamitos, 1993) str. 1–4.
- Landauer, R. (1961). „Nezvratnost a tvorba tepla ve výpočetním procesu“ (PDF) . IBM J. Res. Dev . 5 (3): 183–191. doi : 10,1147/kolo 53,0183 .
- Timme, Nicholas; Alford, Wesley; Flecker, Benjamin; Žebrá, John M. (2012). „Multivariační informační opatření: perspektiva experimentátora“. arXiv : 1111.6857 [ cs.IT ].
Učebnice teorie informace
- Arndt, C. Informační opatření, informace a jejich popis ve vědě a technice (Springer Series: Signals and Communication Technology), 2004, ISBN 978-3-540-40855-0
- Ash, RB. Informační teorie . New York: Interscience, 1965. ISBN 0-470-03445-9 . New York: Dover 1990. ISBN 0-486-66521-6
- Gallager, R . Informační teorie a spolehlivá komunikace. New York: John Wiley and Sons, 1968. ISBN 0-471-29048-3
- Goldman, S. Informační teorie . New York: Prentice Hall, 1953. New York: Dover 1968 ISBN 0-486-62209-6 , 2005 ISBN 0-486-44271-3
- Cover, Thomas ; Thomas, Joy A. (2006). Prvky teorie informace (2. vyd.). New York: Wiley-Interscience . ISBN 0-471-24195-4.
- Csiszar, I , Korner, J. Informační teorie: Kódovací věty pro diskrétní paměťové systémy Akademiai Kiado: 2. vydání, 1997. ISBN 963-05-7440-3
- MacKay, David JC . Informační teorie, inference a algoritmy učení Cambridge: Cambridge University Press, 2003. ISBN 0-521-64298-1
- Mansuripur, M. Úvod do informační teorie . New York: Prentice Hall, 1987. ISBN 0-13-484668-0
- McEliece, R . Teorie informace a kódování . Cambridge, 2002. ISBN 978-0521831857
- Pierce, JR. „Úvod do teorie informací: symboly, signály a šum“. Dover (2. vydání). 1961 (dotisk Dover 1980).
- Reza, F . Úvod do informační teorie . New York: McGraw-Hill 1961. New York: Dover 1994. ISBN 0-486-68210-2
- Shannon, Claude ; Weaver, Warren (1949). Matematická teorie komunikace (PDF) . Urbana, Illinois : University of Illinois Press . ISBN 0-252-72548-4. LCCN 49-11922 .
- Stone, JV. Kapitola 1 knihy „Informační teorie: Úvod do výuky “ , University of Sheffield, Anglie, 2014. ISBN 978-0956372857 .
- Yeung, RW. První kurz informační teorie Kluwer Academic/Plenum Publishers, 2002. ISBN 0-306-46791-7 .
- Yeung, RW. Informační teorie a kódování sítě Springer 2008, 2002. ISBN 978-0-387-79233-0
Další knihy
- Leon Brillouin, Věda a teorie informací , Mineola, NY: Dover, [1956, 1962] 2004. ISBN 0-486-43918-6
- James Gleick , The Information: A History, a Theory, a Flood , New York: Pantheon, 2011. ISBN 978-0-375-42372-7
- AI Khinchin, Mathematical Foundations of Information Theory , New York: Dover, 1957. ISBN 0-486-60434-9
- HS Leff a AF Rex, editoři, Maxwellův démon: Entropie, informace, výpočetní technika , Princeton University Press, Princeton, New Jersey (1990). ISBN 0-691-08727-X
- Robert K. Logan . Co jsou informace? - Propagační organizace v biosféře, symbolosphere, technosféře a ekosféře , Toronto: DEMO Publishing.
- Tom Siegfried, Bit a kyvadlo , Wiley, 2000. ISBN 0-471-32174-5
- Charles Seife , Dekódování vesmíru , Viking, 2006. ISBN 0-670-03441-X
- Jeremy Campbell, Gramatický muž , Touchstone/Simon & Schuster, 1982, ISBN 0-671-44062-4
- Henri Theil, ekonomie a informační teorie , Rand McNally & Company - Chicago, 1967.
- Escolano, Suau, Bonev, Informační teorie v počítačovém vidění a rozpoznávání vzorů , Springer, 2009. ISBN 978-1-84882-296-2
- Vlatko Vedral, Dekódování reality: Vesmír jako kvantové informace , Oxford University Press 2010. ISBN 0-19-923769-7
MOOC na teorii informací
- Raymond W. Yeung, „ Informační teorie “ ( Čínská univerzita v Hongkongu )
externí odkazy
Knihovní zdroje o informační teorii |
- "Informace" , Encyklopedie matematiky , EMS Press , 2001 [1994]
- Lambert FL (1999), „ Zamíchané karty, špinavé stoly a nepořádné koleje - příklady nárůstu entropie? Nesmysl! “, Journal of Chemical Education
- Společnost pro teorii informací IEEE a monografie, průzkumy a recenze ITSOC