Měření informací v pravděpodobnosti a informační teorii
V informační teorii je společná entropie měřítkem nejistoty spojené se sadou proměnných .
Definice
Společná Shannonova entropie (v bitech ) dvou diskrétních náhodných proměnných a s obrázky a je definována jako
|
|
( Rovnice 1 )
|
kde a jsou konkrétní hodnoty a , v tomto pořadí, je společný pravděpodobnost těchto hodnot vyskytujících se společně, a je definován jako 0, pokud .
U více než dvou náhodných proměnných se toto rozšíří na
|
|
( Rovnice 2 )
|
kde jsou konkrétní hodnoty , je pravděpodobnost, že se tyto hodnoty vyskytnou společně, a je definována jako 0, pokud .
Vlastnosti
Nezápornost
Společná entropie množiny náhodných proměnných je nezáporné číslo.
Větší než jednotlivé entropie
Společná entropie sady proměnných je větší nebo rovna maximu všech jednotlivých entropií proměnných v sadě.
Méně nebo rovno součtu jednotlivých entropií
Společná entropie sady proměnných je menší nebo rovna součtu jednotlivých entropií proměnných v sadě. Toto je příklad subaditivity . Tato nerovnost je rovností právě tehdy, jsou -li a jsou statisticky nezávislá .
Vztahy k dalším opatřením entropie
Kloubová entropie se používá při definici podmíněné entropie
-
,
a
Používá se také při definování
vzájemných informací
V teorii kvantové informace je společná entropie zobecněna na společnou kvantovou entropii .
Kloubní diferenciální entropie
Definice
Výše uvedená definice je pro diskrétní náhodné proměnné a je stejně platná v případě spojitých náhodných proměnných. Spojitá verze diskrétní kloubové entropie se nazývá kloubová diferenciální (nebo spojitá) entropie . Nechť a buďme spojité náhodné veličiny se společnou funkcí hustoty pravděpodobnosti . Diferenciální kloubová entropie je definována jako
|
|
( Rovnice 3 )
|
Pro více než dvě spojité náhodné proměnné je definice zobecněna na:
|
|
( Rovnice 4 )
|
Integrál je převzata podporou . Je možné, že integrál neexistuje, v takovém případě říkáme, že diferenciální entropie není definována.
Vlastnosti
Stejně jako v diskrétním případě je společná diferenciální entropie sady náhodných proměnných menší nebo rovná součtu entropií jednotlivých náhodných proměnných:
Následující řetězové pravidlo platí pro dvě náhodné proměnné:
V případě více než dvou náhodných proměnných to zobecňuje na:
Společná diferenciální entropie se také používá při definování vzájemných informací mezi spojitými náhodnými proměnnými:
Reference