Zákon Zipf – Mandelbrot - Zipf–Mandelbrot law

Zipf – Mandelbrot

Parametry	${\ displaystyle N \ in \ {1,2,3 \ ldots \}}$( celé číslo ) ( skutečné ) ( skutečné ) ${\ displaystyle q \ v [0; \ infty)}$ ${\ displaystyle s> 0 \,}$
Podpěra, podpora	${\ displaystyle k \ in \ {1,2, \ ldots, N \}}$
PMF	${\ displaystyle {\ frac {1 / (k + q) ^ {s}} {H_ {N, q, s}}}}$
CDF	${\ displaystyle {\ frac {H_ {k, q, s}} {H_ {N, q, s}}}}$
Znamenat	${\ displaystyle {\ frac {H_ {N, q, s-1}} {H_ {N, q, s}}} - q}$
Režim	${\ displaystyle 1 \,}$
Entropie	${\ displaystyle {\ frac {s} {H_ {N, q, s}}} \ součet _ {k = 1} ^ {N} {\ frac {\ ln (k + q)} {(k + q) ^ {s}}} + \ ln (H_ {N, q, s})}$

V teorii pravděpodobnosti a statistice je zákon Zipf-Mandelbrot je diskrétní rozdělení pravděpodobnosti . Rovněž známý jako Paretův- Zipfův zákon, je to distribuce mocninového práva na hodnocených datech , pojmenovaná po lingvistovi George Kingsley Zipfovi, který navrhl jednodušší distribuci zvanou Zipfův zákon , a matematik Benoit Mandelbrot , který jej následně zobecnil.

Funkce pravděpodobnostní hmotnosti je dána vztahem:

${\ displaystyle f (k; N, q, s) = {\ frac {1 / (k + q) ^ {s}} {H_ {N, q, s}}}}$

kde je dáno: ${\ displaystyle H_ {N, q, s}}$

${\ displaystyle H_ {N, q, s} = \ součet _ {i = 1} ^ {N} {\ frac {1} {(i + q) ^ {s}}}}$

což lze považovat za zobecnění harmonického čísla . Ve vzorci je pořadí dat a a jsou parametry distribuce. V limitu, jak se blíží nekonečnu, se z toho stane funkce Hurwitz zeta . Konečný a zákon Zipf – Mandelbrot se stává zákonem Zipf . Pro nekonečno a stává se distribucí Zeta . ${\ displaystyle k}$${\ displaystyle q}$${\ displaystyle s}$${\ displaystyle N}$ ${\ displaystyle \ zeta (s, q)}$${\ displaystyle N}$${\ displaystyle q = 0}$${\ displaystyle N}$${\ displaystyle q = 0}$

Aplikace

Distribuce slov seřazených podle jejich frekvence v náhodném textovém korpusu je aproximována distribucí mocninného práva , známou jako Zipfův zákon .

Pokud někdo vykreslí frekvenční pořadí slov obsažených ve středně velkém korpusu textových dat versus počet výskytů nebo skutečných frekvencí, získá distribuci zákonu moci s exponentem blízkým jedné (viz Powers, 1998 a Gelbukh & Sidorov, 2001). Zipfův zákon implicitně předpokládá pevnou velikost slovníku, ale harmonická řada se s = 1 nekonverguje, zatímco Zipf – Mandelbrotova zobecnění se s > 1 ano. Dále existují důkazy, že uzavřená třída funkčních slov, která definují jazyk, se řídí distribucí Zipf – Mandelbrot s různými parametry od otevřených tříd obsahových slov, která se liší podle tématu, pole a registru.

V ekologických terénních studiích se relativní distribuce hojnosti (tj. Graf počtu pozorovaných druhů jako funkce jejich hojnosti) často shledává v souladu se zákonem Zipf – Mandelbrot.

V hudbě odpovídá mnoho metrik měření „příjemné“ hudby distribucím Zipf – Mandelbrot.

Poznámky

Reference

• Mandelbrot, Benoît (1965). "Informační teorie a psycholingvistika". V BB Wolman a E. Nagel (ed.). Vědecká psychologie . Základní knihy. Přetištěno jako
  • Mandelbrot, Benoît (1968) [1965]. "Informační teorie a psycholingvistika". V RC Oldfield a JC Marchall (ed.). Jazyk . Knihy tučňáků.
• Powers, David MW (1998). "Aplikace a vysvětlení zákona Zipf". Nové metody zpracování jazyků a výpočetní výuka přirozeného jazyka . Společná konference o nových metodách zpracování jazyků a výpočetní výuce přirozeného jazyka. Sdružení pro výpočetní lingvistiku . 151 až 160.
• Zipf, George Kingsley (1932). Vybrané studie o principu relativní frekvence v jazyce . Cambridge, MA: Harvard University Press.
• Van Droogenbroeck FJ, „Zásadní přeformulování zákona Zipf – Mandelbrot k řešení žádostí o autorské atribuce podle Gaussovy statistiky“ (2019) [1]

externí odkazy

• ZK Silagadze: Citace a zákon Zipf – Mandelbrot
• NIST: Zipfův zákon
• W. Li's Reference on Zipf's law
• Gelbukh & Sidorov, 2001: Koeficienty zákonů Zipf a Heaps závisí na jazyku
• Knihovna C ++ pro generování náhodných odchylek Zipf – Mandelbrot.