Podvzorkování chroma - Chroma subsampling

Chroma subsampling je praxe kódování obrázků implementací menšího rozlišení pro informace o chroma než pro informace luma , s využitím nižší ostrosti lidského vizuálního systému pro barevné rozdíly než pro jas.

Používá se v mnoha schématech kódování videa - analogových i digitálních - a také v kódování JPEG .

Odůvodnění

V plné velikosti tento obrázek ukazuje rozdíl mezi čtyřmi schématy podvzorkování. Všimněte si, jak podobné jsou barevné obrázky. Dolní řádek zobrazuje rozlišení barevných informací.

Digitální signály jsou často komprimovány, aby se zmenšila velikost souboru a ušetřil čas přenosu. Vzhledem k tomu, že lidský vizuální systém je mnohem citlivější na změny jasu než barvy, lze videosystém optimalizovat věnováním větší šířky pásma lumové složce (obvykle označované jako Y '), než složkám barevných rozdílů Cb a Cr. Například v komprimovaných obrazech vyžaduje schéma Y'CbCr 4: 2: 2 dvě třetiny šířky pásma nezvzorkovaného "4: 4: 4" R'G'B ' . Tato redukce nemá za následek téměř žádný vizuální rozdíl vnímaný divákem.

Jak funguje podvzorkování

Při běžných pozorovacích vzdálenostech nedochází ke znatelné ztrátě vzorkování barevných detailů při nižší rychlosti, tj. Při nižším rozlišení. Ve video systémech je toho dosaženo použitím komponent barevných rozdílů. Signál je rozdělen na složku luma (Y ') a dvě složky rozdílu barev ( chroma ). K dosažení hodnot chroma se sníženým rozlišením lze použít různé metody filtrování .

Luma (Y ') se odlišuje od jasu (Y) přítomností korekce gama ve svém výpočtu, proto je zde přidán hlavní symbol. Signál korigovaný gama má tu výhodu, že emuluje logaritmickou citlivost lidského vidění, přičemž více úrovní je věnováno tmavším úrovním než světlejším. V důsledku toho, že je všudypřítomně používá ve zdrojovém trichromatických složek signálu, R'G'B‘vstup. Mezi příklady takových barevných prostorů patří sRGB , TV Rec. 601 , Rec. 709 a Rec. 2020 ; koncept je také zobecněn na optické přenosové funkce v Rec. 2020 .

Systémy a poměry vzorkování

Schéma podvzorkování se běžně vyjadřuje jako třídílný poměr J : a : b (např. 4: 2: 2) nebo čtyři části, pokud je přítomen alfa kanál (např. 4: 2: 2: 4), který popisuje počet vzorky jasu a chrominancí v koncepční oblasti, která je široká J pixelů a vysoká 2 pixely. Díly jsou (v příslušném pořadí):

  • J : reference horizontálního vzorkování (šířka koncepční oblasti). Obvykle 4.
  • a : počet vzorků chrominance (Cr, Cb) v první řadě J pixelů.
  • b : počet změn vzorků chrominance (Cr, Cb) mezi první a druhou řadou J pixelů. Všimněte si, že b musí být nula nebo rovno a (kromě vzácných nepravidelných případů jako 4: 4: 1 a 4: 2: 1, které se touto konvencí neřídí).
  • Alfa : horizontální faktor (vzhledem k první číslici). Může být vynechán, pokud není přítomna alfa složka, a rovná se J, pokud je přítomna.

Tento zápis není platný pro všechny kombinace a má výjimky, např. 4: 1: 0 (kde výška regionu není 2 pixely, ale 4 pixely, takže pokud se použije 8 bitů na komponentu, médium bude 9 bitů na pixelů) a 4: 2: 1.


4: 1: 1 4: 2: 0 4: 2: 2 4: 4: 4 4: 4: 0
Y'CrCb  
 
= = = = =
Y '  
 
+ + + + +
1 2 3 4  J = 4 1 2 3 4  J = 4 1 2 3 4  J = 4 1 2 3 4  J = 4 1 2 3 4  J = 4
(Cr, Cb) 1 a = 1 1 2 a = 2 1 2 a = 2 1 2 3 4 a = 4 1 2 3 4 a = 4
1 b = 1 b = 0 1 2 b = 2 1 2 3 4 b = 4 b = 0
¼ horizontální rozlišení,
plné vertikální rozlišení 		½ horizontální rozlišení,
½ vertikální rozlišení 		½ horizontální rozlišení,
plné vertikální rozlišení 		plné horizontální rozlišení,
plné vertikální rozlišení 		plné horizontální rozlišení,
½ vertikální rozlišení

Uvedené příklady mapování jsou pouze teoretické a pro ilustraci. Všimněte si také, že diagram nenaznačuje žádné filtrování barev, které by mělo být použito, aby se zabránilo aliasingu .

Chcete-li vypočítat požadovaný faktor šířky pásma ve vztahu k 4: 4: 4 (nebo 4: 4: 4: 4), je třeba sečíst všechny faktory a vydělit výsledek 12 (nebo 16, pokud je k dispozici alfa).

Druhy vzorkování a podvzorkování

4: 4: 4

Každá ze tří komponent Y'CbCr má stejnou vzorkovací frekvenci, takže nedochází k převzorkování chroma. Toto schéma se někdy používá ve špičkových filmových skenerech a ve filmové postprodukci.

Všimněte si, že "4: 4: 4" může místo toho chybně odkazovat na barevný prostor R'G'B ' , který implicitně také nemá žádné podvzorkování chroma (kromě JPEG R'G'B' lze podvzorkovat). Formáty jako HDCAM SR mohou nahrávat 4: 4: 4 R'G'B 'přes dual-link HD-SDI .

4: 2: 2

Dvě složky chroma jsou vzorkovány s poloviční horizontální vzorkovací frekvencí lumy: horizontální rozlišení chroma je poloviční. To snižuje šířku pásma nekomprimovaného video signálu o jednu třetinu.

Mnoho schémat a rozhraní digitálního videa vyšší třídy používá toto schéma:

4: 2: 1

Tento režim vzorkování není v notaci J: a: b vyjádřitelný. „4: 2: 1“ je zastaralý výraz z předchozího notačního schématu a používá ho jen velmi málo softwarových nebo hardwarových kodeků. Horizontální rozlišení Cb je poloviční oproti rozlišení Cr (a čtvrtina horizontálního rozlišení Y ).

4: 1: 1

U podvzorkování chroma 4: 1: 1 je horizontální barevné rozlišení rozděleno na čtvrtiny a šířka pásma je poloviční ve srovnání s žádným podvzorkováním chroma. Zpočátku se podvzorkování barev 4: 1: 1 ve formátu DV nepovažovalo za kvalitu vysílání a bylo přijatelné pouze pro aplikace nižší třídy a pro spotřebitele. Formáty založené na DV (některé z nich používají podvzorkování chroma 4: 1: 1) však byly profesionálně použity při shromažďování elektronických zpráv a na serverech přehrávání. DV se také sporadicky používá v celovečerních filmech a v digitální kinematografii .

Pokud je v systému NTSC vzorkováno luma na 13,5 MHz, znamená to, že signály Cr a Cb budou vzorkovány na 3,375 MHz, což odpovídá maximální šířce pásma Nyquist 1,6875 MHz, zatímco tradiční „high-end broadcast analog“ Kodér NTSC „by měl Nyquistovu šířku pásma 1,5 MHz a 0,5 MHz pro I / Q kanály. Ve většině zařízení, zejména u levných televizorů a videorekordérů VHS / Betamax, mají chromatické kanály pouze šířku pásma 0,5 MHz pro Cr i Cb (nebo ekvivalentně pro I / Q). DV systém tedy ve skutečnosti poskytuje vynikající barevnou šířku pásma ve srovnání s nejlepšími kompozitními analogovými specifikacemi pro NTSC, přestože má pouze 1/4 šířky barevného pásma „plného“ digitálního signálu.

Formáty, které používají podvzorkování barev 4: 1: 1, zahrnují:

4: 2: 0

V poměru 4: 2: 0 je horizontální vzorkování zdvojnásobeno ve srovnání s 4: 1: 1, ale protože kanály Cb a Cr jsou vzorkovány pouze na každé alternativní lince v tomto schématu, vertikální rozlišení je poloviční. Datová rychlost je tedy stejná. To odpovídá systému barevného kódování PAL , protože má pouze poloviční vertikální chrominanční rozlišení NTSC . Také by se velmi dobře hodilo k systému kódování barev SECAM , protože stejně jako tento formát, 4: 2: 0 ukládá a přenáší pouze jeden barevný kanál na řádek (druhý kanál se obnovuje z předchozího řádku). Ve skutečnosti však bylo vyrobeno malé zařízení, které vydává analogový video signál SECAM. Obecně platí, že území SECAM musí buď použít displej schopný PAL, nebo transkodér pro převod signálu PAL na SECAM pro zobrazení.

Různé varianty barevných konfigurací 4: 2: 0 se nacházejí v:

Cb a Cr jsou podvzorkovány na faktor 2 horizontálně i vertikálně.

Existují tři varianty schémat 4: 2: 0, které mají různé horizontální a vertikální umístění.

  • V MPEG-2 jsou MPEG-4 a AVC Cb a Cr uloženy vodorovně. Cb a Cr jsou umístěny mezi pixely ve svislém směru (umístěny intersticiálně).
  • V JPEG / JFIF, H.261 a MPEG-1 jsou Cb a Cr umístěny intersticiálně, na půli cesty mezi alternativními vzorky lumy.
  • V poměru 4: 2: 0 jsou DV, Cb a Cr umístěny společně ve vodorovném směru. Ve svislém směru jsou umístěny společně na střídavých čarách. To je také to, co se používá v HEVC v obsahu BT.2020 a BT.2100 (zejména na Blu-ray). Také se nazývá vlevo nahoře.

Většina formátů digitálního videa odpovídající PAL používá podvzorkování chroma 4: 2: 0, s výjimkou DVCPRO25, který využívá podvzorkování chroma 4: 1: 1. Schémata 4: 1: 1 i 4: 2: 0 snižují šířku pásma na polovinu ve srovnání s žádným převzorkováním chroma.

U prokládaného materiálu může podvzorkování chroma 4: 2: 0 vést k pohybovým artefaktům, pokud je implementováno stejným způsobem jako u progresivního materiálu. Vzorky lumy jsou odvozeny z oddělených časových intervalů, zatímco vzorky chroma by byly odvozeny z obou časových intervalů. Právě tento rozdíl může vést k pohybovým artefaktům. Standard MPEG-2 umožňuje alternativní schéma prokládaného vzorkování, kde se na každé pole použije poměr 4: 2: 0 (nikoli obě pole najednou). Tím se vyřeší problém pohybových artefaktů, sníží se vertikální rozlišení barev na polovinu a v obraze se mohou objevit artefakty podobné hřebenům.

444-original-single-field.png
Originál. Tento obrázek ukazuje jedno pole. Na pohyblivý text je aplikováno určité pohybové rozostření.

420-progressive-single-field.png
4: 2: 0 progresivní vzorkování aplikované na pohybující se prokládaný materiál. Všimněte si, že barevnost vede a sleduje pohybující se text. Tento obrázek ukazuje jedno pole.

420-interlaced-single-field.png
4: 2: 0 prokládané vzorkování aplikované na pohybující se prokládaný materiál. Tento obrázek ukazuje jedno pole.

V prokládaném schématu 4: 2: 0 je však vertikální rozlišení chroma zhruba poloviční, protože vzorky chroma efektivně popisují oblast 2 vzorky široké o 4 vzorky vysoké místo 2 × 2. Rovněž prostorové posunutí mezi oběma poli může mít za následek výskyt hřebenových chroma artefaktů.

420-original444.png
Originální statický obrázek.

420-progressive-still.png
4: 2: 0 progresivní vzorkování aplikované na statický obraz. Obě pole jsou zobrazena.

420-interlaced-still.png
4: 2: 0 prokládané vzorkování aplikované na statický obraz. Obě pole jsou zobrazena.

Pokud má být prokládaný materiál odstraněn, mohou být hřebenové artefakty (od prokládaného vzorkování 4: 2: 0) odstraněny vertikálním rozmazáním.

4: 1: 0

Tento poměr je možný a některé kodeky jej podporují, ale není široce používán. Tento poměr používá polovinu svislého a jednu čtvrtinu vodorovného barevného rozlišení, přičemž pouze osmina šířky pásma maximálního použitého barevného rozlišení. Nekomprimované video v tomto formátu s 8bitovou kvantizací používá 10 bajtů pro každý makropixel (což je 4 × 2 pixely). Má ekvivalentní barevnou šířku pásma signálu PAL I dekódovaného dekodérem zpožďovací linky a stále mnohem lepší než NTSC.

  • Některé videokodeky mohou pracovat jako volitelné příslušenství v poměru 4: 1: 0,5 nebo 4: 1: 0,25, aby bylo možné dosáhnout podobné kvality jako VHS.

3: 1: 1

Používá je společnost Sony ve svých HDCAM rekordérech s vysokým rozlišením (ne HDCAM SR). V horizontální dimenzi se luma vzorkuje horizontálně ve třech čtvrtinách vzorkovací frekvence Full HD - 1440 vzorků na řádek namísto roku 1920. Chroma se vzorkuje při 480 vzorcích na řádek, což je třetina vzorkovací frekvence lumy.

Ve vertikální dimenzi se luma i chroma vzorkují při vzorkovací frekvenci Full HD (1080 vzorků vertikálně).

Artefakty

Originální obrázek bez převzorkování barev. 200% přiblížení.
Obrázek po podvzorkování barev (kodek Sony Vegas DV, filtrování rámečků.)
Všimněte si krvácení v lehkosti poblíž hranic.

Podvzorkování chroma trpí dvěma hlavními typy artefaktů, což způsobí, že degradace je patrnější, než bylo zamýšleno, když se barvy náhle mění.

Chyba gama

Další informace: Gama korekce § Škálování a míchání

Signály korigované na gama, jako je Y'CbCr, mají problém, když chromatické chyby „krvácejí“ do lumy. V těchto signálech díky nízké sytosti barva vypadá méně jasně než barva s ekvivalentní lumou. Výsledkem je, že když se nasycená barva mísí s nenasycenou nebo doplňkovou barvou, dojde ke ztrátě jasu na hranici. To lze vidět na příkladu mezi purpurovou a zelenou. K dosažení sady podvzorkovaných hodnot, které se více podobají originálu, je nutné vrátit gama korekci, provést výpočet a poté krok zpět do gama korigovaného prostoru. Jsou také možné efektivnější aproximace, například s lumem váženým průměrem nebo iterativně s vyhledávacími tabulkami ve WebP a funkcí „Sharp YUV“ sjpeg.

Barvy mimo gamut

Dalším artefaktem, který může nastat při podvzorkování chroma, je to, že při rekonstrukci chroma mohou nastat barvy mimo gamut . Předpokládejme, že obrázek sestával ze střídání 1-pixelových červených a černých čar a v podvzorkování byla vynechána sytost pro černé pixely. Chroma z červených pixelů bude rekonstruována na černé pixely, což způsobí, že nové pixely budou mít kladné červené a záporné zelené a modré hodnoty. Protože displeje nemohou vydávat záporné světlo (záporné světlo neexistuje), budou tyto záporné hodnoty efektivně oříznuty a výsledná hodnota lumy bude příliš vysoká. Podobné artefakty vznikají v méně umělém příkladu gradace poblíž poměrně ostré červené / černé hranice.

Jiné typy filtrování během převzorkování mohou také způsobit, že barvy vyjdou z gamutu.

Terminologie

Termín Y'UV označuje schéma analogového televizního kódování (ITU-R Rec. BT.470), zatímco Y'CbCr označuje schéma digitálního kódování. Jeden rozdíl mezi nimi spočívá v tom, že faktory měřítka na složkách chroma (U, V, Cb a Cr) se liší. Termín YUV se však často používá chybně pro označení kódování Y'CbCr. Výrazy jako „4: 2: 2 YUV“ tedy vždy odkazují na 4: 2: 2 Y'CbCr, protože v analogovém kódování (jako je YUV) prostě nic jako 4: x: x neexistuje. Formáty pixelů používané v Y'CbCr lze také označovat jako YUV, například yuv420p, yuvj420p a mnoho dalších.

V podobném duchu se termín luminance a symbol Y často používají mylně k označení lumy, která se označuje symbolem Y '. Všimněte si, že luma (Y ') video inženýrství se odchyluje od jasu (Y) vědy o barvách (jak je definována CIE ). Luma je tvořena jako vážený součet gama korigovaných (tristimulus) RGB komponent. Jas se tvoří jako vážený součet lineárních (tristimulus) RGB složek.

V praxi se symbol CIE Y často nesprávně používá k označení lumy. V roce 1993 přijala SMPTE Engineering Guideline EG 28, která tyto dva pojmy objasnila. Všimněte si, že primární symbol 'se používá k označení gama korekce.

Podobně se chroma videoinženýrství liší od chrominancí vědy o barvách. Chroma video inženýrství je tvořena váženými tristimulovými složkami (korigovanými gama, OETF), ne lineárními složkami. Ve videoinženýrské praxi se výrazy chroma , chrominance a saturation často používají zaměnitelně pro označení chrominance, ale není to dobrý postup, jak říká ITU-T Rec H.273.

Dějiny

Chroma subsampling vyvinul v padesátých letech minulého století Alda Bedford pro vývoj barevné televize RCA , která se vyvinula do standardu NTSC ; Separace luma-chroma byla vyvinuta dříve, v roce 1938 Georgesem Valensim . Prostřednictvím studií ukázal, že lidské oko má vysoké rozlišení pouze pro černou a bílou, o něco méně pro barvy „středního rozsahu“, jako jsou žluté a zelené, a mnohem méně pro barvy na konci spektra, červené a modré. Využití těchto znalostí umožnilo RCA vyvinout systém, ve kterém zahodili většinu modrého signálu poté, co vychází z kamery, přičemž si ponechali většinu zeleného a jen část červeného; toto je podvzorkování chroma v barevném prostoru YIQ a je zhruba analogické k podvzorkování 4: 2: 1 v tom, že má klesající rozlišení pro lumu, žlutou / zelenou a červenou / modrou.

Viz také

Reference

externí odkazy