Demosaicing - Demosaicing

Demosaicing (také demosaicing , demosaicking nebo debayering ) algoritmus je digitální obraz proces slouží k rekonstrukci plně barevný obraz z neúplného barevných vzorků výstup z obrazový snímač překryté barevných filtrů pole (CFA). Je také známá jako interpolace CFA nebo rekonstrukce barev .

Většina moderních digitálních fotoaparátů získává snímky pomocí jediného obrazového snímače překrytého CFA, takže demosaicing je součástí zpracovatelského kanálu potřebného k vykreslení těchto obrazů do viditelného formátu.

Mnoho moderních digitálních fotoaparátů může ukládat obrázky v nezpracovaném formátu, což umožňuje uživateli je demosaikovat pomocí softwaru, nikoli pomocí vestavěného firmwaru fotoaparátu .

Fotbalová branka

Cílem algoritmu demosaicing je rekonstruovat plnobarevný obraz (tj. Úplnou sadu barevných trojic) z prostorově podvzorkovaných výstupů barevných kanálů z CFA. Algoritmus by měl mít následující vlastnosti:

Pole barevného filtru

Hlavní článek: Pole barevných filtrů
Bayerovo uspořádání barevných filtrů na pixelové řadě obrazového snímače. Každá buňka dva po dvou obsahuje dva zelené, jeden modrý a jeden červený filtr.

Pole barevných filtrů je mozaika barevných filtrů před obrazovým snímačem. Komerčně nejběžněji používanou konfigurací CFA je zde ilustrovaný filtr Bayer . To má střídavé červené (R) a zelené (G) filtry pro liché řádky a střídavé zelené (G) a modré (B) filtry pro sudé řádky. Existuje dvakrát tolik zelených filtrů než červených nebo modrých filtrů, které zajišťují vyšší citlivost lidského oka na zelené světlo.

Vzhledem k tomu, že podvzorkování barev CFA ze své podstaty vede k aliasingu , je do optické cesty mezi obrazovým snímačem a objektivem obvykle umístěn optický anti-aliasingový filtr, aby se snížily artefakty falešných barev (chromatické aliasy) zavedené interpolací.

Vzhledem k tomu, že každý pixel snímače je za barevným filtrem, je výstupem pole hodnot pixelů, z nichž každý označuje surovou intenzitu jedné ze tří barev filtru. Je tedy zapotřebí algoritmus k odhadu úrovní barev pro všechny pixely pro všechny barevné složky, spíše než pro jednu složku.

Ilustrace

Chcete-li rekonstruovat plnobarevný obraz z dat shromážděných polem filtrování barev, je třeba vyplnit mezery formou interpolace . Matematika zde podléhá individuální implementaci a nazývá se demosaicing.

V tomto příkladu používáme bikubickou interpolaci aplikace Adobe Photoshop k simulaci obvodů filtračního zařízení Bayer, jako je digitální fotoaparát .

Obrázek níže simuluje výstup z obrazového snímače filtrovaného Bayerem; každý pixel má pouze červenou, zelenou nebo modrou složku. Odpovídající původní obrázek je zobrazen vedle demosaikované rekonstrukce na konci této části.

Odstíny zarámované bayer.png
Ukázky filtrů Bayer
Shades bayer r.png Shades bayer g.png Shades bayer b.png
Červené Zelená Modrý

Digitální fotoaparát má obvykle prostředky k rekonstrukci celého obrazu RGB pomocí výše uvedených informací. Výsledný obrázek může vypadat nějak takto:

Odstíny zarámované aa.jpg Odstíny zarámované dc.jpg
Originál Rekonstruovaný

Rekonstruovaný obraz je obvykle přesný v jednotně zbarvených oblastech, ale má ztrátu rozlišení (detail a ostrost) a má okrajové artefakty (například okraje písmen mají viditelné barevné okraje a určitou drsnost).

Algoritmy

Jednoduchá interpolace

Tyto algoritmy jsou příklady vícerozměrné interpolace na jednotné mřížce, využívající relativně přímé matematické operace na blízkých instancích stejné barevné složky. Nejjednodušší metodou je interpolace nejbližšího souseda, která jednoduše kopíruje sousední pixel stejného barevného kanálu. Je nevhodný pro jakoukoli aplikaci, kde záleží na kvalitě, ale může být užitečný pro generování náhledů s omezenými výpočetními prostředky. Další jednoduchá metoda je bilineární interpolace , kdy se červená hodnota nečerveného pixelu počítá jako průměr dvou nebo čtyř sousedních červených pixelů a podobně pro modrou a zelenou. Složitější metody, které interpolují nezávisle v každé barevné rovině, zahrnují bikubickou interpolaci , spline interpolaci a Lanczosovo převzorkování .

Ačkoli tyto metody mohou získat dobré výsledky v oblastech homogenního obrazu, jsou náchylné k těžkým artefaktům demosaicingu v oblastech s hranami a detaily, pokud jsou použity s čistými barvami CFA. Lineární interpolace však může dosáhnout velmi dobrých výsledků v kombinaci s prostorově spektrálním (panchromatickým) CFA. Dalo by se využít jednoduché formovací modely obrazů pro demosaicing. U přirozených obrázků ve stejném segmentu by měl být zachován poměr barev. Tato skutečnost byla využita v obrazově citlivé interpolaci pro demosaicing.

Korelace pixelů v obraze

Sofistikovanější algoritmy demosaicing využívají prostorovou a / nebo spektrální korelaci pixelů v barevném obrazu. Prostorová korelace je tendence pixelů předpokládat podobné barevné hodnoty v malé homogenní oblasti obrazu. Spektrální korelace je závislost mezi hodnotami pixelů různých barevných rovin v malé oblasti obrazu.

Mezi tyto algoritmy patří:

  • Interpolace s variabilním počtem přechodů (VNG) vypočítává přechody poblíž sledovaného pixelu a pro odhad používá nižší přechody (představující hladší a podobnější části obrazu). Používá se v prvních verzích dcraw a trpí barevnými artefakty.
  • Pixel Grouping (PPG) používá při odhadech předpoklady o přírodní scenérii. Má méně barevných artefaktů na přirozených obrázcích než metoda Variabilní počet přechodů; byl představen v dcraw z rel. 8,71 jako „Seskupení vzorovaných pixelů“.
  • Adaptive Homogeneity-Directed (AHD) poněkud průmyslový standard. Interpolace vybírá směr interpolace tak, aby se maximalizovala metrika homogenity, čímž se obvykle minimalizují barevné artefakty. Byl implementován v posledních verzích dcraw.
  • Aliasing Minimization and Zipper Elimination (AMaZE) navržený Emilem J. Martincem, pomalý, ale se skvělým výkonem speciálně pro snímky s nízkým šumem. Implementace AMaZE lze nalézt v RawTherapee a darktable .

Super rozlišení videa / demosaicing

Ukázalo se, že superrozlišení a demosaicing jsou dvě tváře stejného problému a je rozumné je řešit v jednotném kontextu. Oba tyto problémy řeší problém aliasingu. Proto, zejména v případě rekonstrukce videa (více snímků), poskytuje optimální řešení společný přístup s vysokým rozlišením a demosaicing.

Kompromisy

Některé metody mohou přinést lepší výsledky pro přirozené scény, jiné například pro tištěný materiál. To odráží neodmyslitelný problém odhadu pixelů, které nejsou definitivně známy. Přirozeně existuje také všudypřítomný kompromis mezi rychlostí a kvalitou odhadu.

Použití v počítačovém softwaru pro zpracování obrazu

Když má člověk přístup k nezpracovaným obrazovým datům z digitálního fotoaparátu, může místo omezení na ten zabudovaný do fotoaparátu použít počítačový software s řadou různých algoritmů demosaicing. Několik surových vývojových programů, například RawTherapee , dává uživateli možnost zvolit si, který algoritmus by měl být použit. Většina programů je však kódována tak, aby používala jednu konkrétní metodu. Rozdíly v vykreslení nejjemnějších detailů (a textury zrna), které vycházejí z výběru algoritmu demosaicing, patří mezi hlavní rozdíly mezi různými vývojáři raw; fotografové často preferují určitý program z estetických důvodů souvisejících s tímto efektem.

Barevné artefakty způsobené demosaicemi poskytují důležité vodítka pro identifikaci padělků fotografií.

Viz také

Reference

externí odkazy