Fúze obrazu - Image fusion

Proces fúze obrazů je definován jako shromažďování všech důležitých informací z více obrazů a jejich zahrnutí do méně obrazů, obvykle jednoho. Tento jediný obrázek je informativnější a přesnější než kterýkoli jiný zdrojový obrázek a skládá se ze všech potřebných informací. Účelem fúze obrazu není jen snížit množství dat, ale také vytvořit obrazy, které jsou vhodnější a srozumitelnější pro lidské a strojové vnímání. V počítačovém vidění je multisenzorová fúze obrazů proces spojování příslušných informací ze dvou nebo více obrazů do jednoho obrazu. Výsledný obrázek bude více informativní než kterýkoli ze vstupních obrázků.

V aplikacích dálkového průzkumu poskytuje rostoucí dostupnost vesmírných senzorů motivaci pro různé algoritmy fúze obrazu. Několik situací při zpracování obrazu vyžaduje vysoké prostorové a vysoké spektrální rozlišení v jednom obrazu. Většina dostupného vybavení není schopna tyto údaje přesvědčivě poskytnout. Techniky fúze obrazu umožňují integraci různých informačních zdrojů. Fúzovaný obraz může mít doplňkové charakteristiky prostorového a spektrálního rozlišení. Standardní techniky fúze obrazu však mohou během slučování narušit spektrální informace multispektrálních dat.

U satelitního zobrazování jsou k dispozici dva typy obrázků. Panchromatické obraz získaný satelitů je přenášen s maximálním rozlišením k dispozici a multispektrální data jsou přenášena s rozlišením hrubší. To bude obvykle dvakrát nebo čtyřikrát nižší. Na přijímací stanici je panchromatický obraz sloučen s multispektrálními daty, aby poskytl více informací.

Existuje mnoho metod k provedení fúze obrazu. Úplně základní je technika vysokoprůchodové filtrace . Pozdější techniky jsou založeny na diskrétní vlnkové transformaci , jednotné racionální filtrační bance a laplaciánské pyramidě .

Fúze obrazu s více zaostřeními

Vícefokusová fúze obrazu se používá ke shromažďování užitečných a nezbytných informací ze vstupních obrazů s různými hloubkami zaostření, aby se vytvořil výstupní obraz, který v ideálním případě obsahuje všechny informace ze vstupních obrazů. V síti vizuálních senzorů (VSN) jsou senzory kamery, které zaznamenávají obrázky a videosekvence. V mnoha aplikacích VSN nemůže kamera poskytnout dokonalou ilustraci včetně všech detailů scény. Důvodem je omezená hloubka zaostření v optickém objektivu fotoaparátů. Proto je zaostřen a vyčištěn pouze objekt nacházející se v ohniskové vzdálenosti fotoaparátu a ostatní části obrazu jsou rozmazané. VSN má schopnost pořizovat snímky s různou hloubkou zaostření ve scéně pomocí několika fotoaparátů. Vzhledem k velkému množství dat generovaných kamerou ve srovnání s jinými senzory, jako jsou senzory tlaku a teploty, a určitým omezením, jako je omezená šířka pásma, spotřeba energie a doba zpracování, je nezbytné zpracovat lokální vstupní obrazy, aby se snížilo množství přenosu data. Výše uvedené důvody zdůrazňují nutnost fúze obrazů s více zaostřováním. Multi-focus image fusion je proces, který kombinuje vstupní multi-focus obrázky do jednoho obrazu včetně všech důležitých informací o vstupních obrazech a je to přesnější vysvětlení scény než každý jednotlivý vstupní obraz.

Proč fúze obrazu

Sloučení dat z více senzorů se stalo disciplínou, která vyžaduje obecnější formální řešení řady aplikačních případů. Několik situací při zpracování obrazu vyžaduje jak vysoké prostorové, tak vysoké spektrální informace v jednom obrazu. To je důležité při dálkovém průzkumu Země. Přístroje však nejsou schopné poskytovat tyto informace záměrně ani z důvodu pozorovacích omezení. Jedním z možných řešení je fúze dat .

Standardní metody fúze obrazu

Metody fúze obrazu lze obecně rozdělit do dvou skupin - fúze prostorové domény a fúze transformace domény.

Metody fúze, jako je průměrování, Broveyova metoda, analýza hlavních komponent ( PCA ) a metody založené na IHS spadají pod přístupy prostorové domény. Další důležitou metodou fúze prostorových domén je technika založená na filtrování vysokých propustí. Zde jsou detaily vysoké frekvence vloženy do převzorkované verze obrazů MS. Nevýhodou přístupů v prostorové doméně je to, že produkují prostorové zkreslení ve spojeném obrazu. Spektrální zkreslení se stává negativním faktorem, zatímco jdeme k dalšímu zpracování, jako je problém klasifikace. Prostorové zkreslení lze velmi dobře zvládnout přístupy ve frekvenční doméně při fúzi obrazu. Multirezoluční analýza se stala velmi užitečným nástrojem pro analýzu obrazů dálkového průzkumu Země. Diskrétní vlnková transformace se stal velmi užitečným nástrojem pro fúze. Jsou zde také některé další metody fúze, například Laplaciánská pyramida, curveletová transformace atd. Tyto metody ukazují lepší výkon v prostorové a spektrální kvalitě fúzovaného obrazu ve srovnání s jinými prostorovými metodami fúze.

Obrázky použité při fúzi obrázků by již měly být zaregistrovány . Chybná registrace je hlavním zdrojem chyb při fúzi obrazu. Některé známé metody fúze obrazu jsou:

  • High pass filtrační technika
  • Fúze obrazu založená na transformaci IHS
  • Fúze obrazu založená na PCA
  • Waveletová transformace obrazu fúze
  • Párové párování prostorové frekvence

Fúze obrazu dálkového průzkumu Země

Fúze obrazu při dálkovém průzkumu Země má několik aplikačních domén. Důležitou doménou je fúze obrazu s více rozlišeními (běžně označovaná jako ostření). Ve satelitních snímků můžeme mít dva typy obrázků

  • Panchromatické obrazy - obrázek shromážděný v širokém rozsahu vizuálních vlnových délek, ale vykreslený černobíle.
  • Multispektrální obrázky - obrázky opticky získané ve více než jednom spektrálním nebo vlnovém intervalu. Každý jednotlivý obraz má obvykle stejnou fyzickou plochu a měřítko, ale jiné spektrální pásmo.

SPOT PAN satelit poskytuje vysoké rozlišení (10m pixelů) Panchromatické data. Zatímco satelit LANDSAT TM poskytuje multispektrální snímky s nízkým rozlišením (30 mil. Pixelů). Fúze obrazu se pokouší tyto obrazy sloučit a vytvořit jediný multispektrální obraz s vysokým rozlišením.

Standardní metody slučování fúze obrazu jsou založeny na transformaci červená-zelená-modrá (RGB) na Intensity-Hue-Saturation (IHS). Obvyklé kroky spojené s fúzí satelitních snímků jsou následující:

  1. Změňte velikost multispektrálních obrazů s nízkým rozlišením na stejnou velikost jako panchromatický obraz.
  2. Transformujte pásma R, G a B multispektrálního obrazu na komponenty IHS.
  3. Upravte panchromatický obraz s ohledem na multispektrální obraz. To se obvykle provádí porovnáním histogramu panchromatického obrazu s komponentou Intensity multispektrálních obrazů jako referencí.
  4. Nahraďte složku intenzity panchromatickým obrazem a proveďte inverzní transformaci, abyste získali multispektrální obraz s vysokým rozlišením.

Ostření lze provádět pomocí Photoshopu . K dispozici jsou i další aplikace fúze obrazu při dálkovém průzkumu Země.

Lékařský obraz fúze

Fúze obrazu se stala běžným pojmem používaným v lékařské diagnostice a léčbě. Termín se používá, když je registrováno více snímků pacienta a překryto nebo sloučeno, aby poskytly další informace. Fúzované obrazy mohou být vytvořeny z více obrazů ze stejné zobrazovací modality nebo kombinací informací z více modalit, jako je obraz magnetické rezonance (MRI), počítačová tomografie (CT), pozitronová emisní tomografie (PET) a jednofotonová emisní počítačová tomografie (SPECT). V radiologii a radiační onkologii tyto obrazy slouží různým účelům. Například CT obrazy se používají častěji ke zjištění rozdílů v hustotě tkáně, zatímco MRI obrazy se obvykle používají k diagnostice nádorů na mozku.

Pro přesnou diagnózu musí radiologové integrovat informace z více obrazových formátů. Fúzované, anatomicky konzistentní obrazy jsou obzvláště výhodné při diagnostice a léčbě rakoviny. S příchodem těchto nových technologií mohou radiační onkologové plně využívat intenzivní modulovanou radiační terapii ( IMRT ). Schopnost překrýt diagnostické obrazy do snímků pro plánování radiace vede k přesnějším cílovým objemům nádoru IMRT .

Metriky fúze obrazu

Srovnávací analýza metod fúze obrazu ukazuje, že různé metriky podporují různé potřeby uživatelů, citlivé na různé metody fúze obrazu a je třeba je přizpůsobit aplikaci. Kategorie metrik fúze obrazu jsou založeny na vlastnostech teorie informace, strukturální podobnosti nebo lidském vnímání.

Viz také

Reference

externí odkazy