Sledování prstů - Finger tracking

Sledování prstů prstů dvou klavíristů hrajících stejný kus (zpomalené, žádný zvuk).

V oblasti rozpoznávání gest a zpracování obrazu , sledování prst je s vysokým rozlišením technika vyvinuta v roce 1969, který se používá znát po sobě jdoucích postavení prstů uživatele a tudíž představují objekty v 3D . Kromě toho se jako nástroj počítače používá technika sledování prstů, která v našem počítači funguje jako externí zařízení , podobně jako klávesnice a myš .

Úvod

Systém sledování prstů je zaměřen na interakci uživatelských dat, kde uživatel interaguje s virtuálními údaji, a to tak, že prostřednictvím prstů zpracovává volumetrický objem 3D objektu, který chceme reprezentovat. Tento systém se zrodil na základě problému interakce člověk-počítač . Cílem je umožnit intuitivnější komunikaci mezi nimi a používání gest a pohybů rukou. Byly vytvořeny systémy pro sledování prstů. Tyto systémy v reálném čase sledují polohu ve 3D a 2D orientace prstů jednotlivých značek a používají k interakci intuitivní pohyby rukou a gesta.

Druhy sledování

Existuje mnoho možností implementace sledování prstů, hlavně těch, které se používají s rozhraním nebo bez něj .

Sledování s rozhraním

Tento systém většinou používá setrvačné a optické systémy pro zachycení pohybu .

Rukavice pro zachycení inerciálního pohybu

Inerciální systémy pro zachycení pohybu jsou schopné zachytit pohyb prstů čtením rotace každého prstového segmentu ve 3D prostoru. Použitím těchto rotací na kinematický řetězec lze sledovat celou lidskou ruku v reálném čase, bez okluze a bezdrátově.

Ruční systémy pro zachycení inerciálního pohybu, jako například rukavice ze syntetického mocapu, používají malé senzory založené na IMU umístěné na každém segmentu prstu. Přesné zachycení vyžaduje použití alespoň 16 senzorů. Existují také modely rukavic mocap s méně senzory (13/7 senzorů), u kterých je zbytek prstových segmentů interpolován (proximální segmenty) nebo extrapolován (distální segmenty). Senzory se obvykle vkládají do textilních rukavic, což usnadňuje používání senzorů.

Inerciální senzory mohou zachytit pohyb ve všech 3 směrech, což znamená, že lze detekovat flexi prstu a palce, prodloužení a únos.

Kostra ruky

Protože inerciální senzory sledují pouze rotace, musí být rotace aplikovány na nějakou kostru ruky, aby byl zajištěn správný výkon. Abyste získali přesný výstup (například abyste se mohli dotknout konečky prstů), kostra ruky musí být správně upravena tak, aby odpovídala skutečné ruce. K tomuto účelu lze použít ruční měření ruční nebo automatické extrakce měření.

Sledování polohy ruky

Na vrcholu sledování prstů mnoho uživatelů vyžaduje poziční sledování celé ruky v prostoru. K tomuto účelu lze použít více metod:

  • Zachycení celého těla pomocí setrvačného mocapového systému (kostra ruky je připevněna na konci kinematického řetězce kostry těla). Poloha dlaně je určena z těla.
  • Zachycení polohy dlaně (předloktí) pomocí systému optického mocapu.
  • Zachycení polohy dlaně (předloktí) pomocí jiné metody sledování polohy, široce používané v náhlavních soupravách VR (například maják HTC Vive).
Nevýhody systémů pro zachycení setrvačného pohybu

Inerciální senzory mají dvě hlavní nevýhody spojené se sledováním prstu:

  • Problémy se zachycením absolutní polohy ruky v prostoru.
  • Magnetické rušení
  • Kovové materiály interferují se senzory. Tento problém může být patrný hlavně proto, že ruce jsou často v kontaktu s různými věcmi, často z kovu. Současné generace rukavic pro zachycení pohybu jsou schopné odolat magnetickému rušení. Míra jejich odolnosti vůči magnetickému rušení závisí na výrobci, cenovém rozpětí a počtu senzorů použitých v rukavici mocap. Zejména napínací senzory jsou kondenzátory na bázi silikonu, které nejsou magnetickým rušením zcela ovlivněny.

Optické systémy pro zachycení pohybu

provede se sledování polohy značek a vzorů ve 3D, systém je identifikuje a označí každou značku podle polohy prstů uživatele. Tyto souřadnice v 3D na etiketách těchto markerů jsou vyráběny v reálném čase s jinými aplikacemi.

markery

Některé z optických systémů , jako Vicon nebo ART, jsou schopny zachytit pohyb rukou pomocí značek. V každé ruce máme značku na každý „operativní“ prst. Tři kamery s vysokým rozlišením jsou zodpovědné za zachycení každé značky a měření jejích pozic. To se vytvoří pouze tehdy, když je kamera dokáže vidět. Vizuální značky, obvykle známé jako prsteny nebo náramky, se používají k rozpoznávání uživatelských gest ve 3D . Navíc, jak naznačuje klasifikace, tyto prstence fungují jako rozhraní ve 2D .

Okluze jako metoda interakce

Vizuální okluze je velmi intuitivní metoda, která poskytuje realističtější pohled na virtuální informace ve třech dimenzích. Rozhraní poskytují přirozenější 3D interakční techniky nad základnou 6.

Funkce značky

Značky fungují prostřednictvím interakčních bodů , které jsou obvykle již nastaveny a my máme znalosti o regionech. Z tohoto důvodu není nutné neustále sledovat každou značku; s multipointery lze zacházet stejným způsobem, pokud existuje pouze jeden provozní ukazatel. K detekci takových ukazatelů prostřednictvím interakce povolujeme ultrazvukové infračervené senzory. Skutečnost, že mnoho ukazatelů lze zvládnout jako jeden, by vyřešila problémy. V případě, že jsme vystaveni působení za obtížných podmínek, jako je špatné osvětlení , pohybové neostrosti , malformace markeru nebo okluze. Systém umožňuje sledovat objekt, i když některé značky nejsou viditelné. Vzhledem k tomu, že jsou známy všechny prostorové vztahy všech značek, lze polohy značek, které nejsou viditelné, vypočítat pomocí známých značek. Existuje několik metod detekce markerů, jako jsou metody hraničních značek a odhadované metody značek.

  • Homerova technika zahrnuje výběr paprsku s přímou manipulací: Vybere se předmět a poté se zachází s jeho polohou a orientací, jako kdyby byl připojen přímo k ruce.
  • Technika Conner představuje sadu 3D widgetů, které umožňují nepřímou interakci s virtuálními objekty prostřednictvím virtuálního widgetu, který funguje jako prostředník.
Sloučení dat s optickými systémy pro zachycení pohybu

Kvůli okluzi markeru během zachycení je sledování prstů nejnáročnější částí pro systémy optického snímání pohybu (jako Vicon, Optitrack, ART, ..). Uživatelé systémů optického mocapu tvrdí, že většina postprocesní práce je obvykle kvůli zachycení prstu. Protože jsou setrvačné systémy mocapu (pokud jsou správně kalibrovány) většinou bez potřeby postprocesu, je typickým použitím pro uživatele špičkových mocapů fúze dat ze setrvačných systémů mocapu (prsty) s optickými systémy mocapu (tělo + poloha v prostoru) .
Proces fúzování dat mocapu je založen na odpovídajících časových kódech každého rámce pro zdroj dat setrvačného a optického systému mocap. Tímto způsobem může jakýkoli software třetí strany (například MotionBuilder, Blender) aplikovat pohyby ze dvou zdrojů, nezávisle na použité metodě mocap.

Natažení senzoru sledování prstů

Systémy snímání pohybu s povoleným napínacím senzorem používají flexibilní paralelní deskové kondenzátory k detekci rozdílů v kapacitě, když se senzory natahují, ohýbají, stříhají nebo jsou vystaveny tlaku. Stretch senzory jsou běžně na silikonové bázi, což znamená, že nejsou ovlivněny magnetickým rušením, okluzí nebo pozičním driftem (běžné v inerciálních systémech). Robustní a flexibilní vlastnosti těchto senzorů vedou k vysoce věrnému sledování prstů a jsou k dispozici v rukavicích mocap vyráběných firmou StretchSense.

Kloubové sledování rukou

Kloubové sledování rukou je jednodušší a levnější než mnoho metod, protože potřebuje pouze jednu kameru . Tato jednoduchost má za následek menší přesnost. Poskytuje novou základnu pro nové interakce v modelování, ovládání animace a přidaný realismus. Používá rukavici složenou ze sady barev, které jsou přiřazeny podle polohy prstů. Tento barevný test je omezen na systém vidění počítačů a na základě funkce zachycení a polohy barvy je známá poloha ruky.

Sledování bez rozhraní

Pokud jde o vizuální vnímání , nohy a ruce mohou být modelovány jako kloubové mechanismy, systém tuhých těl, které jsou mezi nimi spojeny s artikulacemi s jedním nebo více stupni volnosti. Tento model lze použít ve zmenšenějším měřítku k popisu pohybu ruky a na základě širokého měřítka popsat pohyb celého těla. Například určitý pohyb prstu lze rozpoznat z jeho obvyklých úhlů a nezávisí na poloze ruky ve vztahu k fotoaparátu.

Mnoho sledovacích systémů je založeno na modelu zaměřeném na problém odhadování sekvence, kde je dána sekvence obrázků a model změny, odhadujeme 3D konfiguraci pro každou fotografii. Všechny možné konfigurace rukou jsou reprezentovány vektory na stavovém prostoru , který kóduje polohu ruky a úhly kloubu prstu. Každá konfigurace ruky generuje sadu obrazů prostřednictvím detekce hranic okluze kloubu prstu. Odhad každého obrázku se vypočítá vyhledáním stavového vektoru, který lépe odpovídá měřeným charakteristikám. Klouby prstů mají přidaných 21 stavů více než tuhý pohyb těla dlaněmi; to znamená, že výpočet nákladů na odhad se zvýší. Tato technika se skládá z označení, že každý článek kloubu prstu je modelován jako válec. Osy děláme na každém kloubu a půlící osa této osy je projekce spoje. Proto používáme 3 DOF, protože existují pouze 3 stupně pohybu.

V tomto případě je to stejné jako v předchozí typologii, protože na toto téma existuje široká škála prací o nasazení. Kroky a technika ošetření se proto liší v závislosti na účelu a potřebách osoby, která bude tuto techniku ​​používat. Každopádně můžeme říci, že velmi obecným způsobem a ve většině systémů byste měli provést následující kroky:

  • Odečtení pozadí: Cílem je spojit všechny obrázky, které jsou zachyceny Gaussovým filtrem 5x5, a poté jsou upraveny tak, aby se snížila hlučná pixelová data.
  • Segmentace: aplikace binární masky se používá k reprezentaci s bílou barvou, pixelů, které patří k ruce, a k aplikaci černé barvy na obrázek pokožky v popředí.
  • Extrakce regionu: detekce levé a pravé ruky na základě srovnání mezi nimi.
  • Charakteristická extrakce: umístění konečků prstů a zjištění, zda se jedná o vrchol nebo údolí. Ke klasifikaci bodu, vrcholů nebo údolí se transformují do 3D vektorů, obvykle pojmenovaných pseudo vektory v rovině x, a poté se vypočítá křížový součin. Pokud je znaménko složky z křížového součinu kladné, uvažujeme, že bod je vrchol, a v případě, že je výsledek křížového součinu záporný, bude to údolí.
  • Rozpoznávání gest gestem sevření a sevření: s přihlédnutím k referenčním bodům, které jsou viditelné (konečky prstů), je přiřazeno určité gesto.
  • Odhad pozice : postup, který spočívá v identifikaci polohy rukou pomocí algoritmů, které vypočítávají vzdálenosti mezi pozicemi.

Další sledovací techniky

Je také možné provádět aktivní sledování prstů. Inteligentní laserový skener je systém pro sledování prstů bez značek využívající upravený laserový skener/projektor vyvinutý na univerzitě v Tokiu v letech 2003-2004. Je schopen získávat trojrozměrné souřadnice v reálném čase, aniž by bylo nutné jakékoli zpracování obrazu (v zásadě se jedná o dálkoměrový skener, který místo nepřetržitého skenování přes celé zorné pole omezuje oblast skenování na velmi úzké okno přesně velikost cíle). U tohoto systému bylo prokázáno rozpoznávání gest. Vzorkovací frekvence může být velmi vysoká (500 Hz), což umožňuje získání hladkých trajektorií bez nutnosti filtrování (například Kalman).

aplikace

Systémy pro sledování prstů rozhodně slouží k reprezentaci virtuální reality . Jeho aplikace však přešla na profesionální úroveň 3D modelování , společnosti a projekty se v tomto případě převrátily. Proto se takové systémy zřídka používají ve spotřebitelských aplikacích kvůli jejich vysoké ceně a složitosti. V každém případě je hlavním cílem usnadnit provádění příkazů do počítače pomocí přirozeného jazyka nebo interakčního gesta.

Cíl je zaměřen na následující myšlenku, že počítače by měly být jednodušší z hlediska použití, pokud existuje možnost pracovat prostřednictvím přirozeného jazyka nebo interakce gest. Hlavní aplikací této techniky je zdůraznit 3D design a animaci, kde software jako Maya a 3D StudioMax využívá tyto druhy nástrojů. Důvodem je umožnit přesnější a jednodušší ovládání pokynů, které chceme provést. Tato technologie nabízí mnoho možností, kde je nejdůležitější socha, stavba a modelování ve 3D v reálném čase pomocí počítače.

Viz také

Reference


externí odkazy