Smíšená realita - Mixed reality
Smíšená realita ( MR ) je sloučení skutečného a virtuálního světa za vzniku nových prostředí a vizualizací, kde fyzické a digitální objekty koexistují a interagují v reálném čase. Smíšená realita neprobíhá výlučně ani ve fyzickém světě, ani ve virtuálním světě, ale je hybridem reality a virtuální reality . Rozšířená realita , související termín, se odehrává ve fyzickém světě, přičemž informace nebo objekty jsou přidávány virtuálně.
Existuje mnoho praktických aplikací smíšené reality, včetně designu, zábavy, vojenského výcviku a práce na dálku. K usnadnění interakce mezi uživateli a aplikacemi pro smíšenou realitu se používají také různé zobrazovací technologie.
Definice
Spojitost virtuality/mediality
Smíšená realita byla poprvé definována v roce 1994 Paulem Milgramem a Fumiem Kishinem jako „... kdekoli mezi extrémy kontinuity virtuality “ (VC), kde kontinuum virtuality sahá od zcela reálného až po zcela virtuální prostředí s rozšířenou realitou a rozšířená virtualita v rozmezí mezi. Mediality kontinuum může být realizován v svařovací helmu nebo brýle, které mohou blokovat reklamy nebo nahradit reálných reklamy s užitečnými informacemi. Toto kontinuum zprostředkované reality je základem pro popis interakce objektů ve fyzickém i virtuálním světě. Spíše než se jednoduše spoléhat na realitu a virtualitu jako dvě zcela oddělené entity, bylo přijato, že mezi těmito dvěma koncepty existuje kontinuum a aplikace smíšené reality mohou být kdekoli mezi nimi. Ve svém příspěvku, který poprvé představil termín smíšená realita, Milgram a Kishino tvrdili, že takový termín je nezbytný pro označení „konkrétní podtřídy technologií souvisejících s VR, které zahrnují sloučení skutečného a virtuálního světa“, což je specifikace, která dříve neměla slovo. .
Rozdíly v terminologii
Smíšená realita označuje vše v kontinuu realita-virtualita kromě aplikací na dva extrémy. Patří sem virtuální realita (VR), rozšířená realita (AR) a rozšířená virtualita (AV). Na jednom konci spektra leží skutečný svět bez technologických překryvů. Na druhém konci spektra leží virtuální realita, která odkazuje na „umělé prostředí, které je prožíváno prostřednictvím smyslových podnětů (jako jsou zraky a zvuky) poskytovaných počítačem a ve kterém činy člověka částečně určují, co se v prostředí děje“. Rozšířená realita leží mezi těmito dvěma body a odkazuje na „vylepšenou verzi reality vytvořenou využitím technologie k překrytí digitálních informací na obrázku něčeho, co je zobrazováno prostřednictvím zařízení“. Smíšená realita je jedinečná v tom, že termín obvykle označuje umělé produkty, které interagují s uživateli v reálném světě. Augmented virtuality ( AV ) je podkategorií smíšené reality, která odkazuje na sloučení objektů reálného světa do virtuálních světů.
Jako přechodný případ kontinua virtuality označuje převážně virtuální prostory, kde jsou fyzické prvky (například fyzické objekty nebo lidé) dynamicky integrovány do virtuálního světa a mohou s ním v reálném čase interagovat. Této integrace je dosaženo pomocí různých technik, jako je streamování videa z fyzických prostor, například prostřednictvím webové kamery , nebo pomocí 3D digitalizace fyzických objektů. Použití informací ze senzorů v reálném světě, jako jsou gyroskopy , k ovládání virtuálního prostředí je další formou rozšířené virtuality, ve které externí vstupy poskytují kontext pro virtuální pohled.
Fyzika interreality
Ve fyzikálním kontextu termín „systém interreality“ označuje systém virtuální reality spojený s jeho protějškem v reálném světě. Dokument z roku 2007 popisuje systém interreality zahrnující skutečné fyzické kyvadlo spojené s kyvadlem, které existuje pouze ve virtuální realitě. Tento systém má dva stabilní stavy pohybu: stav „dvojí reality“, ve kterém pohyb dvou kyvadel nesouvisí, a stav „smíšené reality“, ve kterém kyvadlo vykazuje stabilní fázově uzamčený pohyb, který je vysoce korelovaný. Používání termínů „smíšená realita“ a „interrealita“ je jasně definováno v kontextu fyziky a v jiných oblastech se může mírně lišit, ale obecně je vnímáno jako „překlenutí fyzického a virtuálního světa“.
Aplikace
Smíšená realita byla použita v aplikacích napříč obory včetně designu, vzdělávání, zábavy, vojenského výcviku, zdravotnictví, správy obsahu produktů a provozu robotů ve smyčce.
Design
Využitím technologie MR lze zobrazit geometrii trojrozměrných objektů. Uživatelé mohou také komunikovat s virtuálním modelem pomocí gest a hlasových příkazů. MR může studentům nebo designérům pomoci nejen porozumět návrhu digitálních modelů prostřednictvím vizualizace 3-D geometrie, ale také porozumět funkcím produktu, geometrickým vztahům a kultivovat jejich kreativitu. Lze jej aplikovat od základního po terciární vzdělávání.
Vzdělávání
Učení založené na simulaci zahrnuje školení založené na VR a AR a interaktivní, zážitkové učení. Existuje mnoho potenciálních případů použití Mixed Reality jak ve vzdělávacím prostředí, tak v prostředí profesionálního školení. Zejména ve vzdělávání byla AR použita k simulaci historických bitev, což poskytuje studentům bezkonkurenční pohlcující zážitek a potenciálně lepší zážitky z učení.
Zábava
Od televizních pořadů po herní konzole má smíšená realita mnoho aplikací v oblasti zábavy.
Britská herní show 2004 Bamzooki vyzvala dětské soutěžící, aby vytvořili virtuální „Zooks“ a sledovali je, jak soutěží v různých výzvách. Přehlídka používala smíšenou realitu, aby přivedla Zooky k životu. Televizní show běžela jednu sezónu a skončila v roce 2010.
Herní show 2003 FightBox také vyzvala soutěžící k vytvoření konkurenceschopných postav a použila smíšenou realitu, aby jim umožnila interakci. Na rozdíl od obecně nenásilných výzev Bamzoomi bylo cílem FightBoxu, aby noví soutěžící vytvořili nejsilnějšího bojovníka, který soutěž vyhraje.
V roce 2003 vydala PlayStation EyeToy jako příslušenství webové kamery pro herní konzoli PlayStation 2. EyeToy poskytoval pro hry podporu počítačového vidění a rozpoznávání gest. Do 6. listopadu 2008 se na celém světě prodalo 10,5 milionu jednotek EyeToy. EyeToy byl následován PlayStation Eye 2007 , pak 2013 PlayStation Camera , který se používá v PlayStation 4 a PlayStation 5 .
V roce 2009 představili vědci Mezinárodnímu sympoziu o smíšené a rozšířené realitě ( ISMAR ) svůj sociální produkt s názvem „BlogWall“, který sestával z promítaného plátna na zeď. Uživatelé mohou na zeď zveřejňovat krátké textové klipy nebo obrázky a hrát jednoduché hry, jako je Pong . BlogWall také představoval režim poezie, kde by přeuspořádal zprávy, které obdržel, aby vytvořil báseň, a režim hlasování, kde uživatelé mohli požádat ostatní, aby odpověděli na jejich hlasování.
Mobilní hra Pokémon Go pro rok 2016 dala hráčům možnost zobrazit si Pokémony, se kterými se setkali, v obecném 2-D pozadí nebo použít funkci smíšené reality nazývanou režim AR. Když byl aktivován režim AR, kamera a gyroskop mobilního zařízení byly použity ke generování obrazu potkaných Pokémonů v reálném světě. Do 13. července 2016 hra dosáhla 15 milionů globálních stažení.
Niantic , tvůrci her pro smíšenou realitu Pokémon Go a Ingress , vydali v červnu 2019 novou hru pro smíšenou realitu s názvem Harry Potter: Wizards Unite . Hra byla podobná jako u Pokémon Go.
Mario Kart Live: Home Circuit je závodní hra se smíšenou realitou pro Nintendo Switch, která byla vydána v říjnu 2020. [16a-New] Tato hra umožňuje hráčům používat svůj domov jako závodní dráhu. Během prvního týdne vydání bylo 73 918 kopií prodává se v Japonsku, což z něj činí nejprodávanější hru týdne v zemi.
Jiný výzkum zkoumal potenciál pro aplikaci smíšené reality na divadlo, film a zábavní parky.
Vojenský výcvik
První plně pohlcující smíšenou realitu systém byl Virtuální svítidla platforma, která byla vyvinuta v roce 1992 Louis Rosenberg v Armstrong laboratoří z letectva Spojených států . Lidským uživatelům to umožnilo ovládat roboty v prostředích reálného světa, které zahrnovaly skutečné fyzické objekty a 3D virtuální překryvy („příslušenství“), které byly přidány, aby zlepšily lidský výkon manipulačních úkolů. Publikované studie ukázaly, že zavedením virtuálních objektů do reálného světa bylo možné dosáhnout výrazného zvýšení výkonu lidskými operátory.
Bojovou realitu lze simulovat a reprezentovat pomocí komplexních, vrstvených dat a vizuálních pomocníků, z nichž většinu tvoří displeje namontované na hlavě (HMD), které zahrnují jakoukoli zobrazovací technologii, kterou lze nosit na hlavě uživatele. Řešení vojenského výcviku jsou často postavena na komerčních off-the-shelf (COTS) technologiích, jako jsou Virtual Battlespace 3 a VirTra, přičemž obě používají armáda Spojených států . Jak 2018, VirTra je používán civilními i vojenskými vymáháním práva k výcviku personálu v různých scénářích, včetně aktivního střelce, domácího násilí a zastavení vojenského provozu. Technologie smíšené reality byly použity United States Army Research Laboratory ke studiu toho, jak tento stres ovlivňuje rozhodování . Se smíšenou realitou mohou vědci bezpečně studovat vojenský personál ve scénářích, kde by vojáci pravděpodobně nepřežili.
V roce 2017 americká armáda vyvíjela syntetické výcvikové prostředí (STE), soubor technologií pro výcvikové účely, od nichž se očekávalo zahrnutí smíšené reality. Jak 2018, STE byl stále ve vývoji bez předpokládaného data dokončení. Některé zaznamenané cíle STE zahrnovaly posílení realismu a zvýšení schopností simulačního tréninku a dostupnosti STE pro jiné systémy.
Tvrdilo se, že prostředí se smíšenou realitou, jako je STE, může snížit náklady na školení, například snížit množství munice vynaložené během výcviku. V roce 2018 bylo oznámeno, že STE bude zahrnovat zastoupení jakékoli části světového terénu pro účely výcviku. STE by nabízela řadu výcvikových příležitostí pro brigádní a bojové týmy, včetně týmů Stryker , zbrojnice a pěchoty.
Práce na dálku
Smíšená realita umožňuje globální pracovní síle vzdálených týmů spolupracovat a řešit obchodní výzvy organizace. Bez ohledu na to, kde se fyzicky nacházejí, může zaměstnanec nosit náhlavní soupravu a sluchátka s potlačením hluku a vstoupit do kolaborativního, pohlcujícího virtuálního prostředí. Protože tyto aplikace dokážou přesně překládat v reálném čase, jazykové bariéry se stávají irelevantními. Tento proces také zvyšuje flexibilitu. Přestože mnoho zaměstnavatelů stále používá nepružné modely pevné pracovní doby a místa, existují důkazy o tom, že zaměstnanci jsou produktivnější, pokud mají větší nezávislost na tom, kde, kdy a jak pracují. Někteří zaměstnanci dávají přednost hlasitému pracovnímu prostředí, zatímco jiní potřebují ticho. Některé fungují nejlépe ráno; ostatní pracují nejlépe v noci. Zaměstnanci také těží z autonomie v tom, jak pracují, protože různé způsoby zpracování informací. Klasický model pro styly učení rozlišuje mezi vizuálními, sluchovými a kinestetickými studenty .
Údržbu stroje lze provádět také pomocí smíšené reality. Větší společnosti s více výrobními místy a spoustou strojů mohou využívat smíšenou realitu ke vzdělávání a instruování svých zaměstnanců. Stroje vyžadují pravidelné kontroly a každou chvíli je třeba je upravovat. Tyto úpravy většinou provádějí lidé, takže zaměstnanci musí být o potřebných úpravách informováni. Díky použití smíšené reality mohou zaměstnanci z více míst nosit náhlavní soupravy a dostávat aktuální informace o změnách. Instruktoři mohou ovládat reprezentaci, kterou vidí každý zaměstnanec, a mohou klouzat po výrobní oblasti, přibližovat technické detaily a vysvětlovat každou potřebnou změnu. Ukázalo se, že zaměstnanci absolvující pětiminutové školení s takovým programem pro smíšenou realitu dosahují stejných výsledků učení jako čtení 50stránkového tréninkového manuálu. Rozšířením tohoto prostředí je začlenění živých dat z provozních strojů do virtuálního kolaborativního prostoru a poté spojené s trojrozměrnými virtuálními modely zařízení. To umožňuje školení a provádění údržbových, provozních a bezpečnostních pracovních procesů, které by jinak byly v živém prostředí obtížné, při využití odborných znalostí, bez ohledu na jejich fyzické umístění.
Funkční maketa
Smíšenou realitu lze použít k vytváření modelů, které kombinují fyzické a digitální prvky. S využitím simultánní lokalizace a mapování (SLAM) mohou makety interagovat s fyzickým světem, aby získaly kontrolu nad realističtějšími smyslovými zážitky, jako je trvanlivost objektů , které by normálně nebylo možné sledovat nebo analyzovat bez použití digitálních i fyzičtí pomocníci.
Vědomí
Předpokládá se, že hybrid smíšené a virtuální reality by mohl připravit cestu pro úplné převedení lidského vědomí do digitální podoby - koncept známý jako Virternity, který by využil blockchain k vytvoření své hlavní platformy.
Zdravotní péče
Chytré brýle mohou být začleněny do operačního sálu, aby pomáhaly při chirurgických zákrocích; případně pohodlně zobrazovat údaje o pacientovi a současně překrývat přesné vizuální průvodce pro chirurga. Náhlavní soupravy pro smíšenou realitu, jako je Microsoft HoloLens, umožňují efektivní sdílení informací mezi lékaři a navíc poskytují platformu pro rozšířené školení. To může v některých situacích (tj. Pacient nakažený nakažlivou nemocí) zlepšit bezpečnost lékaře a omezit používání OOPP . Zatímco smíšená realita má velký potenciál pro zlepšení zdravotní péče, má také některé nevýhody. Tato technologie se nikdy nemusí plně integrovat do scénářů, pokud je pacient přítomen, protože existují etické obavy, že lékař není schopen pacienta vidět.
Správa obsahu produktu
Správa obsahu produktu před příchodem Mixed Reality se skládala převážně z brožur a malého zapojení zákazníků a produktů mimo tuto 2-dimenzionální sféru. S vylepšením technologie smíšené reality se objevily nové formy interaktivního managementu obsahu produktu. Nejpozoruhodnější je, že trojrozměrné digitální vykreslování normálně dvourozměrných produktů zvýšilo dosažitelnost a účinnost interakce spotřebitelského produktu.
Provoz robotů ve smyčce
Nedávné pokroky v technologiích smíšené reality obnovily zájem o alternativní způsoby komunikace pro interakci člověk-robot. Lidští operátoři s brýlemi pro smíšenou realitu, jako je HoloLens, mohou interagovat (ovládat a monitorovat) např. Roboty a zdvihací stroje na místě v nastavení digitální továrny. Tento případ použití obvykle vyžaduje datovou komunikaci v reálném čase mezi rozhraním smíšené reality se strojem / procesem / systémem, což by bylo možné umožnit začleněním technologie digitálních dvojčat.
Zobrazovací technologie
Zatímco smíšená realita odkazuje na prolínání virtuálního světa a fyzického světa na vysoké úrovni, existuje celá řada digitálních médií používaných k dosažení prostředí smíšené reality. Mohou se pohybovat od ručních zařízení po celé místnosti, z nichž každá má praktické využití v různých disciplínách.
Jeskyně Automatické virtuální prostředí
Cave Automatic Virtual Environment (CAVE) je prostředí, obvykle malá místnost umístěná ve větší vnější místnosti, ve které je uživatel obklopen promítanými displeji kolem sebe, nad nimi a pod nimi. 3D brýle a prostorový zvuk doplňují projekce a poskytují uživateli pocit perspektivy, jehož cílem je simulovat fyzický svět. Systémy CAVE byly od svého vývoje přijaty inženýry vyvíjejícími a testujícími prototypové produkty. Umožňují produktovým designérům vyzkoušet své prototypy před vynaložením prostředků na výrobu fyzického prototypu a zároveň otevírají dveře pro „praktické“ testování nehmotných předmětů, jako jsou mikroskopická prostředí nebo celé výrobní závody. Po vývoji CAVE, stejní vědci nakonec vydali CAVE2, který navazuje na nedostatky původní CAVE. Původní projekce byly nahrazeny 37 megapixelovými 3D LCD panely, síťové kabely integrují CAVE2 s internetem a přesnější kamerový systém umožňuje měnit prostředí podle toho, jak se v něm uživatel pohybuje.
Head-up displej
Head-up display (HUD), jak název napovídá, je displej promítaný do zorného pole uživatele, který mu poskytuje další informace, aniž by zahmlil prostředí před sebou nebo je přinutil odvrátit zrak. Standardní HUD se skládá ze tří prvků: projektoru, který je zodpovědný za překrytí grafiky HUD, slučovače, což je povrch, na který se grafika promítá, a počítače, který integruje dvě další komponenty a vypočítá jakékoli skutečné -časové výpočty nebo úpravy. Prototypové HUD byly poprvé použity ve vojenských aplikacích na pomoc stíhacím pilotům v boji, ale nakonec se vyvinuly tak, aby pomáhaly ve všech aspektech letu - nejen v boji. HUD byly poté standardizovány i v komerčním letectví a nakonec se dostaly do automobilového průmyslu. Jednou z prvních aplikací HUD v automobilové dopravě byl systém Pioneer Heads-up, který nahrazuje sluneční clonu na straně řidiče displejem, který promítá navigační pokyny na vozovku před řidičem. Hlavní výrobci, jako jsou General Motors, Toyota, Audi a BMW, od té doby do některých modelů zahrnuli nějakou formu head-up displeje.
Displej namontovaný na hlavě
Displej namontovaný na hlavě (HMD), který se nosí přes celou hlavu nebo se nosí před očima, je zařízení, které pomocí jedné nebo dvou optik promítá obraz přímo před oči uživatele. Jeho aplikace sahají napříč medicínou, zábavou, letectvím a strojírenstvím a poskytují vrstvu vizuálního ponoření, jaké tradiční displeje nemohou dosáhnout. Hlavové displeje jsou nejoblíbenější u spotřebitelů na zábavním trhu, přičemž hlavní technologické společnosti vyvíjejí HMD, aby doplnily své stávající produkty. Tyto displeje namontované na hlavě jsou však displeji virtuální reality a neintegrují fyzický svět. Populární HMD s rozšířenou realitou jsou však v podnikovém prostředí příznivější. HoloLens společnosti Microsoft je HMD s rozšířenou realitou, které má aplikace v medicíně a poskytuje lékařům hlubší přehled v reálném čase a také inženýrství, překrývající důležité informace o fyzickém světě. Další pozoruhodnou HMD s rozšířenou realitou vyvinul Magic Leap, startup vyvíjející podobný produkt s aplikacemi v soukromém sektoru i na spotřebitelském trhu.
Mobilní zařízení
Mobilní zařízení, mezi něž patří především chytré telefony a tablety, pokračují ve zvyšování výpočetního výkonu a přenositelnosti. Moderní mobilní zařízení, která původně zobrazovala počítačem generované rozhraní na LED obrazovce, jsou vybavena sadou nástrojů pro vývoj aplikací rozšířené reality. Tyto aplikace umožňují vývojářům překrývat počítačovou grafiku nad videi z fyzického světa. První mobilní hra s rozšířenou realitou s velkým úspěchem byla Pokémon GO, která vyšla v roce 2016 a nahromadila 800 milionů stažení. Ačkoliv se zábavní aplikace využívající AR osvědčily, produktivita a obslužné aplikace začaly integrovat také funkce AR. Společnost Google vydala aktualizace své aplikace Mapy Google, která obsahuje navigační směry AR překrývající se do ulic před uživatelem, a také rozšiřuje aplikaci pro překlady tak, aby překládal přeložený text na fyzické psaní ve více než 20 cizích jazycích. Mobilní zařízení jsou jedinečnými zobrazovacími technologiemi díky tomu, že jsou vždy běžně vybaveny.
Viz také
Reference
Další čtení
- Signer, Beat & Curtin, Timothy J. (2017). Hmatatelné hologramy: Směrem k mobilnímu fyzickému zvětšování virtuálních objektů , technická zpráva WISE Lab, WISE-2017-01, březen 2017.
- Fleischmann, Monika; Strauss, Wolfgang (eds.) (2001). Proceedings of "CAST01 // Living in Mixed Realities" Intl. Konf. O komunikaci umění, vědy a technologie, Fraunhofer IMK 2001, 401. ISSN 1618-1379 (tisk), ISSN 1618-1387 (internet).
- Interaktivní multimediální laboratoř Výzkumná laboratoř na Národní univerzitě v Singapuru se zaměřuje na multimodální rozhraní smíšené reality.
- Geografický informační systém smíšené reality (MRGIS)
- Costanza, E., Kunz, A. a Fjeld, M. 2009. Mixed Reality: A Survey Costanza, E., Kunz, A., and Fjeld, M. 2009. Mixed Reality: A Survey. In Interakce člověk -stroj: Výsledky výzkumu programu MMI, D. Lalanne a J. Kohlas (Eds.) LNCS 5440, s. 47–68.
- H. Regenbrecht a C. Ott a M. Wagner a T. Lum a P. Kohler a W. Wilke a E. Mueller, An Augmented Virtuality approach to 3D Videoconferencing, Proceedings of the 2nd IEEE and ACM International Symposium on Mixed and Augmented Reality , str. 290-291, 2003
- Kristian Simsarian a Karl-Petter Akesson, Windows on the World: An example of Augmented Virtuality, Interface Sixth International Conference Montpellier, Man-machine Interaction, pp 68-71, 1997
- Mixed Reality Project: experimentální aplikace na Mixed Reality (Augmented Reality, Augmented Virtuality) a Virtual Reality.
- Měřítko smíšené reality - Milgram a Kishino (1994) parafráze Continuum virtuality s příklady.
- IEICE Transactions on Information Systems, sv. E77 -D, č. 12. prosince 1994 - Taxonomie vizuálních displejů se smíšenou realitou - Paul Milgram, Fumio Kishino
externí odkazy
Média související se smíšenou realitou na Wikimedia Commons