OpenAI - OpenAI
Souřadnice : 37,7623 ° N 122,4148 ° W 37 ° 45'44 "N 122 ° 24'53" W /
 | |
| Průmysl | Umělá inteligence |
|---|---|
| Založený | 11. prosince 2015 |
| Zakladatelé |
|
| Hlavní sídlo | Pioneer Building, San Francisco , Kalifornie, USA |
Klíčoví lidé |
|
| produkty | Posilovna DALL-E , GPT-3 , GPT-2 , OpenAI |
Počet zaměstnanců |
> 120 (od roku 2020) |
| webová stránka | openai |
| ||
|---|---|---|
|
Společnosti
Příbuzný
|
||
OpenAI je výzkumná laboratoř umělé inteligence (AI), která se skládá z neziskové společnosti OpenAI LP a její mateřské společnosti , neziskové organizace OpenAI Inc. Společnost, považovaná za konkurenta společnosti DeepMind , provádí výzkum v oblasti AI s uvedením cílem je propagace a rozvoj přátelské AI způsobem, který prospívá lidstvu jako celku. Organizace byla založena v San Francisku na konci roku 2015 Elonem Muskem , Samem Altmanem a dalšími, kteří společně slíbili 1 miliardu USD. Musk odstoupil z představenstva v únoru 2018, ale zůstal dárcem. V roce 2019, OpenAI LP dostal US $ 1 miliarda investice od Microsoftu .
Dějiny
_-1.jpg)
V říjnu 2015, Elon Musk , Sam Altman , a jiní investoři oznámily vytvoření OpenAI a přislíbila více než US $ 1 miliardy podniku. Organizace uvedla, že „volně bude spolupracovat“ s dalšími institucemi a výzkumnými pracovníky tím, že své patenty a výzkum zpřístupní veřejnosti.
27. dubna 2016 vydala OpenAI veřejnou beta verzi „OpenAI Gym“, její platformy pro výzkum posilování učení .
5. prosince 2016 společnost OpenAI vydala Universe, softwarovou platformu pro měření a školení obecné inteligence umělé inteligence napříč světovou nabídkou her, webových stránek a dalších aplikací.
21. února 2018 Musk rezignoval na své místo v představenstvu s odvoláním na „potenciální budoucí konflikt (zájmu)“ s vývojem Tesla AI pro samořiditelná auta , ale zůstal dárcem.
V roce 2019 přešla OpenAI z neziskové na ziskovou. Společnost rozdělila vlastní kapitál svým zaměstnancům a uzavřela partnerství se společností Microsoft Corporation , která do společnosti oznámila investiční balíček ve výši 1 miliardy USD. OpenAI poté oznámila svůj záměr komerčně licencovat své technologie, přičemž preferovaným partnerem je Microsoft.
Od roku 2020 má OpenAI sídlo v San Francisco's Mission District a sdílí bývalou budovu Pioneer Trunk Factory s Neuralink , další společností, kterou spoluzakládal Musk.
V červnu 2020 společnost OpenAI oznámila GPT-3 , jazykový model vyškolený na bilionech slov z internetu. Rovněž oznámilo, že přidružené API , pojmenované jednoduše „API“, bude tvořit srdce jeho prvního komerčního produktu. GPT-3 je zaměřen na odpovědi na otázky v přirozeném jazyce, ale může také překládat mezi jazyky a souvisle generovat improvizovaný text.
Účastníci
- CEO: Sam Altman , bývalý prezident akcelerátoru spouštění Y Combinator
- Ilya Sutskever , ředitel výzkumu, bývalý expert společnosti Google na strojové učení
- CTO: Greg Brockman, bývalý CTO, 3. zaměstnanec Stripe
Mezi další podporovatele projektu patří:
- Reid Hoffman , spoluzakladatel LinkedIn
- Peter Thiel , spoluzakladatel PayPal
- Jessica Livingston , zakládající partner Y Combinator
Společnosti:
- Infosys , jedna z indických IT firem
- Divize cloudových služeb společnosti Microsoft
Skupina začala na začátku ledna 2016 s devíti výzkumníky. Podle Wired se Brockman setkal s Yoshuou Bengiem , jedním ze „otců zakladatelů“ hnutí hlubokého učení , a sestavil seznam „nejlepších badatelů v oboru“. Peter Lee společnosti Microsoft uvedl, že náklady na špičkového výzkumníka umělé inteligence převyšují náklady na nejlepšího vyhlídkového hráče NFL . Zatímco OpenAI vyplácí platy na úrovni korporace (spíše než na úrovni neziskových organizací), v současné době neplatí mzdy výzkumných pracovníků AI srovnatelné s platy na Facebooku nebo Googlu. Sutskever nicméně prohlásil, že je ochoten opustit Google pro OpenAI „částečně kvůli velmi silné skupině lidí a do značné míry kvůli jejímu poslání“. Brockman uvedl, že „nejlepší věc, kterou jsem si dokázal představit, bylo posunout lidstvo blíže k budování skutečné AI bezpečným způsobem“. Výzkumník OpenAI Wojciech Zaremba uvedl, že odmítl „hraniční šílené“ nabídky dvakrát až třikrát vyšší než jeho tržní hodnota, aby se místo toho připojil k OpenAI.
Motivy
Někteří vědci, například Stephen Hawking a Stuart Russell , vyslovili obavy, že pokud pokročilá AI jednoho dne získá schopnost znovu se navrhovat stále rostoucím tempem, nezastavitelná „ exploze inteligence “ by mohla vést k zániku člověka . Musk charakterizuje AI jako „největší existenciální hrozbu lidstva“. Zakladatelé OpenAI jej strukturovali jako neziskový, aby mohli jeho výzkum zaměřit na vytváření pozitivního dlouhodobého dopadu na člověka.
Musk a Altman uvedli, že jsou částečně motivováni obavami z existenčního rizika umělé obecné inteligence . OpenAI uvádí, že „je těžké odhadnout, jak moc by umělá inteligence na lidské úrovni mohla společnosti prospět“, a že je stejně obtížné pochopit, „jak moc by mohla společnost poškodit, pokud by byla postavena nebo používána nesprávně“. Výzkum v oblasti bezpečnosti nelze bezpečně odložit: „kvůli překvapivé historii AI je těžké předpovědět, kdy by se umělá inteligence na lidské úrovni mohla dostat na dosah.“ OpenAI uvádí, že AI „by měla být rozšířením jednotlivých lidských vůlí a v duchu svobody by měla být co nejširší a rovnoměrně rozložena ...“ a tento cit byl vyjádřen i jinde v souvislosti s potenciálně obrovskou třídou AI- povolené produkty: „Jsme opravdu ochotni nechat naši společnost proniknout do autonomních softwarových a hardwarových agentů, jejichž podrobnosti o provozu zná jen pár vyvolených? Samozřejmě že ne.“ Spolupředseda Sam Altman očekává, že desítky let dlouhý projekt překoná lidskou inteligenci.
Vishal Sikka , bývalý generální ředitel společnosti Infosys , uvedl, že „otevřenost“, v níž by úsilí „přinášelo výsledky obecně ve větším zájmu lidstva“, byla základním požadavkem jeho podpory a že OpenAI „velmi pěkně odpovídá našim dlouhodobě uznávaným hodnotám “a jejich„ snaha dělat cílevědomou práci “. Cade Metz z Wired naznačuje, že korporace, jako je Amazon, mohou být motivovány touhou používat software a data s otevřeným zdrojovým kódem k vyrovnání podmínek proti společnostem, jako jsou Google a Facebook, které vlastní obrovské zásoby vlastních dat. Altman uvádí, že společnosti Y Combinator budou sdílet svá data s OpenAI.
V roce 2019 se OpenAI stala ziskovou společností s názvem OpenAI LP, aby zajistila dodatečné financování a zůstala pod kontrolou neziskové organizace OpenAI Inc ve struktuře, kterou OpenAI nazývá „limitovaný zisk“, protože dříve byla 501 (c) (3) nezisková organizace .
Strategie
Musk položil otázku: „Jak nejlépe můžeme zajistit, aby budoucnost byla dobrá? Mohli bychom sedět stranou, nebo podpořit regulační dohled, nebo bychom se mohli účastnit správnou strukturou s lidmi, kterým na vývoji AI velmi záleží. způsobem, který je bezpečný a prospěšný pro lidstvo “. Musk uznal, že „vždy existuje určité riziko, že při skutečném pokusu o rozvoj (přátelské) AI můžeme vytvořit věc, která nás znepokojuje“; nicméně nejlepší obranou je „zmocnit co nejvíce lidí k tomu, aby měli AI. Pokud má každý umělou inteligenci, pak neexistuje žádný člověk ani malá skupina jednotlivců, kteří by mohli mít supervelmoc AI“.
Protiintuitivní strategie Muska a Altmana spočívající ve snaze omezit riziko, že AI způsobí celkovou škodu, poskytnutím AI všem, je kontroverzní mezi těmi, kteří se zabývají existenciálním rizikem umělé inteligence . Filozof Nick Bostrom je vůči Muskovu přístupu skeptický: „Pokud máte tlačítko, které by mohlo světu způsobit špatné věci, nechcete ho dát každému.“ Během rozhovoru z roku 2016 o technologické jedinečnosti Altman řekl, že „neplánujeme zveřejnit celý náš zdrojový kód“, a zmínil plán „umožnit širokému okruhu lidí volit zástupce do nové správní rady“. Greg Brockman uvedl, že „Naším cílem právě teď ... je udělat to nejlepší, co je možné. Je to trochu vágní.“
Naopak počáteční rozhodnutí OpenAI odepřít GPT-2 kvůli přání „chybovat na straně opatrnosti“ v přítomnosti potenciálního zneužití bylo kritizováno zastánci otevřenosti. Delip Rao, odborník na generování textu, uvedl: „Nemyslím si, že [OpenAI] strávil dostatek času dokazováním, že [GPT-2] je skutečně nebezpečný“. Další kritici tvrdili, že otevřená publikace je nezbytná pro replikaci výzkumu a pro to, aby bylo možné přijít s protiopatřeními.
V daňovém roce 2017 vynaložila společnost OpenAI pouze na cloud computing 7,9 milionu USD, neboli čtvrtinu svých funkčních výdajů. Pro srovnání, celkové výdaje DeepMind v roce 2017 byly mnohem větší, měřily 442 milionů USD. V létě 2018 vyžadovalo prosté školení robotů OpenAI Dota 2 pronájem 128 000 procesorů a 256 GPU od společnosti Google na několik týdnů. Podle OpenAI model s omezeným ziskem přijatý v březnu 2019 umožňuje OpenAI LP legálně přilákat investice z rizikových fondů a navíc poskytnout zaměstnancům podíly ve společnosti, přičemž cílem je, aby mohli říci „jdu otevřít AI, ale z dlouhodobého hlediska to pro nás jako rodinu nebude nevýhodné. “ Mnoho špičkových výzkumníků pracuje pro Google Brain , DeepMind nebo Facebook, Inc. , které nabízejí možnosti akcií, které by nezisková organizace nemohla. V červnu 2019 získala OpenAI LP od Microsoftu miliardu dolarů , což je částka, kterou OpenAI plánuje utratit „do pěti let a možná mnohem rychleji“. Altman uvedl, že i miliarda dolarů se může ukázat jako nedostačující a že laboratoř může nakonec k dosažení AGI potřebovat „více kapitálu, než jakákoli nezisková organizace kdy získala“.
Na přechod od neziskové společnosti k společnosti s omezeným ziskem pohlížel skepticky Oren Etzioni z neziskového Allenova institutu pro AI , který souhlasil s tím, že je těžké přimět špičkové výzkumné pracovníky k neziskové organizaci, ale uvedl: „Nesouhlasím s názorem, že nezisková organizace může „Nesoutěžit“ a poukázal na úspěšné nízkorozpočtové projekty OpenAI a dalších. „Pokud by vždy byly lepší a lépe financované, pak by IBM byla stále jedničkou.“ Po přechodu již není ze zákona povinné zveřejňování informací o odměnách špičkových zaměstnanců v OpenAI LP. Nezisková organizace OpenAI Inc. je jediným ovládajícím akcionářem OpenAI LP. OpenAI LP si navzdory tomu, že jde o ziskovou společnost, zachovává formální svěřeneckou odpovědnost za neziskovou listinu OpenAI Inc. Většina představenstva OpenAI Inc. má zakázáno mít finanční podíly v OpenAI LP. Kromě toho mají příslušníci menšin s podílem v OpenAI LP kvůli střetu zájmů jistá hlasování . Někteří vědci tvrdili, že přechod OpenAI LP na ziskový stav je v rozporu s tvrzeními OpenAI o „demokratizaci“ AI. Novinář ve Vice News napsal, že „obecně jsme se nikdy nemohli spoléhat na venture kapitalisty k lepšímu lidstvu“.
Produkty a aplikace
Výzkum OpenAI se obvykle zaměřuje na posilování učení . OpenAI je vnímán jako důležitý konkurent DeepMind.
tělocvična
Gym si klade za cíl poskytnout snadno nastavitelný benchmark obecné inteligence se širokou škálou různých prostředí-poněkud podobným, ale širším než je výzva ImageNet Large Scale Visual Recognition Challenge používaná v supervizovaném výzkumu učení -a doufá, že standardizuje způsob ve kterých jsou prostředí definována ve výzkumných publikacích AI, takže publikovaný výzkum se stává snadněji reprodukovatelný. Projekt tvrdí, že poskytuje uživateli jednoduché rozhraní. V červnu 2017 lze Gym používat pouze s Pythonem . V září 2017 nebyl dokumentační web Gym udržován a aktivní práce se místo toho soustředila na jeho stránku GitHub .
RoboSumo
V „RoboSumo“, virtuální humanoidní „ metalearning “ roboty zpočátku chybí znalosti o tom, jak i pěšky, a vzhledem k tomu, cíle učení se pohybovat a tlačit nepřátelského agenta z ringu. Prostřednictvím tohoto procesu kontroverzního učení se agenti učí, jak se přizpůsobit měnícím se podmínkám; když je agent poté odstraněn z tohoto virtuálního prostředí a umístěn do nového virtuálního prostředí se silným větrem, agent se postaví do vzpřímené polohy, což naznačuje, že se naučil generalizovat rovnováhu. OpenAI Igor Mordatch tvrdí, že konkurence mezi agenty může vytvořit inteligenční „závody ve zbrojení“, které mohou zvýšit schopnost agenta fungovat, a to i mimo kontext konkurence.
Debatní hra
V roce 2018 zahájila OpenAI Debate Game, která učí stroje diskutovat o problémech s hračkami před lidským soudcem. Účelem je zjistit, zda takový přístup může pomoci při auditu rozhodnutí AI a při vývoji vysvětlitelné AI .
Daktyl
Dactyl využívá strojové učení k výcviku robota Shadow Hand od nuly, a to pomocí stejného kódu algoritmu pro zesílení učení, který používá OpenAI Five . Ruka robota je zcela vycvičena ve fyzicky nepřesné simulaci.
Generativní modely
GPT
Původní dokument o generativním předškolení (GPT) jazykového modelu napsal Alec Radford a jeho kolegové a byl publikován v předtisku na webu OpenAI 11. června 2018. Ukázal, jak je generativní model jazyka schopen získat světové znalosti a zpracovávat závislosti na dlouhé vzdálenosti předtréninkem na různorodém korpusu s dlouhými úseky souvislého textu.
GPT-2
Generativně předem vycvičený transformátor 2, běžně známý pod zkratkou GPT-2, je model jazykového transformátoru bez dozoru a nástupce GPT. GPT-2 byl poprvé představen v únoru 2019, přičemž původně byly veřejnosti zpřístupněny pouze omezené demonstrační verze. Plná verze GPT-2 nebyla okamžitě vydána z obavy z potenciálního zneužití, včetně aplikací pro psaní falešných zpráv . Někteří odborníci vyjádřili skepsi, že GPT-2 představuje významnou hrozbu. Allen Institut pro umělou inteligenci reagoval na GPT-2 s nástrojem pro detekci „neuronové falešné zprávy“. Jiní badatelé, například Jeremy Howard, varovali před „technologií, která by zcela naplnila Twitter, e-mail a web rozumně znějící a kontextově vhodnou prózou, která by přehlušila veškerou ostatní řeč a bylo by nemožné ji filtrovat“. V listopadu 2019 vydala OpenAI kompletní verzi jazykového modelu GPT-2. Několik webových stránek pořádá interaktivní ukázky různých instancí GPT-2 a dalších modelů transformátorů.
Autoři GPT-2 tvrdí, že jazykové modely bez dozoru jsou studenty obecného účelu, což dokládá GPT-2, který dosahuje nejmodernější přesnosti a zmatenosti u 7 z 8 úloh s nulovým výstřelem (tj. Model nebyl dále školen na žádném úkolu -specifické vstupně-výstupní příklady). Korpus, na kterém byl vycvičen, nazvaný WebText, obsahuje něco málo přes 8 milionů dokumentů pro celkem 40 GB textu z adres URL sdílených v příspěvcích Reddit s nejméně 3 upvotes. Pomocí kódování párů bajtů se vyhýbá určitým problémům s kódováním slovní zásoby pomocí tokenů slov . To umožňuje reprezentovat libovolný řetězec znaků kódováním jednotlivých znaků i víceznakových tokenů.
GPT-3
Generativní Pre-cvičil Transformer 3, běžně známý pod zkratkou GPT-3 , je bez dozoru Transformer jazykový model a nástupce GPT-2 . Poprvé byl popsán v květnu 2020. OpenAI uvedl, že plná verze GPT-3 obsahuje 175 miliard parametrů , o dva řády větší než 1,5 miliardy parametrů v plné verzi GPT-2 (ačkoli modely GPT-3 s tak malým počtem Bylo také procvičeno 125 milionů parametrů).
OpenAI uvedl, že GPT-3 uspěje v určitých úkolech „ meta-učení “. Může zobecnit účel jednoho páru vstup-výstup . Článek uvádí příklad překladového a mezijazykového transferového učení mezi angličtinou a rumunštinou a mezi angličtinou a němčinou.
GPT-3 dramaticky zlepšil srovnávací výsledky oproti GPT-2. OpenAI varoval, že takové rozšiřování jazykových modelů by se mohlo blížit nebo narážet na zásadní omezení schopností prediktivních jazykových modelů. Předtréninkový GPT-3 vyžadoval výpočet několik tisíc petaflopů/s-dnů, ve srovnání s desítkami petaflopů/s-dnů pro plný model GPT-2. Stejně jako jeho předchůdce nebyl plně vyškolený model GPT-3 okamžitě uvolněn pro veřejnost z důvodu možného zneužití, ačkoli OpenAI plánoval umožnit přístup prostřednictvím placeného cloudového API po dvouměsíční bezplatné soukromé beta verzi, která začala v červnu 2020 .
23. září 2020 byla licence GPT-3 licencována výhradně společnosti Microsoft.
Hudba
OpenAI's MuseNet (2019) je hluboká neurální síť vycvičená k předpovídání následných hudebních not v hudebních souborech MIDI . Dokáže generovat písně s deseti různými nástroji v patnácti různých stylech. Podle The Verge má píseň vygenerovaná společností MuseNet tendenci začínat rozumně, ale pak déle upadá do chaosu.
OpenAI's Jukebox (2020) je otevřený algoritmus pro generování hudby s vokály. Po tréninku na 1,2 milionu samplů systém akceptuje žánr, umělce a úryvek textu a vydává ukázky písní. OpenAI uvedl, že písně „ukazují místní hudební soudržnost, dodržují tradiční akordové vzorce“, ale uznal, že v písních chybí „známé větší hudební struktury, jako jsou opakující se sbory“ a že „mezi Jukeboxem a hudbou generovanou lidmi je„ značná mezera “. The Verge uvedl „Je to technologicky působivé, i když výsledky zní jako kašovité verze skladeb, které by se mohly zdát povědomé“, zatímco Business Insider uvedl „překvapivě, některé z výsledných skladeb jsou chytlavé a znějí legitimně“.
API
V červnu 2020 společnost OpenAI oznámila víceúčelové rozhraní API, které podle něj bylo „pro přístup k novým modelům AI vyvinutým společností OpenAI“, aby vývojáři mohli volat po „jakémkoli úkolu AI v angličtině“.
DALL-E a CLIP
DALL-E je model transformátoru, který vytváří obrázky z textových popisů, odhalených OpenAI v lednu 2021.
CLIP dělá opak: vytvoří popis pro daný obrázek. DALL-E používá verzi GPT-3 s 12 miliardami parametrů k interpretaci vstupů v přirozeném jazyce (například „zelená kožená kabelka ve tvaru pětiúhelníku“ nebo „izometrický pohled na smutnou kapybaru“) a generování odpovídajících obrázků. Je schopen vytvářet obrazy realistických předmětů („vitráže s obrazem modré jahody“) i objektů, které ve skutečnosti neexistují („kostka s texturou dikobraza“). Od března 2021 není k dispozici žádné API ani kód.
V březnu 2021 vydal OpenAI dokument s názvem Multimodal Neurons in Artificial Neural Networks , kde ukázal podrobnou analýzu modelů CLIP (a GPT) a jejich zranitelností. V této práci byl popsán nový typ útoků na takové modely.
Tyto útoky označujeme jako typografické útoky. Věříme, že útoky, jako jsou ty popsané výše, nejsou zdaleka jen akademickým zájmem. Využitím schopnosti modelky robustně číst text zjišťujeme, že model mohou často oblbnout i fotografie ručně psaného textu.
- Multimodální neurony v umělých neurálních sítích , OpenAI
Mikroskop
OpenAI Microscope je sbírka vizualizací každé významné vrstvy a neuronu osmi různých modelů neuronových sítí, které jsou často studovány v interpretovatelnosti. Mikroskop byl vytvořen pro snadnou analýzu funkcí, které se tvoří v těchto neuronových sítích. Zahrnuté modely jsou AlexNet , VGG 19, různé verze Inception a různé verze CLIP Resnet .
Video herní roboti a benchmarky
OpenAI Five
OpenAI Five je název týmu pěti OpenAI-kurátor roboty , které se používají v konkurenčním pěti z pěti videohry Dota 2 , kteří se učí hrát proti lidským hráčům na vysoké úrovni znalostí zcela metodou pokusu a omylu algoritmy . Než se stal pětičlenným týmem, první veřejná demonstrace proběhla na The International 2017 , každoročním premiérovém mistrovském turnaji hry, kde Dendi , profesionální ukrajinský hráč, prohrál s robotem v živém zápase 1v1 . Po zápase CTO Greg Brockman vysvětlil, že se bot naučil hraním proti sobě dva týdny v reálném čase a že učební software byl krokem směrem k vytváření softwaru, který zvládne složité úkoly jako chirurg. Systém využívá formu posilovacího učení , protože roboti se časem učí tím, že po několik měsíců hrají proti sobě stokrát denně, a jsou odměněni za akce, jako je zabití nepřítele a braní cílů mapy.
V červnu 2018 se schopnost robotů rozšířila o to, aby mohli hrát společně jako pětičlenný tým a dokázali porazit týmy amatérských a poloprofesionálních hráčů. Na The International 2018 , OpenAI Five hrál ve dvou exhibičních zápasech proti profesionálním hráčům, ale nakonec prohrál obě hry. V dubnu 2019 porazila OpenAI Five v živém exhibičním zápase v San Francisku OG , úřadující mistry světa té doby, 2: 0. Konečné veřejné vystoupení robotů přišlo později ten měsíc, kde ve čtyřdenní otevřené online soutěži hráli celkem 42 729 her a získali 99,4% těchto her.
GYM Retro
Gym Retro je platforma pro posílení výzkumu učení her. Gym Retro slouží k provádění výzkumů algoritmů RL a generalizaci studií. Dřívější výzkum v RL se většinou zaměřil na optimalizaci agentů pro řešení jednotlivých úkolů. Gym Retro dává možnost zobecnit mezi hrami s podobnými koncepty, ale odlišným vzhledem.
