Steamota Dota 2 AI společnosti OpenAI spojuje tým mistrů světa v e-sportu s vítězstvími proti sobě

Mezinárodní šampión OG 2018 prohrává s roboty OpenAI v ohromující porážce

Foto Nick Statt / The Verge

OpenAI, výzkumná organizace pro umělou inteligenci, si může vybrat světovou novinku: její systém umělé inteligence trénovaný na hraní této komplexní strategické hryDota 2překonal tým mistrů světa v e-sportu. Soutěž se konala dnes v San Francisku a nazvala ji pět finále OpenAI, čímž byla ukončena její veřejná demonstraceDota- hrací technologie na vysoké úrovni.



Soutěž po lidské stránce zahrnovala pět nejlepšíchDota 2profesionálové z týmu OG, který v loňském roce vyhrál nejvyhledávanější světovou cenu za e-sportobsadil první místo na The International, premiérovém ročníkuDota 2turnajs cenami nyní v celkové výši 25 milionů dolarů. OG se utkali v soutěži best-of-three proti robotům OpenAI Five, všichni byli trénováni pomocí stejných technik učení hlubokého posílení a nezávisle ovládáni různými vrstvami stejného systému. Posílení učení je účinně přístup k pokusům a omylům o sebezdokonalování, kdy AI spadá do herního prostředí s nulovým porozuměním toho, jak hra funguje, a je intenzivně trénována pomocí systémů odměn a dalších stimulačních mechanismů.



hra a hodinky

Dnešní výkon je zdaleka nejkvalitnější ukázkou schopností systému OpenAI Five doposudloni v srpnu těsně prohrál dvě hry s méně schopnými týmy elektronických sportů. Podle spoluzakladatele a předsedy OpenAI Grega Brockmana, který je také hlavním technologickým ředitelem organizace, se OpenAI Five zlepšuje tím, že se hraje ve zrychleném virtuálním prostředí. OpenAI Five je založeno na hlubokém učení, což znamená, že jsme jej nekódovali, jak hrát. Naprogramovali jsme, jak se učit, řekl Brockman davu před konkurencí. Za 10 měsíců své existence to už bylo 45 000 letDota 2hratelnost. To je hodně - ještě se nenudilo.

Boti OpenAI Dota 2 se vyškolili na ekvivalent 45 000 lidských let

Dota 2je nesmírně složitá strategická hra, která zahrnuje více než 100 jedinečných postav, hluboké stromy dovedností a seznamy předmětů a závratnou řadu proměnných, které se v daném okamžiku zápasu odehrávají na obrazovce. OpenAI jako takový ukládá určitá omezení, když jeho systém AI hraje profesionální hráče, zejména tím, že omezuje počet hrdinů použitých oběma týmy pěti hráčů.



V tomto případě měl každý oddíl na výběr 17 hrdinů. OpenAI také zvolilo takzvaný herní režim Captain’s Draft, který umožňuje každému týmu strategicky zakázat hrdiny, aby zabránil druhému týmu ve výběru těchto postav před použitím odlišného pořadí vychystávání. To umožňuje kapitánovi vybudovat silné stránky mezi kombinacemi hrdinů a využít slabé stránky nepřátelských hrdinů prostřednictvím silných žetonů, jakmile týmy začnou jeden po druhém vyplňovat soupisku. Stejně jako předchozí zápasy OpenAI také deaktivoval funkce vyvolávání a iluze, které zahrnují přinášení dalších proměnných v podobě kopií hrdinů a jedinečných tvorů, na které OpenAI nevycvičil svůj systém.

Kromě toho se hra hraje jako normálníDota 2zápas s konečným cílem zničit starodávný tým nepřátelského týmu nebo velkou věž na konci území každého týmu, která se stane zranitelnou, až když nepřátelský tým úspěšně zničí menší věže v průběhu zápasu, mezi hrdinou na hrdinu týmové boje.

V prvním zápase dne OpenAI Five překvapil OG a získal vítězství díky spoléhání se na řadu agresivních taktik, včetně zvláštního rozhodnutí utratit vydělanou herní měnu za okamžité oživení hrdinů po smrti, dokonce i na začátku zápasu. Jak poznamenal Greg Brockman, hlavní technologický ředitel OpenAI, OpenAI má ráda strategie, které upřednostňují krátkodobý zisk, odhalují jeho nedostatky v zvládnutí typu dlouhodobého plánování, na které jsou lidé skvělí a obvykle se spoléhají na vítězství v těchto strategických soutěžích. V tomto zápase se však časné zpětné výplaty vyplatily a OpenAI Five získal náskok, který OG jednoduše nedokázal překonat, protože se zápas táhl do 30minutového rozsahu.



Ve druhém zápase si OpenAI vedl ještě lépe, v prvních minutách získal proti OG časnou výhodu a poté bezohledně postupoval na lidské hráče, dokud si nezískal vítězství za něco málo přes polovinu času, který potřeboval k vítězství v prvním zápase. Mike Cook, vášnivýDota 2hráč a divák, který se specializuje na míchání AI a herního designu, si všiml, jak neobvykle agresivní OpenAI Five začal hrát ve druhém zápase a jak málo OG dělá, aby bojovalo s jeho pokroky po mapě. Cook si konkrétně všiml, jak dobře OpenAI Five dokázal využít svých specifických tipů na hrdiny.

Pro OpenAI není vítězství zde samo o sobě jen příčinou oslav, ale svědčí o tom, že jeho přístup k posilování učení a jeho obecná filozofie o AI přináší milníky. Výzkumný tým již nebude pořádat žádné veřejné demonstrace svého robota AI, ale nyní pracuje na softwaru, který umožní lidem spolupracovat společně se softwarem OpenAI Five v reálném čase, hrát na týmu s roboty a učit se z jejich zvláštních, bezprecedentních strategií a chování. Organizace také uvolňuje platformu pro veřejnost, která bude hrát proti OpenAI Five, režimu, kterému říká Arena, který bude otevřen tři dny od 18. dubna.

mluvčí

OpenAI říká, že software pro spolupráci se možná nikdy nedostane na veřejnost, i když jsem si to na akci mohl sám vyzkoušet. (Přesto, že má světovou úroveňDota 2AI v mém týmu mě bohužel drtila mnohem méně dramatickým způsobem než OG.) Ale Sam Altman, spoluzakladatel a generální ředitel OpenAI, říká, že tento typ práce je důkazem toho, že spolupráce s agenty AI může v budoucnu vyústit v obrovské výhody. .

koho sledovat na instagramu
OpenAI chce využít své znalosti Dota 2 a aplikovat je na nové výzvy, jako jsou roboti

To je důležitá lekce pro to, jak bude svět fungovat, trénovat tyto věci a nechat je pracovat paralelně, říká Altman v rozhovoru sThe Verge. Spolupráce je jednou z pozitivnějších vizí, které máme pro budoucnost světa - AI pracuje společně s lidmi, aby se lidé zlepšovali a měli větší zábavu a větší dopad.

Altman říká, že OpenAI bude pravděpodobně nadále fušovatDota 2a další prostředí videoher, především proto, že jsou tak dobrými testovacími lůžky pro AI a dobrými srovnávacími nástroji pro měření pokroku. Ale on mi říká, že teď pravděpodobně neexistuje videohra, která by systém, jako je OpenAI Five, nemohl nakonec zvládnout na úrovni, která by přesahovala lidské schopnosti. Pro širší odvětví umělé inteligence se zvládnutí videoher může brzy stát pasé, což vyžaduje jednoduché sázky na stůl, aby se dokázalo, že se váš systém dokáže rychle učit a jednat způsobem, který je nutný pro zvládnutí náročnějších úkolů v reálném světě se smysluplnějšími výhodami.

Nakonec si OpenAI chce vzít svéDota 2učení a rozšířit je do nových domén mimo hry a případně do reálného světa. Za tímto účelem organizace pracuje na využití posilovacího učení a dalších technik k naplnění robotických rukou obratnějším, obratnějším a lidštějším pohybem.

To, co se OpenAI pokouší udělat, je vybudovat obecnou umělou inteligenci a sdílet tyto výhody se světem a zajistit, aby to bylo bezpečné, říká Altman v souvislosti s úsilím o vybudování víceúčelového systému AI schopného plnit jakýkoli úkol, který člověk dokáže. Nebyli jsme tady, abychom porazili videohry, tak zábavné. Jsme tady, abychom odhalili tajemství na cestě AGI.

Oprava: Předchozí verze tohoto článku uvádí, že předsedou organizace byl spoluzakladatel OpenAI Sam Altman. Ve skutečnosti je generálním ředitelem, zatímco CTO Greg Brockman je jeho předsedou.