Как открыть историю матчей в дота 2 реборн

18.01.2021 minecraft-jobs.ru Разное 0

Главная » Разное » Как открыть историю матчей в дота 2 реборн


Dota 2 Reborn

Так называется, пожалуй, самое крупное обновление игры Dota 2 за последние несколько лет. Оно представляет собой сборку всесторонних изменений игры, о которых будет рассказано ниже.

Обновление Dota 2 Reborn было анонсировано 13 июня 2015 года. Это означало скорый запуск  бета-тестирования данного обновления, для чего понадобилось просмотреть заново новый клиент игры.

Первое, что бросается в глаза – полностью измененный интерфейс. Было добавлено множество разнообразных функций, достижений и элементов статистики. Присутствуют и смена цветовой гаммы наряду с общим «оживлением» меню, инвентаря и браузера героев. Добавили улучшенное обучение для новичков, сделав его абсолютно пошаговым и более удобным.

Еще одно важное и ожидаемое многими игроками – раздел Пользовательских игр. В нем можно найти игру в режиме, отличном от классических, нацеленном на фан и разнообразие в игре. Многие уже добавленные карты существуют еще со времен пользовательских карт Warcraft III.

И наконец, пожалуй главная часть обновления – переход игры на новый, более продвинутый и совершенный движок под названием Source 2. Он включает в себя технологии для улучшения оптимизации, ускорения отклика, улучшения качества звука. Одной из главных его особенностей является способность поддерживать все возможные ядра и ресурсы в общем. Другими словами, новый движок значительно увеличивает производительность игры, не уступая при этом в качестве изображения, а где-то даже превосходя предыдущий Source 1. Владельцы компьютеров со слабыми характеристиками были очень рады данной новости.

Начало бета-тестирования было объявлено  18 июня 2015 года. С этого дня начался основной тест клиента игры уже самим сообществом игроков. Наконец, 9 сентября 2015 года, Valve объявили об окончании тестирования, и клиент вышел в свет, заменив собой старый.

Обо всех новшествах перерожденной игры вы можете узнать в новостях об игре здесь: Часть 1, Часть 2 и Часть 3.

data science — Некоторые вопросы о Steam Web API от Valve — Получение истории матчей Dota 2

Переполнение стека

  1. Товары
  2. Клиенты
  3. Случаи использования
  1. Переполнение стека Общественные вопросы и ответы
  2. Команды Частные вопросы и ответы для вашей команды

  3. предприятие Частные вопросы и ответы для вашего предприятия
  4. работы Программирование и связанные с ним возможности технической карьеры
  5. Талант Нанять технических талантов
  6. реклама Обратитесь к разработчикам по всему миру

,

Как работает рейтинг MMR в Dota 2

Обновлено 14 февраля 2020 года (MMR сезон 3)

Здесь, в этом руководстве, я объясню, как работает рейтинг MMR в Dota 2, или вы можете просто сказать, что такое механика MMR в Dota 2 Я буду идти шаг за шагом, так что это будет длинное руководство. Я напишу его как ответы на вопросы, поэтому, если вы хотите получить ответ на конкретный вопрос, которого нет в этом руководстве, вы можете задать мне его ниже.

Отказ от ответственности: Я не являюсь официальным лицом Dota 2. Вся представленная информация основана на моем подробном исследовании и большей части данных, взятых с официального сайта Dota 2 или социальной учетной записи Wykrms Reddy (графический дизайнер и неофициальный представитель Valve).

Вы также можете ознакомиться с нашим руководством о том, как работает калибровочный MMR Dota 2 и как получить высокий калибровочный MMR. В нем подробно объясняются различные аспекты калибровки MMR.

Что такое рейтинг MMR в Dota 2?

MMR означает ранг / рейтинг подбора игроков. Иногда мы также называем это уровнем вашей квалификации. Создавая свой матч, Dota 2 считает MMR главным, но не единственным фактором. Существует 2 категории рейтинга MMR Dota 2.

  1. Обычный MMR для Dota 2: Этот номер MMR не отображается в вашем профиле, но хранится в базе данных Dota 2.Dota 2 использует этот MMR, когда они составляют ваш обычный матч. Он отличается для поддержки и основного MMR. Иногда его также называют скрытым MMR
  2. Рейтинг Dota 2 MMR: Этот номер MMR отображается в вашем профиле и используется, когда Dota 2 делает вас командой в рейтинговом матче. Он отличается для ролей поддержки и основных ролей.

Что такое медали за ядро ​​и поддержку?

Ядро: Сюда входят безопасная линия керри (позиция 1 герой), мид лейн (позиция 2) или оффлейн (позиция 3).Если вы выберете любую роль из этих трех, ваш основной MMR будет увеличиваться / уменьшаться в зависимости от исхода матча.

Поддержка: Включает мягкую поддержку (позиция 4) и жесткую поддержку (позиция 5). Если вы играете эти 2 роли, ваш MMR поддержки будет увеличиваться / уменьшаться в зависимости от победы / поражения.

Интересно, что теперь Valve связала оба MMR. Из-за этого, если вы выиграете 1 тип MMR, некоторые (около 10-15 очков) MMR других ролей также будут затронуты. Это означает, что вы рассылаете спам для основного MMR и продолжаете выигрывать все матчи, вы заметите, что ваш поддерживающий MMR также немного увеличился.Имейте в виду, что если вы выиграете / проиграете основной матч в одиночной очереди, ваш поддерживаемый MMR также увеличится / уменьшится на 15 очков и наоборот. Однако, если вы играете ядром в командном матче, ваш MMR поддержки будет увеличиваться / уменьшаться на 10 очков и наоборот.

Кроме того, вы получите отдельную медаль за обе эти роли, и самая высокая медаль будет отображаться в вашем профиле. Вы можете увидеть обе свои медали, если наведете курсор на медаль Dota 2.

В чем разница между нормальным и рейтинговым MMR?

Начиная с вашего дня 1 и игры 1, ваш MMR рассчитывается Dota 2 даже в обычных матчах.Однако в рейтинговых матчах единственное отличие MMR состоит в том, что он отображается в вашем профиле. Обычный MMR НЕ отображается в вашем профиле, но Dota 2 знает об этом.


(Источник = официальный блог Dota 2)

Вот что об этом говорится в официальном блоге Dota 2.

«Подбор матчей в Dota 2 всегда рассчитывал MMR и использовал его для формирования матчей; в рейтинговом подборе игроков мы делаем этот MMR видимым »

Вначале, как рассчитывается мой рейтинговый MMR?

Когда вы играете свой первый матч, он назначается вам случайным образом.Затем все, что вы выполняете в своем первом матче, используется в качестве ориентира, а затем проводятся следующие матчи. Dota 2 Постоянно отмечает ваш результат и производительность во всех обычных матчах.

По прошествии 100 часов игры в Dota 2 вы можете играть в рейтинговые матчи. Это включает Турбо и все другие режимы игры, кроме рейтинговых, автономных, тренировочных, турнирных и лобби-матчей. Вам нужно сыграть по 10 калибровочных матчей как для поддержки, так и для основного MMR, после чего ваш рейтинг будет отображаться в вашем профиле.

Вы получите свою первую команду по рейтингу на основе вашего обычного MMR (скрытого MMR). Затем, что бы вы ни выполняли в своем первом калибровочном матче MMR, вам будет назначен следующий матч соответственно. В самом начале, когда вы впервые калибруете свой MMR, вы можете перепрыгнуть почти на 1000 MMR в зависимости от вашей производительности. Например, если вы играете свой первый матч в сетке медали Геральда, и вы сильно продвинулись в этой игре, вы можете увидеть свою следующую игру в скобке медали Архонта.В конечном итоге после 10 калибровочных совпадений ваш рейтинг MMR отображается в вашем профиле.

Как в Dota 2 рассчитываются все типы MMR?

Давайте посмотрим, что об этом говорится на официальном сайте Dota 2. Вам станет ясно, как только вы прочитаете официальную информацию.

Dota 2 использует стандартные методы для количественной оценки и отслеживания навыков игрока. Мы назначаем каждому игроку MMR, который представляет собой сводную метрику, определяющую ваши навыки в Dota 2. После каждого матча мы обновляем ваш MMR в зависимости от того, что произошло в этом матче. Выдержка из официального блога Dota 2;

Мы также отслеживаем нашу неопределенность в отношении вашего MMR. Новые аккаунты и те, кто впервые играет в рейтинговом подборе игроков, имеют высокую степень неопределенности. Более высокая неопределенность позволяет производить большие корректировки после каждого совпадения, а более низкая неопределенность приводит к меньшим корректировкам. Вместе MMR и неопределенность можно интерпретировать как распределение вероятностей вашей следующей игры; сам MMR служит средним значением этого распределения, а неопределенность — его стандартным отклонением.Если результаты матча (как победа / поражение, так и индивидуальные результаты) постоянно совпадают с нашими ожиданиями, неопределенность имеет тенденцию уменьшаться, пока не достигнет минимального уровня. Неожиданный исход матча, как правило, увеличивает неопределенность.

Старый контент, больше не действующий

Dota 2 фактически отслеживает в общей сложности пять MMR для каждого игрока:

  1. Обычный подбор игроков, игра в одиночку
  2. Обычный подбор игроков, игра с группой
  3. Ранговый подбор игроков, игра в одиночку
  4. Рейтинговый подбор игроков, игра с группой
  5. Командный рейтинг (рейтинговые игры), когда все 5 членов команды вместе играют рейтинговые матчи как команда.

С 17 сентября 2020 года Dota 2 отслеживает только 2 типа MMR.

  1. Core MMR
  2. Поддержка MMR

Однако оба этих MMR рассчитываются по-разному при игре в одиночку или во время партийных матчей. Когда вы играете в группе, ваш MMR увеличивается / уменьшается на 20 очков за матч независимо от того, какую роль вы играете. Принимая во внимание, что, сыграв соло-матч, вы можете набрать / потерять 30 очков за матч независимо от выбранной вами роли.

Как меня распределяют в команды, когда я играю рейтинговые калибровочные матчи?

Они берут ваш скрытый MMR из обычных матчей и используют его в качестве отправной точки, поэтому они не подбирают вас случайным образом в рейтинговых матчах.Кроме того, как только вы сыграете свой первый рейтинговый матч, ваш обычный и рейтинговый MMR разделятся и полностью разделены. С этого момента MMR (нормальный и рейтинговый) рассчитывается отдельно на основе игр (обычных + рейтинговых), в которые вы играете.

Эта процедура более подробно и с примерами объясняется в этом посте.

Как мне повысить свой рейтинг MMR в Dota 2?

В целом, когда вы выигрываете, ваш MMR повышается, а когда вы проигрываете, ваш MMR понижается. Выигрыш / проигрыш являются основными критериями для обновления MMR, но индивидуальная производительность также играет роль, особенно когда наша неопределенность относительно вашего MMR высока.Индивидуальный MMR может увеличиваться после поражения или уменьшаться после победы, но, как правило, средний MMR победившей команды будет увеличиваться, а MMR проигравшей — уменьшаться. (извлечено из официального сообщения в блоге Dota 2)

Изображение доказательства непоследовательного увеличения MMR смотрите на изображениях ниже.

Вы упомянули Неопределенность в предыдущем пункте. Что это такое?

Неопределенность — это стандартное отклонение рейтинга игрока в Dota 2 MMR. Давайте посмотрим, какую роль он играет согласно Dota 2 Wiki.

  • Игроки с высокой неопределенностью с большей вероятностью будут сопоставлены с игроками, которые более сильно различаются по уровню мастерства, и наоборот.
  • Новые учетные записи с небольшим количеством сыгранных игр имеют тенденцию к высокой неопределенности, тогда как более старые учетные записи с большим количеством сыгранных игр обычно имеют низкую неопределенность.
  • Поскольку нормальный и рейтинговый подбор игроков отслеживается отдельно, игрок, у которого много обычных игр, все равно будет испытывать высокую неопределенность при подборе рейтинговых матчей, если он сыграл только несколько рейтинговых игр, и наоборот.
  • Более высокая неопределенность ведет к большим корректировкам MMR Dota 2 после каждого матча, а более низкая неопределенность ведет к меньшим корректировкам.
  • Матчи с высокой степенью неопределенности иногда называют свинг-играми, потому что их результаты представляют собой «прорывные» моменты, которые указывают на прогресс или регресс MMR игрока.
  • Если результаты игры (победа / поражение и индивидуальные результаты) постоянно совпадают с ожиданиями системы, неопределенность будет уменьшаться, пока не достигнет минимального уровня.
  • И наоборот, неожиданные исходы матча, как правило, приводят к увеличению неопределенности.

Насколько увеличивается / уменьшается MMR, если я выиграю / проиграю игру?

Старый контент, больше не действующий

В основном разница между общим MMR партии определяет, насколько изменится MMR. Итак, есть несколько примеров, которые я приведу вначале, а затем объясню на основе этих примеров.

В этих примерах я объясню, только учитывая, что вы выиграли в рейтинговом матче. Вы можете и сами наоборот.

  • У команд точно такой же MMR: Вы получите увеличение MMR на 23-27.
  • Если у вражеской команды будет больше MMR, чем у вашей: Затем вы можете увеличить MMR до 40 * в зависимости от разницы в общем среднем MMR команды.

  • Если у вражеской команды будет меньше MMR, чем у вашей команды: Вы можете не получить никакого увеличения MMR, или даже ваш MMR может снизиться в зависимости от того, как вы играли в этом матче. (См. Изображение ниже)
  • Итак, на этом изображении вы можете видеть в области, выделенной красным, этот пользователь проиграл матчи, но не потерял никакого MMR.
  • В зеленой выделенной области видно, что он выиграл матч, но его MMR не увеличился.

  • Во всех случаях, если вы отказались от рейтингового матча, даже если вы выиграете, ваш MMR снизится.

* Это максимальный MMR, который я видел до сегодняшнего дня, если кто-то видел увеличение более чем на 40 MMR, покажите мне скриншот, чтобы я мог его обновить.

Есть несколько сценариев, позвольте мне объяснить каждый из них.Например, вы играете в одиночной очереди и в основной роли. Вы выиграли этот матч. Ваш основной MMR увеличится на 30, а MMR поддержки увеличится вдвое (на 15 очков). Это работает для обеих ролей, то есть ядра и поддержки.

Теперь вы играете групповой матч и выбираете роль поддержки перед тем, как стоять в очереди на этот матч. Как только вы выиграете этот матч, вы получите 20 MMR поддержки и 10 Core MMR, даже если вы не играли в Core.

Ваша самая высокая медаль будет видна в вашем профиле, независимо от того, основная это медаль или медаль поддержки.

Как работает автоматический подбор игроков в Dota 2?

Основная цель автоматического подбора игроков в Dota 2 — дать игрокам удовольствие от игры. Автоматический матчмейкер Dota 2 ищет матчи со следующими точками (перечислены в произвольном порядке): (Источник = официальный блог Dota 2)

  1. Команды сбалансированы. (У каждой команды шанс на победу 50%.)
  2. Разница в мастерстве между самым и наименее опытным игроком в матче минимальна.Это связано с балансом команды, но не одно и то же.
  3. Разница между опытом (измеряемым количеством сыгранных игр) между наименее опытным игроком и наиболее опытным игроком сведена к минимуму. Подробнее об этом ниже.
  4. Игрок Света самого высокого уровня мастерства должен иметь почти такой же уровень мастерства, как и игрок Света самого высокого мастерства.
  5. В каждой команде примерно одинаковое количество партий. Например, матчмейкер пытается избежать сопоставления группы из 5 человек против 5 отдельных игроков.
  6. Языковые предпочтения игроков содержат общий язык. Строго избегается отсутствие общего языка среди языковых предпочтений товарищей по команде. Отсутствие общего языка на протяжении всего матча также избегается, но в меньшей степени.
  7. Время ожидания не должно быть слишком длинным.

Автоматическая сваха редко достигает всех этих целей идеально. При проведении матча автоматический матчмейкер присваивает оценку качества каждому из указанных выше пунктов, а затем берет среднее значение для всей команды.Если общая оценка качества превышает пороговое значение, совпадение считается «достаточно хорошим», и в конечном итоге совпадение проводится.

Когда мой MMR меняется, а когда не меняется?

Рейтинг MMR в Dota 2 не обновится, если:

  • Член вашей команды, не участвующий в тусовке, досрочно прекращает (до первой крови) обычный матч. Однако в рейтинговых матчах ваш MMR будет учитываться, даже если кто-то уйдет до Первой крови.
  • Обнаружено плохое состояние сети.Чтобы это применимо, в игре должно появиться сообщение.

Рейтинг MMR в Dota 2 обновится, если:

  • Любой член вашей команды поздно покинет игру. (После 1-й крови)
  • Любой член вашей группы покидает место в любой форме.

Ваш MMR ВСЕГДА будет обновляться в рейтинговых матчах, выигрываемых или проигрываемых вами, даже если кто-то выйдет из игры на любом этапе, он все равно будет учитываться.

Где я могу увидеть лучших игроков MMR?

Dota 2 держит в таблице лидеров лучших игроков Immortal всех регионов и обеих ролей отдельно.Вы можете увидеть это на LeaderBoard Dota 2.

Некоторые важные моменты о рейтинге MMR в Dota 2?

  • MMR — основной, но не единственный фактор, используемый при подборе игроков.
  • Система также учитывает опыт (количество сыгранных игр), производительность игрока, разницу в золоте и различные скрытые переменные.
  • Система не пытается напрямую добиться какого-либо конкретного выигрыша для игроков.
  • Тем не менее, он пытается гарантировать, что каждая команда имеет 50% -ный шанс на победу при сопоставлении игроков с одинаковыми навыками друг против друга.
  • Это означает, что со временем соотношение выигрышей и проигрышей естественным образом установится на уровне 50/50 для всех, кроме самых лучших игроков.
  • Система не проверяет отдельные серии побед / поражений и не пытается их прервать.
  • Процент побед и количество побед не связаны с рейтингом MMR в Dota 2 и не являются значимыми показателями навыков игрока.
  • Согласно Valve, мнения игроков о системе MMR сильно коррелируют с их недавним рейтингом побед.

Ребята, если есть вопросы, пишите их ниже в комментариях, чтобы я мог отвечать и отслеживать все вопросы.Если будут какие-то вопросы, я добавлю их в этот основной пост. Я буду обновлять эту ветку, когда будет что-нибудь новое.

.

Бот OpenAI по Dota 2 победил 99,4% игроков в публичных матчах

OpenAI Five — бот с искусственным интеллектом, разработанный исследовательской организацией OpenAI из Сан-Франциско, Калифорния, которая победила профессиональную киберспортивную команду на Valve Dota 2 в начале этого месяца — на прошлой неделе стал доступен для публичной игры через Arena, режим, который позволял игрокам бросать вызов своим игровые способности под себя. Итак, после колоссальных 42 729 совместных и соревновательных матчей (688 из которых были сыграны против 1583 игроков одновременно) с 18 по 21 апреля, каковы были результаты OpenAI Five? Впечатляюще заявляет OpenAI: ему удалось выиграть 4075 игр с коэффициентом побед 99.4%, что довольно выгодно для сравнения с показателем побед в 24% человеческих команд с хотя бы одной победой.

На самом деле, чтобы одержать победу, первому игроку-человеку (из 39 356 в 225 странах, сыгравших против OpenAI Five) потребовалось 459 игр — шесть часов и девять минут после запуска Arena.

«Arena была масштабным экспериментом по проверке возможности использования OpenAI, учитывая, что весь Интернет пытается взломать его. Сообщество Dota объединилось, каталогизируя каждую слабость. Хотя Five есть чему поучиться, никто не смог найти те виды простых в исполнении эксплойтов, от которых страдают игровые боты, запрограммированные человеком », — сказал технический директор OpenAI Грег Брокман.«Это дает нам больше уверенности в том, что будущие системы искусственного интеллекта, которые мы внедряем в дикой природе, можно будет сделать надежными и трудными для подрыва. И, что, возможно, даже более важно, мы осознали ценность сообщества людей, заинтересованных в изучении системы, которую мы создали, чтобы по-настоящему понять пределы и последствия того, что мы создали ».

OpenAI отличался другими особенностями. Только 4 команды людей одержали победу в 2 играх подряд против него, и жалкие 3 команды выиграли 3 (одна команда выиграла 10), и всего 115 игроков со средним рейтингом одиночного подбора игроков 6500 (63% Бессмертных игроков с рейтингом 500). ) обыграть бота в соревновательном режиме.В совокупности OpenAI Five отыграл 10,7 лет игрового времени, столкнувшись с человеческими противниками — примерно столько данных, которые он генерирует каждые 12 минут тренировки, играя самостоятельно. (Игроки проводили в среднем два с половиной часа, играя против него, а один человек — почти 30 часов.) И это привлекло немало аудитории: общее количество пользователей Twitch, которые смотрели игры OpenAI Five Arena, составило 486 000, и они смотрели стримы. в среднем 7 минут.

OpenAI заявляет, что планирует использовать результаты, чтобы исследовать, в какой степени OpenAI Five принимает «макроуровневые решения», а не полагается на поспешные суждения и оппортунистические игры.

«Арена была огромным источником ожидания и страха в умах многих из нас в команде. На одном конце спектра мы абсолютно сидим на краю своего места в ожидании какой-то невероятной стратегии, чтобы раскрыть пропущенное слепое пятно или стать свидетелями значимого сотрудничества между ИИ и людьми », — сказал исследователь команды OpenAI Five Джонатан Райман. «С другой стороны, мы сосредоточились на команде, чтобы достичь высочайшего уровня игры в Dota 2 и противостоять профессиональным игрокам, так что это был значительный сдвиг от нашего конкурентного мышления к этому миру исследований, внешнего контроля. и устойчивость к масштабам Интернета.Я глубоко взволнован и поражен реакцией общественности. Это убедительное подтверждение того, что можно сделать с помощью расширенного обучения с подкреплением, готовность проверять идеи в реальном мире и представление о том, какими будут масштабные развертывания ИИ в будущем ».

Как OpenAI справился с Dota 2

Valve Dota 2 — продолжение Defense of the Ancients (DotA), созданного сообществом мода для Warcraft III: Reign of Chaos от Blizzard — это так называемая многопользовательская онлайн-боевая арена или MOBA.Две группы по пять игроков, каждой из которых дается база для захвата и защиты, пытаются разрушить постройку — Древнюю — на базе противоположной команды. Игровые персонажи (герои) обладают особым набором способностей и собирают очки опыта и предметы, открывающие новые атаки и защитные приемы.

Это сложнее, чем кажется. Среднее совпадение содержит 80 000 отдельных кадров, в течение которых каждый персонаж может выполнить десятки из 170 000 возможных действий. Герои на доске совершают в среднем 10 000 ходов за каждый фрейм, что составляет более 20 000 общих измерений игры.И каждый из этих героев, а их более 100, может подбирать или покупать сотни игровых предметов.

OpenAI Five пока не поддерживает полную игру — он может играть только 18 из 115 различных героев, и он не может использовать такие способности, как вызов и иллюзии. И в некоторой степени спорного дизайнерского решения, инженеры OpenAI по выбрали не , чтобы он читал пиксели из игры, чтобы получить информацию (например, человеческие игроки делают). Вместо этого он использует API-интерфейс бота Dota 2, избавляя его от необходимости искать на карте, где может быть его команда, проверять, готово ли заклинание, или оценивать здоровье или расстояние врага.

Тем не менее, он может составить команду полностью самостоятельно, учитывая выбор противоположной стороны.

OpenAI уже некоторое время пытается решить дилемму Dota 2 и продемонстрировал раннюю версию своего бота для игры в MOBA, который победил одного из лучших игроков мира Данила «Dendi» Ишутина в матче один на один. 1 матч — в августе 2017 года. В июне он стал еще лучше с OpenAI Five, улучшенной системой, способной проводить матчи пять на пять, которая сумела обыграть команду сотрудников OpenAI, команду зрителей и сотрудника Valve. команда, любительская команда и полупрофессиональная команда.

Вверху: вид OpenAI Five с поля битвы Dota 2.

Кредит изображения: OpenAI

В начале августа он выиграл два матча из трех у команды, находящейся в 99,95-м процентиле. Во время первого из двух матчей Open AI Five начал и закончил уверенно, не позволяя своим противникам-людям разрушить любую из своих защитных башен. Второй матч был менее односторонним — люди взяли одну из башен OpenAI Five, но ИИ, тем не менее, одержал победу.Лишь в третьем матче игроки-люди одержали победу.

OpenAI Five состоит из пяти однослойных сетей с длительной краткосрочной памятью (LSTM) на 4096 единиц — типа рекуррентной нейронной сети, которая может «запоминать» значения в течение произвольного промежутка времени, каждая из которых назначается одному герою. (Это больше, чем в предыдущих версиях LSTM из 1024 единиц.) Сети обучаются с использованием модели обучения с глубоким подкреплением, которая стимулирует их самосовершенствование вознаграждением. В случае OpenAI Five такими наградами являются убийства, смерти, передачи, хиты последней мили, собственный капитал и другая статистика, которая отслеживает прогресс в Dota 2.

Обучающая среда

OpenAI — Rapid — состоит из двух частей: набора рабочих по развертыванию, которые запускают копию Dota 2 и сети LSTM, и узлов оптимизатора, которые выполняют синхронный градиентный спуск (важный шаг в машинном обучении) во всем парке графики. карты. По мере того, как рабочие развертывания набираются опыта, они информируют узлы оптимизатора, а другой набор рабочих сравнивает обученные сети (агенты) LSTM с эталонными агентами.

Чтобы самосовершенствоваться, OpenAI Five каждый день играет в игры 180 лет — 80% против себя и 20% против самих себя — на 256 видеокартах Nvidia Tesla P100 и 128 000 процессорных ядер на облачной платформе Google.Несколько месяцев назад, когда OpenAI начал обучение, герои Dota 2, контролируемые ИИ, «бесцельно бродили по карте». Но это было незадолго до того, как ИИ овладел основами, такими как защита полосы при фарме, и вскоре прибил продвинутые стратегии, такие как вращение героев по карте и кража предметов у противников.

«Раньше люди думали, что подобное невозможно при сегодняшнем глубоком обучении», — сказал Брокман в интервью VentureBeat в прошлом году. «Но оказывается, что эти сети [могут] играть на профессиональном уровне с точки зрения некоторых из стратегий, которые они обнаруживают… и действительно имеют некоторое долгосрочное планирование.Меня шокирует то, что он использует алгоритмы, которые уже существуют, которые у нас уже есть, и которые, по словам людей, были некорректны по определенным причинам ».

Полностью обученные агенты OpenAI Five на удивление сложны. Несмотря на то, что они не могут общаться друг с другом (значение гиперпараметра «командный дух» определяет, насколько или насколько мало каждый агент отдает предпочтение индивидуальным наградам над вознаграждением команды), они мастера уклонения от снарядов и обмена опытом, и даже продвинутой тактики. например, «блокирование крипов», при котором герой физически блокирует путь враждебному крипу (базовый юнит в Dota 2), чтобы замедлить его продвижение.

игроков в Dota 2 уже изучают стили игры OpenAI Five, некоторые из которых на удивление творческие. (В одном матче боты использовали механику, которая позволяла их героям быстро перезаряжать определенное оружие, оставаясь вне досягаемости врагов.) Что касается OpenAI, он применяет некоторые идеи, полученные в других областях: в феврале прошлого года он выпустил Hindsight Experience Replay (HER), алгоритм с открытым исходным кодом, который эффективно помогает роботам учиться на неудачах, а позже в этом году опубликовал исследование самообучающейся робототехнической системы, которая может манипулировать объектами с человеческой ловкостью.

Брокман сказал, что хотя матчи этого лета были последней публичной демонстрацией, OpenAI «продолжит работу» над OpenAI Five.

«Прелесть этой технологии в том, что она даже не знает, что [играет] в Доту … Она позволяет людям соединять странные, экзотические, но все же очень осязаемые разумы, которые создаются … современной технологией искусственного интеллекта», — сказал он. «Игры действительно были эталоном [в исследованиях искусственного интеллекта]… Эти сложные стратегические игры — веха, над которой мы… все работали, потому что они начинают отражать аспекты реального мира.»

.

Смотрите также