Как боту повысить уровень в дота 2


Как добавить бота, повысить ему уровень и дать предмет в Dota 2

Боты — это примитивный искусственный интеллект, который есть практически в каждой современной игре, Dota 2 не стала исключением. Ботов используют для того, чтобы заменить людей, например, что-то протестировать, что-то узнать или, в конце концов, поиграть с ними. Поэтому в данном гайде, мы расскажем о том, как добавить бота, как повысить ему уровень и как выдать предмет.

Чтобы добавить бота в Dota 2, необходимо в чате (не важно, для всех или для союзников) прописать следующее: -createhero имя героя.

Чтобы добавить вражеского бота, нужно добавить слово enemy, а именно -createhero имя героя enemy .

Как повысить уровень боту в Dota 2

Для повышения уровня бота, в чате набираем -levelbots *, вместо звездочки цифру уровня. Учтите, что уровень будет повышаться у всех ботов, находящихся на карте.

Как дать предмет боту в Dota 2

Используем команду в чате -givebots предмет, а список предметов можно посмотреть на официальном сайте Valve.

Если предмет нужно выдать себе, то прописываем -item предмет, а список названий предметов по ссылке выше.

Советуем вам посмотреть видео, о ботах от OpenAI, которые гораздо сильнее, чем обычные боты встроенные в игру. Также рекомендуем посетить рубрики Гайды и Герои, либо пройти Тест на знание Dota 2.

ботов - Dota 2 вики

Боты - это герои с компьютерным управлением в Dota 2. Их можно встретить в тренировочных матчах, лобби и совместных матчах ботов.

Трудности [править]

Боты бывают 5 разных уровней сложности (пассивный, легкий, нормальный, сложный, несправедливый) [1] .

  • Пассивный боты будут перемещаться по линии пассивно и не будут атаковать игроков, ботов или людей, за исключением случаев, когда они видят союзный игрок-человек / другой бот, атакующий их врагов. Они не будут пытаться добивать или отрицать, а иногда будут придерживаться башни.Пассивные боты никогда не будут использовать свои способности / предметы. Если союзный игрок-человек отключается, бот противоположной команды вернется к фонтану и прекратит игру, пока игрок не вернется.
  • Easy боты отличаются от пассивных ботов тем, что они охотно атакуют других героев и используют способности / предметы (за исключением
.

: ¡Уровень бота! [15: 1]

Принятые ключи от кейса CSGO:
Ключ от кейса Chroma 2
Ключ от кейса Huntsman
Ключ от кейса Chroma
Ключ от кейса Winter Offensive
Ключ от кейса для револьвера
Ключ для киберспорта
Ключ от кейса от Operation Vanguard
Ключ от Shadow Case
Ключ от кейса от Operation Wildfire
Ключ от кейса Falchion
Ключ от кейса Operation Breakout
Ключ к кейсу Chroma 3
Ключ к кейсу CS: GO
Ключ к кейсу Operation Phoenix
Ключ к кейсу Gamma
Ключ к кейсу Gamma 2
Ключ к перчаточному кейсу
Ключ к кейсу Spectrum
Ключ к кейсу Spectrum 2
Ключ к кейсу
Horizon Ключ
Ключ от кейса опасной зоны
Ключ от кейса Prisma
Ключ от кейса CS20

Уровень: - 1000 XP
Уровень: - 3000 XP
Уровень: - 6000 XP
Уровень: - 10000 XP
Уровень: - 15000 XP
Уровень: - 21000 XP
Уровень: - 28000 XP
Уровень: - 36000 XP
Уровень: - 45000 XP
Уровень: - 55000 XP

,

Создание бота DotA2 с использованием машинного обучения. Проблема | Мусаши Шредер

Разработка ресурсоэффективного алгоритма машинного обучения

Состав ботов

В декабре 2018 года создатели AI Sports провели презентацию и представили школе соревнование по искусственному интеллекту DotA2. DotA (Defense of the Ancients) - это игра, в которую играют две команды, каждая из которых состоит из пяти игроков, которые могут выбирать из более чем сотни разных героев. Цель игры - уничтожить базу противников, защищая при этом свою.Каждый герой имеет доступ как минимум к четырем уникальным способностям и может покупать предметы, которые также имеют разные способности. Предметы покупаются за золото, полученное за разрушение построек противника или за победу над игроками или крипами, юнитами NPC (неигровыми персонажами), которые появляются, чтобы помочь защищать и атаковать базы.

Сложность игры определяется не только составом персонажей, но и постоянно меняющимся состоянием карты. В играх с полной информацией, таких как шахматы или го, от игроков не утаивают никакой информации, что позволяет им видеть все возможные действия на доске в любой момент времени.Карта DotA включает в себя «туман войны», который скрывает любую часть карты, которую не видит игрок или его товарищи по команде. Способности каждого героя также имеют «кулдауны» - после того, как игрок использует способность, он не может использовать ее снова в течение определенного времени - и используют ману в качестве ресурса. Хотя игрок имеет доступ к этой информации о своих союзниках, он не имеет этой информации о противнике и должен принимать ее во внимание при участии в боях.

Правила соревнований заключались в том, чтобы запрограммировать полную команду из пяти ботов для игры в Captain’s Mode.Captain’s Mode устанавливает одного члена каждой команды в качестве капитана, давая им возможность выбирать героев для остальной команды, а также «запрещать» или выбирать героев, которых команда противника не может использовать. Чтобы избежать бана всех наших персонажей, нам нужно было запрограммировать как минимум шестнадцать из них. Наше ограничение, установленное Морисом, сотрудником 42 из Кремниевой долины, заключалось в том, что мы не могли использовать встроенные «желания», систему, обеспечивающую поведение по умолчанию для выполнения бота, предоставленную Valve. Вместо использования поведения ботов по умолчанию нам было поручено написать код снизу вверх.API для DotA2 написан на Lua и позволяет игрокам создавать собственных ботов. Первоначально соревнование было разработано для использования C ++ API, написанного

. Обзор поля битвы DotA с метками, изображение из https://dota2.gamepedia.com/Map

создателей AI Sports, но из-за «сложностей» наша команда вместо этого использовала Lua.

Изучение Lua и API

Чтобы создать бота, мы сначала прочитали API и искали другие примеры, созданные пользователями.API DotA был доступен в начале 2016 года, хотя не получал каких-либо значимых обновлений примерно с октября 2017 года. Первым ресурсом, который мы использовали, было руководство по началу работы, написанное RuoyuSon. RuoyuSon объяснил, где найти другие ресурсы и как запускать игры, а также рассказал о полезных консольных командах для процесса тестирования. Valve также предоставляет небольшие примеры сценариев ботов в каталоге игр, которые можно использовать для начала работы. С помощью API и других примеров мы наивно полагали, что сможем создать бота и получить грубую рабочую версию кода в течение недели.

Первым испытанием было выбрать героев, которых мы хотели использовать, и начать игру. В то время мы не знали, что если код для выбора героя содержит ошибку, вся игра вылетит, ничего не отображая. Пример, предоставленный Valve, можно использовать для быстрого создания кода выбора героя для режима All Pick, но его нельзя использовать для режима Captain’s Mode. Чтобы выбрать героев, мы читаем другие примеры кода. Хотя наша текущая версия бота позволяет игрокам-людям играть против него и вместе с ним, первоначальная версия предназначалась только для игры против другого бота в Captain’s Mode.Наконец, получение простой версии выбора героя заняло чуть больше недели, но с тех пор была изменена для поддержки режима All Pick и игроков-людей.

После запуска игры мы начали экспериментировать, заставляя героев ходить к локациям на карте. Мы быстро узнали, что незнание языка Lua затрудняло написание и понимание других примеров кода. Хотя мы могли заставить ботов ходить в определенные места или покупать предметы, мы часто допускали синтаксические ошибки, и поиск ошибок в коде занимал значительное время.После разочаровывающих двух недель нам потребовалось время, чтобы выучить язык, прежде чем снова приступить к работе с API.

Пока приближался турнир, мы все еще разбирались в Lua и боролись за понимание API. Наши герои переместились в правильные места, и они могли сражаться с вражескими миньонами и противниками, хотя и плохо, но они никогда не отступали, что приводило к смерти за смертью. Даже против самого простого бота по умолчанию, пассивного, мы не смогли победить. Мы реализовали грубую функцию отступления - просто приказывали ботам бежать на свою базу, если они получили слишком большой урон - это помогло, но оставляло желать лучшего.Нам удавалось постоянно побеждать пассивного бота, но обычно заканчивали игру с почти 100 смертельными случаями на нашей стороне, и нам посчастливилось увидеть две смерти на противниках.

Следующим шагом, теперь, когда была заложена основа для поведения ботов, было начать индивидуализировать каждого бота, чтобы они могли использовать свои способности. Каждый бот использует свои навыки в зависимости от условий, что позволяет им сражаться с противником. В этот момент стало проявляться отсутствие у нас опыта в DotA - хотя боты и могли использовать навыки, они не использовали их оптимально просто потому, что мы не знали, что является оптимальным.Мы часто спрашивали совета у более опытных людей и постепенно делали бота сильнее. Наконец, мы смогли победить пассивного бота с положительным счетом. Мы пытались преодолеть легкий уровень сложности, но безуспешно. Разница между ними была значительной, и нам нужно было реализовать больше моделей поведения, чтобы победить.

Конечный автомат

До этого момента весь код был написан как предопределенные действия для выполнения каждым ботом. Сложность DotA постепенно делала все труднее и труднее различать, какие действия предпринимать и когда.Сражаться в этом случае или убегать? Когда нам следует сосредоточиться на борьбе с крипами? Хотя нам удавалось последовательно преодолевать пассивный уровень сложности, мы понимали, что легкий будет серьезным препятствием. Мы начали обсуждать возможные варианты и остановились на Государственном автомате.

Пример конечного автомата

При изменении поведения бота стало невозможно четко разделить, когда он будет выполнять действия. Они были настолько тесно переплетены, что корректировка одного повлияла бы на производительность другого, и ни один из вариантов поведения не работал особенно хорошо.Мы также не смогли аккуратно включить больше вариантов поведения, не нарушая другие части кода. Создав конечный автомат, мы смогли разделить каждое поведение, используя средневзвешенные значения, чтобы решить, какое из них будет наиболее оптимальным в любом случае игры. Код каждого бота запускается каждый кадр, что позволяет проводить постоянные вычисления и присваивать каждому поведению значение в качестве веса. Предполагая, что мы хорошо запрограммировали бота, теперь он может сам решать, что ему делать, в зависимости от состояния игры.

На этом этапе мы смогли выделить каждое поведение в отдельный код, разбитый на компоненты и условия.Компоненты - это фрагменты информации, которые всегда необходимы для расчета поведения, тогда как условия могут добавлять или вычитать вес только при определенных обстоятельствах. Разделение кода позволило нам улучшить работу каждого поведения - раньше каждое поведение зависело от другого, но, используя конечный автомат, мы выполняли только те части кода, которые нам были нужны, и только тогда, когда это было необходимо.

В то время как некоторые из нас настраивали конечный автомат, мы также продолжали улучшать версию без конечного автомата до такой степени, что мы смогли преодолеть сложность Easy.Мы снова увидели 100 смертей на табло, но на нашей стороне будет больше убийств и мы будем выигрывать. Код из версии, не относящейся к конечному автомату, легко вставляется в нашего нового бота, что позволяет нам продолжать работу без каких-либо значительных задержек.

Одним из преимуществ конечного автомата была модульность системы. До этого общее поведение бота состояло из двух файлов, в которых были написаны необходимые комментарии, чтобы понять, какая часть кода просматривается - в новой версии были отдельные файлы для каждого веса, и поведения были разделены, чтобы они не взаимодействовали друг с другом.Модульность позволяла нескольким людям работать над разными частями проекта, не влияя на то, над чем может работать кто-то другой, улучшая ясность, простоту и рабочий процесс команды.

Мы также готовились к нашему первому матчу между ботами и ботами против другой команды, участвовавшей в соревновании, но Конечный автомат не был протестирован и не был готов к внедрению. Это дало нам последний шанс увидеть, насколько хороша предыдущая версия. Прежде чем мы начали нашу схватку, мы решили протестировать и убедиться, что код обеих команд работает правильно.Когда у обоих ботов была случайная смесь героев противника и их собственных, команды поняли, что мы допустили ошибку на этапе выбора. Обе команды смогли решить эту проблему, но это был еще один пример борьбы с API, которая будет сохраняться на протяжении всего процесса. В это время Морис также уведомил нас, что турнир будет отложен на месяц, что даст нам возможность продолжать улучшать наших ботов.

Во время тестирования патентованных ботов Valve нам часто приходилось перезапускать игры из-за проблем совместимости с их ботом и Captain’s Mode.Мы решили сделать собственный режим подбора для двух команд, чтобы ускорить процесс и сократить количество ненужных перезапусков. Мы выделили ботов соперника случайную команду из пяти человек и использовали эту команду на протяжении большей части нашего тестирования. В то время мы не знали, что это вернется, чтобы укусить нас позже.

Наша команда продолжила работу с State Machine, добавляя новые варианты поведения, которые мы не могли реализовать раньше. По мере того, как поведение увеличивалось, мы также стали замечать улучшения в наших матчах с ботом Valve.После победы над Easy, в течение 24 часов мы смогли обыграть Medium, а на следующий день победили Hard и Unfair подряд. Мы были в восторге, не ожидая победить Unfair намного позже, но когда мы решили присмотреться к ботам противника поближе, у нас отвисла челюсть. Два бота нашего оппонента не покупали предметы, а один не использовал никаких способностей. Хотя мы смогли победить, что само по себе было подвигом, это не была настоящая победа над ботом Unfair.

Мы не знали, что Valve реализовала использование определенных навыков и покупку предметов только для 46 ботов.Мы изменили состав соперника на пять таких ботов, и хотя мы могли хорошо бороться с Hard и выигрывать примерно в сорока процентах случаев, мы редко выигрывали у Unfair. Мы начали больше обсуждать, что мы можем сделать, чтобы увеличить наш винрейт, что привело к первому изменению нашего состава. Посмотрев на героев, которых мы реализовали, а на тот момент их было всего пять, мы решили заменить героев, которые, будем надеяться, лучше впишутся в наш общий план игры. Сразу же мы увидели рост, и, хотя мы и привязались к героям, которых выбрали использовать, мы начали рассматривать замену героев как вариант, продолжая программировать.

Сбор данных

Мы продолжали внедрять больше вариантов поведения в конечный автомат, добавляли больше функций и, как и мы, наблюдали медленное, но неуклонное повышение производительности в наших матчах. Чтобы увидеть, насколько хорошо мы справились с добавлением чего-то нового, нам нужно было посмотреть полную игру, чтобы увидеть конкретное поведение и узнать, выиграли ли мы матч. Все веса бота были настроены вручную, и любые изменения, которые мы внесли, могли быть невидимы в рамках одной игры. Даже в ускоренном режиме игра длилась от десяти до пятнадцати минут.Чтобы собрать какие-либо значимые данные, мы могли бы часами просто наблюдать. Чтобы ускорить этот процесс и убедиться, что любое добавленное нами изменение было значимым, с помощью Python, языка программирования Go и Docker мы начали создавать способ сбора данных по сотням игр.

Морис дал нам доступ к пятнадцати компьютерам, на которых мы могли запускать игры и собирать данные. На этом этапе мы исследовали «безголовый» режим для DotA; мы могли запускать игры без графики, что ускоряло сами игры и позволяло запускать несколько экземпляров игры без использования графического процессора.Используя Docker, мы настроили соединение клиента с сервером, что позволило нам использовать виртуальные машины на четырнадцати из этих компьютеров. Мы подсчитали, что можем оптимально запустить до четырех игр на одном компьютере, поэтому четыре виртуальные машины запускались с шестикратной скоростью. В целом мы смогли запустить игры примерно в 300 раз быстрее, чем изначально.

Каждая игра может длиться от пятнадцати до восьмидесяти минут. Docker Swarm равномерно распространил общее количество запрошенных игр на все наши рабочие компьютеры.Если бы мы запускали менее 56 игр, это решение было бы хорошо, но что-то большее было бы неоптимальным. Первоначально мы пытались выполнить развертывание с помощью Docker Swarm, но для нас было разумнее создать собственное решение. Он должен быть настраиваемым, хорошо работать в распределенной сети и иметь поддержку простого параллелизма. Мы решили использовать Go, потому что он соответствовал нашим критериям и был прост в сборке и развертывании. Наконец, Python был использован для построения графиков и иллюстрации наших результатов данных в виде гистограмм и линейных графиков.

Данные, показывающие выигрыши и проигрыши во времени

Используя эту настройку, мы смогли запустить 500 игр за час, что дало нам значимые данные. Хотя нам по-прежнему необходимо было наблюдать за играми, чтобы наблюдать и подтверждать, что поведение работает должным образом, теперь мы могли тестировать их и собирать данные, чтобы подтвердить, было ли изменение полезным или вредным для бота.

В последние недели мы поиграли с идеей включения генетического алгоритма. Все веса конечного автомата были настроены вручную и основаны на наших наблюдениях.В частности, наши веса «Ферма», «Охота» и «Отступление» были настолько тесно связаны друг с другом, что, изменив значение одного, мы увидели бы резкие различия в их способах игры, и их процент побед в целом уменьшился бы. Мы знали, что они в хорошем состоянии, но были уверены, что они не оптимальны, особенно учитывая, что разные персонажи играли по-разному, и использование одинаковых весов заставляло их всех играть более или менее одинаково. Использование генетического алгоритма будет использовать машинное обучение для настройки каждого веса, давая нам самые идеальные числа, чтобы победить ботов по умолчанию и, надеюсь, наших оппонентов в турнире.Амбициозной целью было создать разные гены для каждого персонажа, тем самым дать каждому из них свой уникальный стиль игры, но мы знали, что без дополнительного времени и вычислительных мощностей нам придется обходиться вручную настроенными весами.

За неделю до соревнований мы отошли от добавления основных функций, включив лишь небольшие изменения, которые, как убедительно доказали наши данные, увеличивают процент побед. В конце концов, с помощью State Machine мы смогли добиться стабильного выигрыша выше 98% против ботов Valve.Готовый к участию в конкурсе, Морис написал нам, что в очередной раз конкурс был продлен еще на месяц.

Генетический алгоритм

С продлением турнира на месяц, мы начали обсуждать, как мы можем создать генетический алгоритм. В конце концов, мы решили снова использовать Go, потому что наши программы для сбора данных уже были написаны на нем, что упростило объединение программ.

Блок-схема генетического алгоритма, от arwn

Чтобы заставить генетический алгоритм работать, нам нужно было запустить несколько итераций нашего бота.На основе этих итераций мы брали гены пяти лучших героев и «скрещивали» их, перемешивая, усредняя и соединяя вместе. Следующее поколение будет состоять из слегка модифицированных версий (с использованием 10% вероятности мутации, чтобы выбрать, какие гены изменить, и 10% вероятности мутации, чтобы изменить каждый ген на соответствующую величину), по которым мы затем будем собирать данные, повторяя процесс. до начала конкурса. Наш план состоял в том, чтобы заменить текущие гены, настроенные вручную, на наши новые гены с машинным обучением.

Нашим первым шагом было убедиться, что мы можем запустить генетический алгоритм с помощью Go и Docker и одновременно изменить сценарий Lua. Ген каждого бота представлял собой Lua-файл, содержащий значения, которые мы хотели изменить с помощью генетического алгоритма. Мы использовали Go для чтения файла гена, мутации значений и вывода нового гена с использованием шаблона гена. Затем новые гены использовались для последующих итераций.

Успешно создав способ чтения и записи в наши новые генные файлы, вместо того, чтобы создавать один общий генетический алгоритм, как мы изначально планировали, мы создали гены для каждого героя, которого использовали.Чтобы это работало, каждый файл должен был включать имя героя, которому мы писали. К сожалению, мы могли тренировать только пять героев за раз, поэтому мы решили тренировать наш стартовый состав и использовать наши настроенные вручную гены для остальных героев, которые мы реализовали.

Завершение генетического алгоритма заняло больше времени, чем планировалось. Мы надеялись запустить и потренироваться в течение недели, но нам понадобилось еще несколько дней, чтобы исправить ошибки. Каждый из нас создал отдельные части генетического алгоритма, и на сборку каждой из них ушло некоторое время.

Наконец, генетический алгоритм заработал, но когда мы начали запускать первые поколения, мы столкнулись с множеством проблем. На этом этапе у нас продолжались некоторые проблемы с нашими контейнерами Docker, которые не запускали игры, но мы решили пока игнорировать их, потому что, хотя он и медленнее собирал данные, это не было значительной разницей во времени. Если один компьютер выйдет из строя и отключится от сети, сервер зависнет, ожидая поступления данных от сбитой машины. Когда мы решили использовать генетический алгоритм, нам нужно было, чтобы он работал без остановки и продолжал работать с каждым поколением.Если работник не отвечает, сервер никогда не сможет перейти к следующему поколению, потому что он ждал, пока появятся оставшиеся игры. Для нас не имело смысла следить за компьютерами по очереди весь день, поэтому мы добавили способ тайм-аут, если мы не получили ответ от контейнера по прошествии определенного периода времени.

В конце концов, примерно через четыре дня после запуска и остановки генетического алгоритма, он наконец заработал. Запустив генетический алгоритм и убедившись, что он работает, мы решили изменить состав нашей команды в пользу того, который, по нашему мнению, может повысить наш процент побед.Когда мы начали запускать генетический алгоритм и настроили гены, которыми мы хотели манипулировать, как команда, мы просмотрели их и скорректировали их до чисел, которые, по нашему мнению, имели смысл для запуска генетического алгоритма. В то время мы решили манипулировать примерно 25 компонентами и условиями, «генами» из наших весов Farm, Hunt и Retreat. Это изменение в сочетании с новым выбором героев, который мы использовали для команды противника, снизило наш процент побед с 98% до 80%. В то время как генетический алгоритм медленно повышал процент побед, мы поговорили как команда и решили, что, если мы сможем повысить его, переключая или добавляя героев на ранней стадии, его стоит протестировать.После переключения начальные 80% приблизились к 90%.

Пока мы наблюдали за ботом, мы знали, что время истекает и он недостаточно быстро растет. Хотя это было рискованное решение, которое могло привести к потенциально резкому снижению процента побед, мы решили скорректировать скорость изменения с 10% вероятности мутации и 10% частоты мутации до 15% и 25% соответственно. Мы подсчитали, что в самой идеальной ситуации для того, чтобы избавиться от бесполезного гена, потребуется не менее тридцати поколений или не менее одной недели.Мы хотели уменьшить это число и полагали, что если мы увеличим его вдвое, то увидим более высокие темпы изменений, к лучшему или к худшему. После нескольких дней наблюдения за результатами наш риск окупился, и бот увидел более быстрое и последовательное увеличение числа побед.

.

Смотрите также