Как дать боту предмет в дота 2 тараску

30.10.2020 minecraft-jobs.ru Разное 0

Главная » Разное » Как дать боту предмет в дота 2 тараску


Подробно о том, как дать тараску ботам в «Доте 2»

В игре «Дота 2» присутствует большое количество команд для лобби, следовательно, каждый игрок имеет возможность использовать читы и различные дополнения, которые позволяют выполнять определенные действия. Некоторые коды являются действительно полезными в бою с противником, да и просто при раскачке своего героя. К примеру, в игре ботам дать тараску вы можете моментально, но, естественно, сначала вам следует узнать, как это выполняется. Это позволит в дальнейшем не допустить ошибок и потерять время зря.

«Дота 2» (лобби): ботам дать тараску

Читов существует большое множество, и каждый из них отвечает за определенные действия или добавляет какие-либо преимущества по отношению к другим игрокам. Сегодня вы сможете узнать, как дать тараску ботам в «Доте 2». Самое интересное заключается в том, что каждый игрок имеет возможность самостоятельно создавать лобби.

Активация

Итак, перед тем, как начинать создавать свое лобби и решать вопрос, как дать тараску ботам в «Доте 2», вам следует в клиенте перейти в специальный раздел, который называется «Правила игры». Там вы сможете заметить много параметров, которые при желании можно активировать или отключить. После попадания в этот раздел ищем строку «Включить читы». Именно напротив этого параметра следует установить галочку.

Если вы давно играете в «Дота 2», тогда наверняка помните о том, что раньше читы можно было использовать через консоль, которая возникала в правой части. Теперь же разработчики немного упростили этот процесс. Вводить данные можно в общем чате. Давайте непосредственно перейдем к вопросу, как дать тараску ботам в «Доте 2».

Инструкция

Сразу вам следует узнать команду для такого взлома. При этом, если у вас еще не создано лобби, его потребуется сделать самостоятельно. Впрочем, с этим процессом у вас не должно возникнуть трудностей. Сейчас мы вам представим несколько читов, которые помогут решить поставленный вопрос.

Если вы еще не знаете, как дать тараску ботам в «Доте 2», то делать это можно с помощью специальной команды. При использовании в лобби эти данные не будут считаться взломом. Некоторые команды обязательно должен знать каждый игрок, так как иногда они будут для вас просто незаменимыми.

  • Стандартный код для передачи предметов созданным ботам выглядит следующим образом: -givebots <item_name>.

  • В случае с тараской это сочетание следует изменить соответствующим образом. Его финальный вид таков: -givebots item_heart.
  • Существует также команда –clearwards. Она убирает Observer wards с игровой карты.
  • Код -killwards уничтожает все варды.

Коды на

— Dota 2 Вики

Cheats можно использовать в практических играх для проверки различных настроек. Их можно включить в лобби в настройках. Этот параметр позволяет игрокам использовать различные команды чата и предоставляет общий контроль над героями-ботами.

Помимо этого, игрок также может включить читы через консоль с помощью команды sv_cheats 1 . Многие консольные команды требуют этой команды перед работой, даже если игрок включил читы в настройках лобби.

Эти читы одобрены Valve для тестирования, и их использование не повлечет за собой штрафных санкций.Однако использование сторонних модификаций в игре приведет к бану.

Чит-команды

При включении читов в настройках лобби игроки могут использовать эти команды чата. Все эти команды также имеют эквиваленты консольных команд, многие из которых можно использовать только после того, как хост включил


sv_cheats .

-lvlup # dota_dev hero_level # Повышает уровень героя пользователя на #.Уровни забирать нельзя.
-уровневые боты # dota_bot_give_level # Повышает уровень героев всех ботов на #. Уровни забирать нельзя.
-lvlmax или

-уровень макс.

dota_dev hero_maxlevel Повышает уровень героя пользователя и все его способности до максимума.
-золото # dota_dev player_givegold # Предоставляет пользователю # ненадежное золото.Использование отрицательных чисел забирает золото.
-элемент <имя> dota_create_item <имя> Дает основному герою пользователя названный предмет.
-givebots <имя> dota_bot_give_item <имя> Дает названный предмет всем основным героям ботов.
-обновить dota_dev hero_refresh Полностью восстанавливает здоровье и ману всех героев и иллюзий (собственных, союзных и врагов), а также обновляет их способности и время восстановления предметов.Также сбрасывает время восстановления
Glyph of Fortification and Scan. Не влияет на перезарядку Buyback.
- респаун dota_dev hero_respawn Заставляет героя пользователя возродиться. Также работает, пока герой жив, двигаясь

.

ботов — Dota 2 вики

Боты — это герои с компьютерным управлением в Dota 2. Их можно встретить в тренировочных матчах, лобби и совместных матчах ботов.

Трудности [править]

Боты бывают 5 разных уровней сложности (пассивный, легкий, нормальный, сложный, несправедливый) [1] .

  • Пассивный боты будут перемещаться по линии пассивно и не будут атаковать игроков, ботов или людей, за исключением случаев, когда они видят союзный игрок-человек / другой бот, атакующий их врагов. Они не будут пытаться добивать или отрицать, а иногда будут придерживаться башни.Пассивные боты никогда не будут использовать свои способности / предметы. Если союзный игрок-человек отключается, бот противоположной команды вернется к фонтану и прекратит игру, пока игрок не вернется.

  • Easy боты отличаются от пассивных ботов, так как они охотно атакуют других героев и используют способности / предметы (за исключением Phase Boots, Force Staff и

.

Создание бота DotA2 с использованием машинного обучения. Проблема | Мусаши Шредер

Разработка ресурсоэффективного алгоритма машинного обучения

Состав ботов

В декабре 2018 года создатели AI Sports провели презентацию и представили школе соревнование по искусственному интеллекту DotA2. DotA (Defense of the Ancients) — это игра, в которую играют две команды, каждая из которых состоит из пяти игроков, которые могут выбирать из более чем сотни разных героев. Цель игры — уничтожить базу противников, защищая при этом свою.Каждый герой имеет доступ как минимум к четырем уникальным способностям и может покупать предметы, которые также имеют разные способности. Предметы покупаются за золото, полученное за разрушение построек противника или за победу над игроками или крипами, юнитами NPC (неигровыми персонажами), которые появляются, чтобы помочь защищать и атаковать базы.

Сложность игры определяется не только составом персонажей, но и постоянно меняющимся состоянием карты. В играх с полной информацией, таких как шахматы или го, от игроков не утаивают никакой информации, что позволяет им видеть все возможные действия на доске в любой момент времени.Карта DotA включает в себя «туман войны», который скрывает любую часть карты, которую не видит игрок или его товарищи по команде. Способности каждого героя также имеют «кулдауны» — после того, как игрок использует способность, он не может использовать ее снова в течение определенного времени — и используют ману в качестве ресурса. Хотя игрок имеет доступ к этой информации о своих союзниках, он не имеет этой информации о противнике и должен принимать ее во внимание при участии в боях.

Правила соревнований заключались в том, чтобы запрограммировать полную команду из пяти ботов для игры в Captain’s Mode.Captain’s Mode устанавливает одного члена каждой команды в качестве капитана, давая им возможность выбирать героев для остальной команды, а также «запрещать» или выбирать героев, которых команда противника не может использовать. Чтобы избежать бана всех наших персонажей, нам нужно было запрограммировать как минимум шестнадцать из них. Наше ограничение, установленное Морисом, сотрудником 42 из Кремниевой долины, заключалось в том, что мы не могли использовать встроенные «желания», систему, обеспечивающую поведение по умолчанию для выполнения бота, предоставленную Valve. Вместо использования поведения ботов по умолчанию нам было поручено написать код снизу вверх.API для DotA2 написан на Lua и позволяет игрокам создавать собственных ботов. Первоначально соревнование было разработано для использования C ++ API, написанного

. Обзор поля битвы DotA с метками, изображение из https://dota2.gamepedia.com/Map

создателей AI Sports, но из-за «сложностей» наша команда вместо этого использовала Lua.

Изучение Lua и API

Чтобы создать бота, мы сначала прочитали API и искали другие примеры, созданные пользователями.API DotA был доступен в начале 2016 года, хотя не получал каких-либо значимых обновлений примерно с октября 2017 года. Первым ресурсом, который мы использовали, было руководство по началу работы, написанное RuoyuSon. RuoyuSon объяснил, где найти другие ресурсы и как запускать игры, а также рассказал о полезных консольных командах для процесса тестирования. Valve также предоставляет небольшие примеры сценариев ботов в каталоге игр, которые можно использовать для начала работы. С помощью API и других примеров мы наивно полагали, что сможем создать бота и получить грубую рабочую версию кода в течение недели.

Первым испытанием было выбрать героев, которых мы хотели использовать, и начать игру. В то время мы не знали, что если код для выбора героя содержит ошибку, вся игра вылетит, ничего не отображая. Пример, предоставленный Valve, можно использовать для быстрого создания кода выбора героя для режима All Pick, но его нельзя использовать для режима Captain’s Mode. Чтобы выбрать героев, мы читаем другие примеры кода. Хотя наша текущая версия бота позволяет игрокам-людям играть против него и вместе с ним, первоначальная версия предназначалась только для игры против другого бота в Captain’s Mode.Наконец, получение простой версии выбора героя заняло чуть больше недели, но с тех пор была изменена для поддержки режима All Pick и игроков-людей.

После запуска игры мы начали экспериментировать, заставляя героев ходить к локациям на карте. Мы быстро узнали, что незнание языка Lua затрудняло написание и понимание других примеров кода. Хотя мы могли заставить ботов ходить в определенные места или покупать предметы, мы часто допускали синтаксические ошибки, и поиск ошибок в коде занимал значительное время.После разочаровывающих двух недель нам потребовалось время, чтобы выучить язык, прежде чем снова приступить к работе с API.

Пока приближался турнир, мы все еще разбирались в Lua и боролись за понимание API. Наши герои переместились в правильные места, и они могли сражаться с вражескими миньонами и противниками, хотя и плохо, но они никогда не отступали, что приводило к смерти за смертью. Даже против самого простого бота по умолчанию, пассивного, мы не смогли победить. Мы реализовали грубую функцию отступления — просто приказывали ботам бежать на свою базу, если они получили слишком большой урон — это помогло, но оставляло желать лучшего.Нам удавалось постоянно побеждать пассивного бота, но обычно заканчивали игру с почти 100 смертельными случаями на нашей стороне, и нам посчастливилось увидеть две смерти на противниках.

Следующим шагом, теперь, когда была заложена основа для поведения ботов, было начать индивидуализировать каждого бота, чтобы они могли использовать свои способности. Каждый бот использует свои навыки в зависимости от условий, что позволяет им сражаться с противником. В этот момент стало проявляться отсутствие у нас опыта в DotA — хотя боты и могли использовать навыки, они не использовали их оптимально просто потому, что мы не знали, что является оптимальным.Мы часто спрашивали совета у более опытных людей и постепенно делали бота сильнее. Наконец, мы смогли победить пассивного бота с положительным счетом. Мы пытались преодолеть легкий уровень сложности, но безуспешно. Разница между ними была значительной, и нам нужно было реализовать больше моделей поведения, чтобы победить.

Конечный автомат

До этого момента весь код был написан как предопределенные действия для выполнения каждым ботом. Сложность DotA постепенно делала все труднее и труднее различать, какие действия предпринимать и когда.Сражаться в этом случае или убегать? Когда нам следует сосредоточиться на борьбе с крипами? Хотя нам удавалось последовательно преодолевать пассивный уровень сложности, мы понимали, что легкий будет серьезным препятствием. Мы начали обсуждать возможные варианты и остановились на Государственном автомате.

Пример конечного автомата

При изменении поведения бота стало невозможно четко разделить, когда он будет выполнять действия. Они были настолько тесно переплетены, что корректировка одного повлияла бы на производительность другого, и ни один из вариантов поведения не работал особенно хорошо.Мы также не смогли аккуратно включить больше вариантов поведения, не нарушая другие части кода. Создав конечный автомат, мы смогли разделить каждое поведение, используя средневзвешенные значения, чтобы решить, какое из них будет наиболее оптимальным в любом случае игры. Код каждого бота запускается каждый кадр, что позволяет проводить постоянные вычисления и присваивать каждому поведению значение в качестве веса. Предполагая, что мы хорошо запрограммировали бота, теперь он может сам решать, что ему делать, в зависимости от состояния игры.

На этом этапе мы смогли выделить каждое поведение в отдельный код, разбитый на компоненты и условия.Компоненты — это фрагменты информации, которые всегда необходимы для расчета поведения, тогда как условия могут добавлять или вычитать вес только при определенных обстоятельствах. Разделение кода позволило нам улучшить работу каждого поведения — раньше каждое поведение зависело от другого, но, используя конечный автомат, мы выполняли только те части кода, которые нам были нужны, и только тогда, когда это было необходимо.

В то время как некоторые из нас настраивали конечный автомат, мы также продолжали улучшать версию без конечного автомата до такой степени, что мы смогли преодолеть сложность Easy.Мы снова увидели 100 смертей на табло, но на нашей стороне будет больше убийств и мы будем выигрывать. Код из версии, не относящейся к конечному автомату, легко вставляется в нашего нового бота, что позволяет нам продолжать работу без каких-либо значительных задержек.

Одним из преимуществ конечного автомата была модульность системы. До этого общее поведение бота состояло из двух файлов, в которых были написаны необходимые комментарии, чтобы понять, какая часть кода просматривается — в новой версии были отдельные файлы для каждого веса, и поведения были разделены, чтобы они не взаимодействовали друг с другом.Модульность позволяла нескольким людям работать над разными частями проекта, не влияя на то, над чем может работать кто-то другой, улучшая ясность, простоту и рабочий процесс команды.

Мы также готовились к нашему первому матчу между ботами и ботами против другой команды, участвовавшей в соревновании, но Конечный автомат не был протестирован и не был готов к внедрению. Это дало нам последний шанс увидеть, насколько хороша предыдущая версия. Прежде чем мы начали нашу схватку, мы решили протестировать и убедиться, что код обеих команд работает правильно.Когда у обоих ботов была случайная смесь героев противника и их собственных, команды поняли, что мы допустили ошибку на этапе выбора. Обе команды смогли решить эту проблему, но это был еще один пример борьбы с API, которая будет сохраняться на протяжении всего процесса. В это время Морис также уведомил нас, что турнир будет отложен на месяц, что даст нам возможность продолжать улучшать наших ботов.

Во время тестирования патентованных ботов Valve нам часто приходилось перезапускать игры из-за проблем совместимости с их ботом и Captain’s Mode.Мы решили сделать собственный режим подбора для двух команд, чтобы ускорить процесс и сократить количество ненужных перезапусков. Мы выделили ботов соперника случайную команду из пяти человек и использовали эту команду на протяжении большей части нашего тестирования. В то время мы не знали, что это вернется, чтобы укусить нас позже.

Наша команда продолжила работу с State Machine, добавляя новые варианты поведения, которые мы не могли реализовать раньше. По мере того, как поведение увеличивалось, мы также стали замечать улучшения в наших матчах с ботом Valve.После победы над Easy, в течение 24 часов мы смогли обыграть Medium, а на следующий день победили Hard и Unfair подряд. Мы были в восторге, не ожидая победить Unfair намного позже, но когда мы решили присмотреться к ботам противника поближе, у нас отвисла челюсть. Два бота нашего оппонента не покупали предметы, а один не использовал никаких способностей. Хотя мы смогли победить, что само по себе было подвигом, это не была настоящая победа над ботом Unfair.

Мы не знали, что Valve реализовала использование определенных навыков и покупку предметов только для 46 ботов.Мы изменили состав соперника на пять таких ботов, и хотя мы могли хорошо бороться с Hard и выигрывать примерно в сорока процентах случаев, мы редко выигрывали у Unfair. Мы начали больше обсуждать, что мы можем сделать, чтобы увеличить наш винрейт, что привело к первому изменению нашего состава. Посмотрев на героев, которых мы реализовали, а на тот момент их было всего пять, мы решили заменить героев, которые, будем надеяться, лучше впишутся в наш общий план игры. Сразу же мы увидели рост, и, хотя мы и привязались к героям, которых выбрали использовать, мы начали рассматривать замену героев как вариант, продолжая программировать.

Сбор данных

Мы продолжали внедрять больше вариантов поведения в конечный автомат, добавляли больше функций и, как и мы, наблюдали медленное, но неуклонное повышение производительности в наших матчах. Чтобы увидеть, насколько хорошо мы справились с добавлением чего-то нового, нам нужно было посмотреть полную игру, чтобы увидеть конкретное поведение и узнать, выиграли ли мы матч. Все веса бота были настроены вручную, и любые изменения, которые мы внесли, могли быть невидимы в рамках одной игры. Даже в ускоренном режиме игра длилась от десяти до пятнадцати минут.Чтобы собрать какие-либо значимые данные, мы могли бы часами просто наблюдать. Чтобы ускорить этот процесс и убедиться, что любое добавленное нами изменение было значимым, с помощью Python, языка программирования Go и Docker мы начали создавать способ сбора данных по сотням игр.

Морис дал нам доступ к пятнадцати компьютерам, на которых мы могли запускать игры и собирать данные. На этом этапе мы исследовали «безголовый» режим для DotA; мы могли запускать игры без графики, что ускоряло сами игры и позволяло запускать несколько экземпляров игры без использования графического процессора.Используя Docker, мы настроили соединение клиента с сервером, что позволило нам использовать виртуальные машины на четырнадцати из этих компьютеров. Мы подсчитали, что можем оптимально запустить до четырех игр на одном компьютере, поэтому четыре виртуальные машины запускались с шестикратной скоростью. В целом мы смогли запустить игры примерно в 300 раз быстрее, чем изначально.

Каждая игра может длиться от пятнадцати до восьмидесяти минут. Docker Swarm равномерно распространил общее количество запрошенных игр на все наши рабочие компьютеры.Если бы мы запускали менее 56 игр, это решение было бы хорошо, но что-то большее было бы неоптимальным. Первоначально мы пытались выполнить развертывание с помощью Docker Swarm, но для нас было разумнее создать собственное решение. Он должен быть настраиваемым, хорошо работать в распределенной сети и иметь поддержку простого параллелизма. Мы решили использовать Go, потому что он соответствовал нашим критериям и был прост в сборке и развертывании. Наконец, Python был использован для построения графиков и иллюстрации наших результатов данных в виде гистограмм и линейных графиков.

Данные, показывающие выигрыши и проигрыши во времени

Используя эту настройку, мы смогли запустить 500 игр за час, что дало нам значимые данные. Хотя нам по-прежнему необходимо было наблюдать за играми, чтобы наблюдать и подтверждать, что поведение работает должным образом, теперь мы могли тестировать их и собирать данные, чтобы подтвердить, было ли изменение полезным или вредным для бота.

В последние недели мы поиграли с идеей включения генетического алгоритма. Все веса конечного автомата были настроены вручную и основаны на наших наблюдениях.В частности, наши веса «Ферма», «Охота» и «Отступление» были настолько тесно связаны друг с другом, что, изменив значение одного, мы увидели бы резкие различия в их способах игры, и их процент побед в целом уменьшился бы. Мы знали, что они в хорошем состоянии, но были уверены, что они не оптимальны, особенно учитывая, что разные персонажи играли по-разному, и использование одинаковых весов заставляло их всех играть более или менее одинаково. Использование генетического алгоритма будет использовать машинное обучение для настройки каждого веса, давая нам самые идеальные числа, чтобы победить ботов по умолчанию и, надеюсь, наших оппонентов в турнире.Амбициозной целью было создать разные гены для каждого персонажа, тем самым дать каждому из них свой уникальный стиль игры, но мы знали, что без дополнительного времени и вычислительных мощностей нам придется обходиться вручную настроенными весами.

За неделю до соревнований мы отошли от добавления основных функций, включив лишь небольшие изменения, которые, как убедительно доказали наши данные, увеличивают процент побед. В конце концов, с помощью State Machine мы смогли добиться стабильного выигрыша выше 98% против ботов Valve.Готовый к участию в конкурсе, Морис написал нам, что в очередной раз конкурс был продлен еще на месяц.

Генетический алгоритм

С продлением турнира на месяц, мы начали обсуждать, как мы можем создать генетический алгоритм. В конце концов, мы решили снова использовать Go, потому что наши программы для сбора данных уже были написаны на нем, что упростило объединение программ.

Блок-схема генетического алгоритма, от arwn

Чтобы заставить генетический алгоритм работать, нам нужно было запустить несколько итераций нашего бота.На основе этих итераций мы брали гены пяти лучших героев и «скрещивали» их, перемешивая, усредняя и соединяя вместе. Следующее поколение будет состоять из слегка модифицированных версий (с использованием 10% вероятности мутации, чтобы выбрать, какие гены изменить, и 10% вероятности мутации, чтобы изменить каждый ген на соответствующую величину), по которым мы затем будем собирать данные, повторяя процесс. до начала конкурса. Наш план состоял в том, чтобы заменить текущие гены, настроенные вручную, на наши новые гены с машинным обучением.

Нашим первым шагом было убедиться, что мы можем запустить генетический алгоритм с помощью Go и Docker и одновременно изменить сценарий Lua. Ген каждого бота представлял собой Lua-файл, содержащий значения, которые мы хотели изменить с помощью генетического алгоритма. Мы использовали Go для чтения файла гена, мутации значений и вывода нового гена с использованием шаблона гена. Затем новые гены использовались для последующих итераций.

Успешно создав способ чтения и записи в наши новые генные файлы, вместо того, чтобы создавать один общий генетический алгоритм, как мы изначально планировали, мы создали гены для каждого героя, которого использовали.Чтобы это работало, каждый файл должен был включать имя героя, которому мы писали. К сожалению, мы могли тренировать только пять героев за раз, поэтому мы решили тренировать наш стартовый состав и использовать наши настроенные вручную гены для остальных героев, которые мы реализовали.

Завершение генетического алгоритма заняло больше времени, чем планировалось. Мы надеялись запустить и потренироваться в течение недели, но нам понадобилось еще несколько дней, чтобы исправить ошибки. Каждый из нас создал отдельные части генетического алгоритма, и на сборку каждой из них ушло некоторое время.

Наконец, генетический алгоритм заработал, но когда мы начали запускать первые поколения, мы столкнулись с множеством проблем. На этом этапе у нас продолжались некоторые проблемы с нашими контейнерами Docker, которые не запускали игры, но мы решили пока игнорировать их, потому что, хотя он и медленнее собирал данные, это не было значительной разницей во времени. Если один компьютер выйдет из строя и отключится от сети, сервер зависнет, ожидая поступления данных от сбитой машины. Когда мы решили использовать генетический алгоритм, нам нужно было, чтобы он работал без остановки и продолжал работать с каждым поколением.Если работник не отвечает, сервер никогда не сможет перейти к следующему поколению, потому что он ждал, пока появятся оставшиеся игры. Для нас не имело смысла следить за компьютерами по очереди весь день, поэтому мы добавили способ тайм-аут, если мы не получили ответ от контейнера по прошествии определенного периода времени.

В конце концов, примерно через четыре дня после запуска и остановки генетического алгоритма, он наконец заработал. Запустив генетический алгоритм и убедившись, что он работает, мы решили изменить состав нашей команды в пользу того, который, по нашему мнению, может повысить наш процент побед.Когда мы начали запускать генетический алгоритм и настроили гены, которыми мы хотели манипулировать, как команда, мы просмотрели их и скорректировали их до чисел, которые, по нашему мнению, имели смысл для запуска генетического алгоритма. В то время мы решили манипулировать примерно 25 компонентами и условиями, «генами» из наших весов Farm, Hunt и Retreat. Это изменение в сочетании с новым выбором героев, который мы использовали для команды противника, снизило наш процент побед с 98% до 80%. В то время как генетический алгоритм медленно повышал процент побед, мы поговорили как команда и решили, что, если мы сможем повысить его, переключая или добавляя героев на ранней стадии, его стоит протестировать.После переключения начальные 80% приблизились к 90%.

Пока мы наблюдали за ботом, мы знали, что время истекает и он недостаточно быстро растет. Хотя это было рискованное решение, которое могло привести к потенциально резкому снижению процента побед, мы решили скорректировать скорость изменения с 10% вероятности мутации и 10% частоты мутации до 15% и 25% соответственно. Мы подсчитали, что в самой идеальной ситуации для того, чтобы избавиться от бесполезного гена, потребуется не менее тридцати поколений или не менее одной недели.Мы хотели уменьшить это число и полагали, что если мы увеличим его вдвое, то увидим более высокие темпы изменений, к лучшему или к худшему. После нескольких дней наблюдения за результатами наш риск окупился, и бот увидел более быстрое и последовательное увеличение числа побед.

Рост приспособленности с течением времени

Когда мы были уверены в результате, мы начали добавлять больше генов, которыми можно было бы управлять из других весов конечного автомата. Еще одна проблема, с которой мы столкнулись на протяжении всего проекта, которую не смогли решить, заключалась в том, как играть на ранних этапах игры и как играть ближе к концу.В DotA стили игры между ними кардинально отличаются. Поведение, которое важно на раннем этапе, менее важно, поскольку игра длится дольше, и наоборот. До этого момента наша стратегия заключалась в том, чтобы обменять немного более слабое начало игры на более сильное завершение. Мы несколько раз пытались настроить веса, но даже если бы они играли лучше в начале, измененные веса не смогли бы в конце концов снизить общий выигрыш. Теперь, когда у нас есть рабочий генетический алгоритм, мы добавили различные множители к здоровью, чтобы он мог его регулировать, но также решили добавить множители в зависимости от того, насколько силен герой.Герои переходят с 1 по 25 уровень и становятся сильнее по мере повышения уровня. Вручную нам никогда не удавалось эффективно манипулировать весами, чтобы можно было вносить корректировки в начале и в конце игры. С генетическим алгоритмом мы теперь могли предоставить компьютеру решать, когда играть по-другому.

После очередной смены героя мы остановились на нашем окончательном составе и продолжили работу генетического алгоритма. За несколько дней до начала турнира мы увидели, что бот наконец достиг 99% винрейта для одного поколения, но это снизило следующее поколение до 96%.В то время как наши быстрые манипуляции с генами создали мощного бота, как только он станет все ближе и ближе к теоретическому пику, частота мутаций в 25% сразу изменится на очень большую и снизится процент выигрыша. Мы решили, что для сохранения нашего винрейта нам необходимо замедлить мутацию. Вероятность мутации снизилась до 7%, а частота мутации — до 15%.

Когда мы еще раз изменили наш генетический алгоритм, мы решили пойти на еще один риск. До этого момента мы брали пять лучших генов от каждого героя в качестве родителей, разводили их и использовали потомство для следующего поколения.Хотя это сработало для нас, классически мы не должны были использовать генетический алгоритм. В генетическом алгоритме все гены должны иметь шанс быть выбранными, но мы активно выбирали, какие из них использовать. Важность использования ботов с более низким показателем выигрыша — разнообразие. Хотя в поколении он, возможно, не работал так же хорошо, в будущем поколении его гены могут сыграть важную роль в увеличении процента выигрышей. Чтобы убедиться, что у этих генов с более низким процентом выигрышей есть шанс быть выбранными, мы сопоставили все гены, что позволило повысить вероятность быть выбранным с более высоким процентом выигрыша, при этом давая шанс более низким показателям выигрыша, хотя и меньший.

Мы также обсуждали изменение стратегии. Было необходимо взять гены от каждого отдельного бота, но мы считали важным взять все гены от одной «команды» ботов. На первый взгляд, бот может показаться, что у него меньший потенциал, но как часть команды его гены могли быть важным ключом к победе. Мы думали о преимуществах перехода от отдельных ботов к только племенным командам, но не могли оправдать потерю более мощных генов героев. Когда мы пришли к выводу, что должны продолжать использовать ту же стратегию выбора отдельных ботов, нам в голову пришла мысль.Что, если мы сделаем и то, и другое? Взятие отдельных генов было, несомненно, важно, но, скрещивая ботов из одной команды с более сильными отдельными ботами, мы полагали, что сможем раскрыть потенциал обоих миров.

Генетический алгоритм, кажется, улучшил бота, хотя его стиль игры значительно отличается от исходной негенетической версии. В то время как раньше мы были намного агрессивнее, теперь мы играем более консервативно и стремимся к победе в основном за счет разрушения построек и победы в отдельных командных боях.Старший бот будет чаще объединяться в команду, заставляя ботов противника реагировать и приводя к большему количеству драк. Если мы продолжим работу над проектом, я считаю, что следующим шагом будет борьба бота с самим собой и с более старой негенетической версией бота.

Благодаря этому проекту я смог выучить несколько языков программирования, а также познакомиться с Docker и узнать о важности документации при работе в команде. Причина, по которой я решил работать над этим проектом, заключалась не столько в интересе к DotA2, сколько в попытке понять машинное обучение.Я слышал этот термин несколько раз, читал о нем, но не имел реального понимания того, что он влечет за собой и как его на самом деле программировать. Участие в этом проекте дало мне уникальную возможность поработать с машинным обучением и улучшило мое понимание программирования в целом.

.

Смотрите также