Как апнуть лвл ботам в доте 2
Как добавить бота, повысить ему уровень и дать предмет в Dota 2
Боты — это примитивный искусственный интеллект, который есть практически в каждой современной игре, Dota 2 не стала исключением. Ботов используют для того, чтобы заменить людей, например, что-то протестировать, что-то узнать или, в конце концов, поиграть с ними. Поэтому в данном гайде, мы расскажем о том, как добавить бота, как повысить ему уровень и как выдать предмет.
Чтобы добавить бота в Dota 2, необходимо в чате (не важно, для всех или для союзников) прописать следующее: -createhero имя героя.
Чтобы добавить вражеского бота, нужно добавить слово enemy, а именно -createhero имя героя enemy .
Как повысить уровень боту в Dota 2
Для повышения уровня бота, в чате набираем -levelbots *, вместо звездочки цифру уровня. Учтите, что уровень будет повышаться у всех ботов, находящихся на карте.
Как дать предмет боту в Dota 2
Используем команду в чате -givebots предмет, а список предметов можно посмотреть на официальном сайте Valve.
Если предмет нужно выдать себе, то прописываем -item предмет, а список названий предметов по ссылке выше.
Советуем вам посмотреть видео, о ботах от OpenAI, которые гораздо сильнее, чем обычные боты встроенные в игру. Также рекомендуем посетить рубрики Гайды и Герои, либо пройти Тест на знание Dota 2.
Коды на- Dota 2 Вики
Cheats можно использовать в практических играх для проверки различных настроек. Их можно включить в лобби в настройках. Этот параметр позволяет игрокам использовать различные команды чата и предоставляет общий контроль над героями-ботами.
Помимо этого, игрок также может включить читы через консоль с помощью команды
sv_cheats 1 . Многие консольные команды требуют этой команды перед работой, даже если игрок включил читы в настройках лобби.
Эти читы одобрены Valve для тестирования, и их использование не повлечет за собой штрафных санкций.Однако использование сторонних модификаций в игре приведет к бану.
Чит-команды
При включении читов в настройках лобби игроки могут использовать эти команды чата. Все эти команды также имеют эквивалент консольных команд, многие из которых можно использовать только после того, как хост включил sv_cheats .
-lvlup # | dota_dev hero_level # | Повышает уровень героя пользователя на #.Уровни забирать нельзя. |
-уровневые боты # | dota_bot_give_level # | Повышает уровень героев всех ботов на #. Уровни забирать нельзя. |
-lvlmax или | dota_dev hero_maxlevel | Повышает уровень героя пользователя и все его способности до максимума. |
-золото # | dota_dev player_givegold # | Предоставляет пользователю # ненадежное золото.Использование отрицательных чисел забирает золото. |
-элемент <имя> | dota_create_item <имя> | Дает основному герою пользователя названный предмет. |
-givebots <имя> | dota_bot_give_item <имя> | Дает названный предмет всем основным героям ботов. |
-обновить | dota_dev hero_refresh | Восстанавливает здоровье и ману всех героев и иллюзий (своих, союзников и врагов) до полного, а также обновляет их способности и время восстановления предметов.Также сбрасывает время восстановления Glyph of Fortification and Scan. Не влияет на перезарядку Buyback. |
- респаун | dota_dev hero_respawn
| Заставляет героя пользователя возродиться. Также работает, пока герой жив, двигаясь |
ботов - Dota 2 вики
Боты - это герои с компьютерным управлением в Dota 2. Их можно встретить в тренировочных матчах, лобби и совместных матчах ботов.
Трудности [править]
Боты бывают 5 разных уровней сложности (пассивный, легкий, нормальный, сложный, несправедливый) [1] .
- Пассивный Боты будут двигаться по линии пассивно и не будут атаковать игроков, ботов или людей, за исключением случаев, когда они видят союзный игрок-человек / другой бот, атакующий их врагов. Они не будут пытаться добивать или отрицать, а иногда будут держаться за башню.Пассивные боты никогда не будут использовать свои способности / предметы. Если союзный игрок-человек отключается, бот противоположной команды вернется к фонтану и прекратит игру, пока игрок не вернется.
- Easy боты отличаются от пассивных ботов, так как они охотно атакуют других героев и используют способности / предметы (за исключением Phase Boots, Force Staff и
Создание бота DotA2 с использованием машинного обучения. Проблема | by Musashi Schroeder
Разработка ресурсоэффективного алгоритма машинного обучения
Состав ботовВ декабре 2018 года создатели AI Sports провели презентацию и представили школе соревнование по искусственному интеллекту DotA2. DotA (Defense of the Ancients) - это игра, в которую играют две команды, каждая из которых состоит из пяти игроков, которые могут выбирать из более чем сотни разных героев. Цель игры - уничтожить базу противников, защищая при этом свою.Каждый герой имеет доступ как минимум к четырем уникальным способностям и может покупать предметы, которые также имеют разные способности. Предметы покупаются за золото, полученное за разрушение построек противника или за победу над игроками или крипами, юнитами NPC (неигровыми персонажами), которые появляются, чтобы помочь защищать и атаковать базы.
Сложность игры зависит не только от состава персонажей, но и от постоянно меняющегося состояния карты. В играх с полной информацией, таких как шахматы или го, от игроков не утаивают никакой информации, что позволяет им видеть все возможные действия на доске в любой момент времени.Карта DotA включает в себя «туман войны», который скрывает любую часть карты, которую не видит игрок или его товарищи по команде. Способности каждого героя также имеют «кулдауны» - после того, как игрок использует способность, он не может использовать ее снова в течение определенного времени - и используют ману в качестве ресурса. Хотя у игрока есть доступ к этой информации о своих союзниках, у него нет этой информации о противнике, и он должен учитывать ее при участии в боях.
Правила соревнований заключались в том, чтобы запрограммировать полную команду из пяти ботов для игры в Captain’s Mode.Captain’s Mode устанавливает одного члена каждой команды в качестве капитана, давая им возможность выбирать героев для остальной команды, а также «запрещать» или выбирать героев, которых команда противника не может использовать. Чтобы избежать блокировки всех наших персонажей, нам нужно было запрограммировать как минимум шестнадцать из них. Наше ограничение, установленное Морисом, сотрудником 42 Кремниевой долины, состояло в том, что мы не могли использовать встроенные «желания», систему, обеспечивающую поведение по умолчанию для выполнения бота, предоставленную Valve. Вместо использования поведения ботов по умолчанию нам было поручено написать код снизу вверх.API для DotA2 написан на Lua и позволяет игрокам создавать собственных ботов. Первоначально соревнование было разработано для использования C ++ API, написанного
Обзор поля битвы DotA с ярлыками, изображение из https://dota2.gamepedia.com/Mapсоздателей AI Sports, но из-за «сложностей» наша команда вместо этого использовала Lua.
Изучение Lua и API
Чтобы создать бота, мы сначала прочитали API и искали другие примеры, созданные пользователями.API DotA был доступен в начале 2016 года, хотя не получал никаких значимых обновлений примерно с октября 2017 года. Первым ресурсом, который мы использовали, было руководство по началу работы, написанное RuoyuSon. RuoyuSon объяснил, где найти другие ресурсы и как запускать игры, а также полезные консольные команды для процесса тестирования. Valve также предоставляет небольшие примеры сценариев ботов в каталоге игр, которые можно использовать для начала работы. С помощью API и других примеров мы наивно полагали, что сможем создать бота и получить грубую рабочую версию кода в течение недели.
Первой задачей было выбрать героев, которых мы хотели использовать, и начать игру. В то время мы не знали, что если в коде выбора героя будет ошибка, вся игра вылетит, ничего не отображая. Пример, предоставленный Valve, можно использовать для быстрого создания кода выбора героя для режима All Pick, но его нельзя использовать для режима Captain’s Mode. Чтобы выбрать героев, мы читаем другие примеры кода. Хотя наша текущая версия бота позволяет игрокам-людям играть против него и вместе с ним, исходная версия предназначалась только для игры против другого бота в режиме капитана.Наконец, получение простой версии выбора героя заняло чуть больше недели, но с тех пор была изменена для поддержки режима All Pick и игроков-людей.
После запуска игры мы начали экспериментировать, заставляя героев ходить к локациям на карте. Мы быстро узнали, что незнание языка Lua затрудняло написание и понимание других примеров кода. Хотя мы могли заставить ботов ходить в определенные места или покупать предметы, мы часто допускали синтаксические ошибки, и поиск ошибок в коде занимал значительное время.После разочаровывающих двух недель нам потребовалось время, чтобы выучить язык, прежде чем снова приступить к работе с API.
Пока приближался турнир, мы все еще пытались понять Lua и боролись за понимание API. Наши герои переместились в правильные места, и они могли сражаться с вражескими миньонами и противниками, хотя и плохо, но они никогда не отступали, что приводило к смерти за смертью. Даже против самого простого бота по умолчанию, пассивного, мы не смогли победить. Мы реализовали грубую функцию отступления - просто приказывая ботам бежать обратно на свою базу, если они получат слишком большой урон - это помогло, но оставляло желать лучшего.Нам удавалось постоянно побеждать пассивного бота, но обычно заканчивали игру с почти 100 смертельными случаями за игру на нашей стороне, и нам посчастливилось увидеть две смерти на противниках.
Следующим шагом, теперь, когда была заложена основа для поведения ботов, было начать индивидуализировать каждого бота, чтобы они могли использовать свои способности. Каждый бот использует свои навыки в зависимости от условий, позволяя им сражаться с противником. На этом этапе начало проявляться отсутствие у нас опыта в DotA - хотя боты могли использовать навыки, они не использовали их оптимально просто потому, что мы не знали, что является оптимальным.Мы часто спрашивали совета у более опытных людей и постепенно делали бота сильнее. Наконец, мы смогли победить пассивного бота с положительным счетом. Мы пытались преодолеть легкий уровень сложности, но безуспешно. Разница между ними была значительной, и нам нужно было реализовать больше моделей поведения, чтобы победить.
Конечный автомат
До этого момента весь код был написан как предопределенные действия для выполнения каждым ботом. Сложность DotA постепенно делала все труднее и труднее различать, какие действия предпринимать и когда.Сражаться в этом случае или убегать? Когда нам следует сосредоточиться на борьбе с крипами? Хотя нам удавалось последовательно преодолевать пассивную сложность, мы понимали, что легкий будет серьезным препятствием. Мы начали обсуждать возможные варианты и остановились на Государственном автомате.
Пример конечного автоматаПри изменении поведения бота стало невозможно четко разделить, когда он будет выполнять действия. Они были настолько тесно переплетены, что корректировка одного повлияла бы на производительность другого, и ни одно из вариантов поведения не сработало особенно хорошо.Мы также не смогли аккуратно включить другие варианты поведения без нарушения других частей кода. Создав конечный автомат, мы смогли разделить каждое поведение, используя средневзвешенные значения, чтобы решить, какое из них будет наиболее оптимальным в любом случае игры. Код каждого бота запускается каждый кадр, что позволяет выполнять постоянные вычисления и присваивать каждому поведению значение в виде веса. Предполагая, что мы хорошо запрограммировали бота, теперь он может сам решать, что ему делать, в зависимости от состояния игры.
На этом этапе мы смогли выделить каждое поведение в отдельный код, разбитый на компоненты и условия.Компоненты - это фрагменты информации, которые всегда необходимы для расчета поведения, тогда как условия могут добавлять или вычитать вес только при определенных обстоятельствах. Разделение кода позволило нам улучшить работу каждого поведения - раньше каждое поведение зависело от другого, но с помощью конечного автомата мы выполняли только те части кода, которые нам были нужны, и только тогда, когда это было необходимо.
В то время как некоторые из нас настраивали конечный автомат, мы также продолжали улучшать версию без конечного автомата до такой степени, что мы смогли преодолеть сложность Easy.Мы снова видим 100 смертей на табло, но на нашей стороне будет больше убийств и мы будем побеждать. Код из версии, не относящейся к конечному автомату, легко вставляется в нашего нового бота, что позволяет нам продолжать работу без каких-либо значительных задержек.
Одним из преимуществ конечного автомата была модульность системы. До этого общее поведение бота состояло из двух файлов, в которых были написаны необходимые комментарии, чтобы понять, какая часть кода просматривается - в новой версии были отдельные файлы для каждого веса, и поведения были разделены, чтобы они не взаимодействовали друг с другом.Модульность позволяла нескольким людям работать над разными частями проекта, не влияя на то, над чем может работать кто-то другой, улучшая ясность, простоту и рабочий процесс команды.
Мы также готовились к нашему первому матчу между ботами и другой командой, участвовавшей в соревновании, но Конечный автомат не был протестирован и не был готов к реализации. Это дало нам последний шанс увидеть, насколько хороша предыдущая версия. Прежде чем мы начали нашу схватку, мы решили протестировать и убедиться, что код обеих команд работает правильно.Когда у обоих ботов была случайная смесь героев противника и их собственных, команды поняли, что мы допустили ошибку на этапе выбора. Обе команды смогли исправить проблему, но это был еще один пример борьбы с API, которая будет сохраняться на протяжении всего процесса. В это время Морис также уведомил нас, что турнир будет отложен на месяц, что даст нам возможность продолжать улучшать наших ботов.
Во время тестирования с использованием проприетарных ботов Valve нам часто приходилось перезапускать игры из-за проблем совместимости с их ботом и Captain’s Mode.Мы решили сделать собственный режим подбора для двух команд, чтобы ускорить процесс и сократить количество ненужных перезапусков. Мы выделили ботов соперника случайную команду из пяти человек и использовали эту команду на протяжении большей части нашего тестирования. В то время мы не знали, что это вернется, чтобы укусить нас позже.
Наша команда продолжила работу с State Machine, добавляя новые варианты поведения, которые мы не могли реализовать раньше. По мере того, как поведение увеличивалось, мы также стали замечать улучшения в наших матчах с ботом Valve.После победы над Easy, в течение 24 часов мы смогли обыграть Medium, а на следующий день обыграли Hard и Unfair подряд. Мы были в восторге, не ожидая, что намного позже победим Unfair, но когда мы решили посмотреть на ботов противника поближе, у нас отвисла челюсть. Два бота нашего оппонента не покупали предметы, а один не использовал никаких способностей. Хотя мы смогли победить, что само по себе было подвигом, это не была настоящая победа над ботом Unfair.
Мы не знали, что Valve реализовала использование определенных навыков и покупку предметов только для 46 ботов.Мы изменили состав соперника на пять таких ботов, и хотя мы могли хорошо сражаться с Hard и выигрывать примерно в сорока процентах случаев, мы редко выигрывали у Unfair. Мы начали больше обсуждать, что мы можем сделать, чтобы увеличить наш винрейт, что привело к первому изменению нашего состава. Посмотрев на героев, которых мы реализовали, а на тот момент их было всего пять, мы решили заменить героев, которые, будем надеяться, лучше впишутся в наш общий план игры. Сразу же мы увидели рост, и, хотя мы и привязались к героям, которых выбрали использовать, мы начали рассматривать замену героев как вариант, продолжая программировать.
Сбор данных
Мы продолжали внедрять больше вариантов поведения в конечный автомат, добавляли больше функций и, как и мы, наблюдали медленный, но устойчивый рост производительности в наших матчах. Чтобы увидеть, насколько хорошо мы добавили что-то новое, нам нужно было посмотреть полную игру, чтобы увидеть конкретное поведение и узнать, выиграли ли мы матч. Все веса бота были настроены вручную, и любые изменения, которые мы внесли, могут быть не видны в одной игре. Даже в ускоренном режиме игра длилась от десяти до пятнадцати минут.Чтобы собрать какие-либо значимые данные, мы могли бы часами просто наблюдать. Чтобы ускорить этот процесс и убедиться, что любое добавленное нами изменение было значимым, с помощью Python, языка программирования Go и Docker мы начали создавать способ сбора данных по сотням игр.
Морис дал нам доступ к пятнадцати компьютерам, на которых мы могли запускать игры и собирать данные. На этом этапе мы исследовали «безголовый» режим для DotA; мы могли запускать игры без графики, что ускоряло сами игры и позволяло запускать несколько экземпляров игры без использования графического процессора.Используя Docker, мы настроили соединение клиента с сервером, что позволило нам использовать виртуальные машины на четырнадцати из этих компьютеров. Мы подсчитали, что можем оптимально запустить до четырех игр на одном компьютере, поэтому четыре виртуальные машины запускались с шестикратной скоростью. В целом мы смогли запускать игры примерно в 300 раз быстрее, чем изначально.
Каждая игра может длиться от пятнадцати до восьмидесяти минут. Docker Swarm равномерно распространил общее количество запрошенных игр на все наши рабочие компьютеры.Если бы мы запускали менее 56 игр, это решение было бы неплохим, но что-то большее было бы неоптимальным. Первоначально мы пытались выполнить развертывание с помощью Docker Swarm, но для нас было разумнее создать собственное решение. Он должен быть настраиваемым, хорошо работать в распределенной сети и иметь поддержку простого параллелизма. Мы решили использовать Go, потому что он соответствовал нашим критериям и был прост в сборке и развертывании. Наконец, Python был использован для построения графиков и иллюстрации наших результатов данных в виде гистограмм и линейных графиков.
Данные, показывающие выигрыши и проигрыши во времениИспользуя эту настройку, мы смогли запустить 500 игр в течение часа, что дало нам значимые данные. Хотя нам по-прежнему необходимо было наблюдать за играми, чтобы наблюдать и подтверждать, что поведение работает должным образом, теперь мы могли протестировать их и собрать данные, чтобы подтвердить, было ли изменение полезным или вредным для бота.
В последние недели мы поиграли с идеей включения генетического алгоритма. Все веса конечного автомата были настроены вручную и основаны на наших наблюдениях.В частности, наши веса «Ферма», «Охота» и «Отступление» были настолько тесно связаны друг с другом, что, изменив значение одного, мы увидим резкие различия в их способах игры, и их процент выигрышей в целом уменьшился бы. Мы знали, что они в хорошем состоянии, но были уверены, что они не оптимальны, особенно учитывая, что разные персонажи играли по-разному, и использование одинаковых весов заставляло их всех играть более или менее одинаково. Использование генетического алгоритма будет использовать машинное обучение для настройки каждого веса, давая нам самые идеальные числа, чтобы победить ботов по умолчанию и, надеюсь, наших оппонентов в турнире.Амбициозной целью было создать разные гены для каждого персонажа, чтобы дать каждому из них свой уникальный стиль игры, но мы знали, что без дополнительного времени и вычислительной мощности нам придется обходиться вручную настроенными весами.
За неделю до соревнований мы отказались от добавления основных функций, включив лишь небольшие изменения, которые, как убедительно доказали наши данные, увеличивают процент побед. В конце концов, с помощью State Machine мы смогли добиться стабильного выигрыша выше 98% против ботов Valve.Готовый к участию в конкурсе, Морис сообщил нам, что конкурс снова продлен еще на месяц.
Генетический алгоритм
С продлением турнира на месяц мы начали обсуждать, как мы можем создать генетический алгоритм. В конце концов, мы решили снова использовать Go, потому что наши программы сбора данных уже были написаны на нем, что упростило объединение программ вместе.
Блок-схема генетического алгоритма, от arwnЧтобы заставить генетический алгоритм работать, нам нужно было запустить несколько итераций нашего бота.На основе этих итераций мы брали гены пяти лучших героев и «скрещивали» их, перемешивая, усредняя и соединяя их вместе. Следующее поколение будет состоять из слегка модифицированных версий (с использованием 10% вероятности мутации, чтобы выбрать, какие гены изменить, и 10% скорости мутации, чтобы изменить каждый ген на соответствующую величину), по которым мы затем будем собирать данные, повторяя процесс. до начала конкурса. Наш план состоял в том, чтобы заменить текущие гены, настроенные вручную, на наши новые, полученные с помощью машинного обучения.
Нашим первым шагом было убедиться, что мы можем запустить генетический алгоритм с помощью Go и Docker и одновременно изменить сценарий Lua. Ген каждого бота представлял собой Lua-файл, содержащий значения, которые мы хотели изменить с помощью генетического алгоритма. Мы использовали Go для чтения файла гена, мутации значений и вывода нового гена с использованием шаблона гена. Затем новые гены использовались для последующих итераций.
Успешно создав способ чтения и записи в наши новые генные файлы, вместо того, чтобы создавать один общий генетический алгоритм, как мы изначально планировали, мы создали гены для каждого героя, которого использовали.Чтобы это работало, каждый файл должен был включать имя героя, которому мы писали. К сожалению, мы могли тренировать только пять героев за раз, поэтому мы решили тренировать наш стартовый состав и использовать наши настроенные вручную гены для остальных героев, которые мы реализовали.
Завершение генетического алгоритма заняло больше времени, чем планировалось. Мы надеялись запустить и потренироваться в течение недели, но нам потребовалось еще несколько дней, чтобы исправить ошибки. Каждый из нас создал отдельные части генетического алгоритма, и на сборку каждой из них ушло некоторое время.
Наконец, генетический алгоритм заработал, но когда мы начали запускать первые поколения, мы столкнулись с множеством проблем. На этом этапе у нас по-прежнему были некоторые проблемы с нашими контейнерами Docker, которые не запускали игры, но мы решили пока игнорировать их, потому что, хотя он и медленнее собирал данные, это не было значительной разницей во времени. Если один компьютер выйдет из строя и отключится от сети, сервер зависнет, ожидая поступления данных от сбитого компьютера. Когда мы решили использовать генетический алгоритм, нам нужно было, чтобы он работал без остановки и продолжал работать с каждым поколением.Если работник не отвечает, сервер никогда не сможет перейти к следующему поколению, потому что он ждал, пока появятся оставшиеся игры. Для нас не имело смысла следить за компьютерами посменно весь день, поэтому мы добавили способ тайм-аут, если мы не получили ответ от контейнера по прошествии определенного периода времени.
В конце концов, примерно через четыре дня после запуска и остановки генетического алгоритма, он наконец заработал. Запустив генетический алгоритм и убедившись, что он работает, мы решили изменить состав нашей команды в пользу того, который, по нашему мнению, может повысить наш винрейт.Когда мы начали запускать генетический алгоритм и настроить гены, которыми мы хотели манипулировать, как команда, мы просмотрели их и скорректировали их до чисел, которые, по нашему мнению, имели смысл для запуска генетического алгоритма. В то время мы решили манипулировать примерно 25 компонентами и условиями, «генами» из наших весов Farm, Hunt и Retreat. Это изменение в сочетании с новым выбором героев, который мы использовали для команды противника, снизило наш процент побед с 98% до 80%. В то время как генетический алгоритм медленно повышал процент побед, мы поговорили как команда и решили, что если мы сможем повысить его, переключая или добавляя героев на ранней стадии, его стоит протестировать.После переключения начальные 80% приблизились к 90%.
Наблюдая за ботом, мы знали, что время истекает, и он недостаточно быстро растет. Хотя это было рискованное решение, которое могло привести к потенциально резкому снижению процента побед, мы решили скорректировать скорость изменения с 10% вероятности мутации и 10% частоты мутации до 15% и 25% соответственно. Мы подсчитали, что в наиболее идеальной ситуации для того, чтобы избавиться от бесполезного гена, потребуется не менее тридцати поколений или не менее одной недели.Мы хотели уменьшить это число и полагали, что если мы увеличим его вдвое, то увидим более высокие темпы изменений в лучшую или худшую сторону. После нескольких дней наблюдения за результатами наш риск окупился, и бот увидел более быстрое и последовательное увеличение процента побед.
Рост физической формы с течением времениКогда мы были уверены в результате, мы начали добавлять больше генов, которыми можно было бы управлять из других весов конечного автомата. Еще одна проблема, с которой мы столкнулись на протяжении всего проекта, и которую мы не смогли решить, заключалась в том, как играть на ранних этапах игры и как играть ближе к концу.В DotA стили игры между ними кардинально отличаются. Поведение, которое важно на раннем этапе, становится менее важным, поскольку игра длится дольше, и наоборот. До этого момента наша стратегия заключалась в том, чтобы обменять немного более слабое начало игры на более сильное завершение. Мы несколько раз пытались настроить веса, но даже если бы они играли лучше в начале, манипуляции с весами в конце не дали бы результата, что снизило бы общий выигрыш. Теперь, когда у нас есть рабочий генетический алгоритм, мы добавили различные множители к здоровью, чтобы он мог регулироваться, но также решили добавить множители в зависимости от того, насколько силен герой.Герои переходят с 1 по 25 уровень и становятся сильнее по мере повышения уровня. Вручную нам никогда не удавалось эффективно манипулировать весами, чтобы можно было вносить корректировки в начале и в конце игры. Благодаря генетическому алгоритму мы теперь могли предоставить компьютеру решать, когда играть по-другому.
После еще одной смены героя мы остановились на нашем окончательном составе и продолжили работу генетического алгоритма. За несколько дней до начала турнира мы увидели, что бот, наконец, достиг 99% винрейта для одного поколения, но это упало для следующего поколения до 96%.В то время как наши быстрые манипуляции с генами привели к созданию мощного бота, как только он будет приближаться к теоретическому пику, частота мутаций в 25% сразу изменится на очень большую и снизится процент побед. Мы решили, что для того, чтобы сохранить наш винрейт, нам нужно замедлить мутацию. Вероятность мутации снизилась до 7%, а частота мутаций - до 15%.
Когда мы снова изменили наш генетический алгоритм, мы решили пойти на еще один риск. До этого момента мы брали пять лучших генов от каждого героя в качестве родителей, разводили их и использовали потомство для следующего поколения.Хотя это сработало для нас, классически мы не должны были использовать генетический алгоритм. В генетическом алгоритме все гены должны иметь шанс быть выбранными, но мы активно выбирали, какие из них использовать. Важность использования ботов с более низким показателем выигрыша - разнообразие. Хотя в поколении он, возможно, не работал так же хорошо, в будущем поколении его гены могут сыграть важную роль в увеличении коэффициента выигрыша. Чтобы убедиться, что у этих генов с более низким коэффициентом выигрыша есть шанс быть выбранным, мы сопоставили все гены, что позволило повысить вероятность быть выбранным с более высоким коэффициентом выигрыша, при этом давая шанс более низким коэффициентам выигрыша, хотя и меньший.
Мы также обсуждали изменение стратегии. Было необходимо взять гены от каждого отдельного бота, но мы считали важным взять все гены от одной «команды» ботов. На первый взгляд, бот мог показаться, что у него меньший потенциал, но как часть команды его гены могли быть важным ключом к победе. Мы думали о преимуществах перехода от отдельных ботов к только племенным командам, но не могли оправдать потерю более мощных генов героев. Когда мы пришли к выводу, что должны продолжать использовать ту же стратегию выбора отдельных ботов, нам в голову пришла мысль.Что, если мы сделаем и то, и другое? Принимая отдельные гены, бесспорно, важно, но разведение бот из тех же команд с сильными индивидуальными ботами, мы верили, что мы могли бы раскрыть потенциал обоих миров.
Генетический алгоритм, кажется, улучшил бота, хотя его стиль игры значительно отличается от исходной негенетической версии. Раньше мы были намного агрессивнее, но теперь мы играем более консервативно и стремимся к победе в основном за счет разрушения построек и победы в отдельных командных боях.Старший бот чаще объединялся в команду, заставляя ботов противника реагировать и приводя к большему количеству драк. Если мы продолжим работу над проектом, я считаю, что следующим шагом будет борьба бота с самим собой и более старой негенетической версией бота.
Благодаря этому проекту я смог выучить несколько языков программирования, а также познакомиться с Docker и узнать о важности документации при работе в команде. Причина, по которой я решил работать над этим проектом, заключалась не столько в интересе к DotA2, сколько в попытках понять машинное обучение.Я слышал этот термин несколько раз, читал о нем, но не имел реального понимания того, что он влечет за собой и как на самом деле его программировать. Участие в этом проекте дало мне уникальную возможность поработать с машинным обучением и улучшило мое понимание программирования в целом.
.
