Сооснователь некоммерческого проекта OpenAI Грег Брокман считает, что самообучающиеся боты в компьютерных играх эффективно и безопасно демонстрируют огромные возможности искусственного интеллекта. Каким же образом киберспорт развивает машинное обучение?

Машинное обучение (МО) – это способ, благодаря которому компьютеры могут работать без прямого программирования. Фактически это создание искусственного интеллекта, который будет действовать не по заранее прописанным схемам, а сможет сам анализировать информацию и принимать решения на ее основе. В алгоритме машинного обучения применяются разные подходы, которые действуют с различной эффективностью.

На обучение искусственного интеллекта влияют в том числе условия, в которых происходит процесс. Наиболее интересная и сложная задача для исследователей – машинное обучение в динамически меняющихся условиях. Большинство современных моделей искусственного интеллекта действуют в жестких границах, а для их обучения необходимо использовать огромный массив уже готовых данных, генерация которых занимает много времени.

Потому в качестве площадки для тренировки искусственного интеллекта удобно использовать виртуальную реальность. В частности, в качестве «тренировочного лагеря» для машинного обучения используется известная игра Dota 2.

Машинное обучение в Dota 2: преимущества площадки

Созданием серьезных ботов в Dota 2 занимается некоммерческая структура OpenAI. Это проект для исследования возможностей искусственного интеллекта, который дает к нему открытый доступ. Исследовательская группа, одним из основателей которой является Илон Маск, сосредоточена на том, чтобы сделать искусственный интеллект исключительно полезным.

Проект был основан в 2015 году и с тех пор активно работает с искусственным интеллектом, изучая, развивая и совершенствуя технологию (в частности – для робототехники). Именно Dota 2, для которой OpenAI разрабатывает ботов, дает искусственному интеллекту максимум возможностей, чтобы реализовывать потенциал. Площадка характерна такими преимуществами для машинного обучения:

  • киберспорт популярен, и многие люди создают данные, которые можно использовать;
  • подобные данные (примеры игры реальных людей, которые используют для обучения ботов) лежат в свободном доступе;
  • площадка полностью безопасна для тестирования и обучения, взаимодействия человека с искусственным интеллектом;
  • игровая механика в Dota 2 очень разнообразна и дает возможность отрабатывать разные сценарии и методики обучения искусственного интеллекта.

Ключевой пункт в этом списке – наличие огромной, постоянно дополняющейся базы примеров, которые генерируют реальные игроки. Эффективность машинного обучения напрямую зависит от выборки, на основе которой оно проходит.

Искусственный интеллект против игроков в Dota 2

Подход, который использует команда OpenAI в этом проекте, основан на нейроэволюции. В подобной форме МО применяет эволюционный алгоритм для обучения искусственных нейронных сетей. Его принцип таков: совершая случайные действия, сеть формирует ряд различных решений, которые, в свою очередь, оцениваются функцией приспособленности. Другими словами, разработчики создали бота, внедрили его в Dota 2 и дали возможность самому принимать решения.

Такие боты в киберспорте способны успешно состязаться с людьми, что и доказали результаты турниров по Dota 2. Так, OpenAI Five одержал победу со счетом 2:0, играя против киберспортсменов в Сан-Франциско. В своем официальном блоге представители OpenAI рассказывают и показывают, как им удалось прокачать бота на основе искусственного интеллекта за две недели интенсивной практики и научить его играть лучше, чем профессионалы.

Главный инженер проекта Грег Брокман считает, что это серьезный шаг на пути к развитию сложного искусственного интеллекта, который будет способен решать важные задачи в разных сферах – например, в медицине.

Машинное обучение и покер

Еще один пример использования машинного обучения – обучаемые боты в покере. Эта игра характеризуется неполнотой данных о картах и участниках, а также включает в себя элемент случайности. Игра требует от машинного мозга нетривиальных, многоуровневых подходов к решению задачи, потому многие разработчики ведут исследования в этой сфере.

Так, представители Университета Альберты создали алгоритм DeepStack, который можно применять при игре в безлимитный покер Heads-Up. Он работает на основе глубоких нейронных сетей, способен обучаться, в том числе на партиях с самим собой. Этот алгоритм хорошо показал себя на практике, обыгрывая профессиональных игроков в покер и совершенствуясь. Также существует система Libratus от Университета Карнеги – Меллона, основанная на алгоритме, который смог победить соперников из числа самых лучших в мире игроков в безлимитный Heads-Up.

Эти решения и разработки важны не только для сферы киберспорта и онлайн-игр, но и для развития искусственного интеллекта в целом. Алгоритмы покерных ботов на основе машинного обучения можно применять также в сфере маркетинга, финансового управления, безопасности. Словом, в любой из областей, где нужно обучить агентов в среде с неполной информацией – например, в приложениях по управлению риск-доходностью. Алгоритмы для игры в покер в этом случае помогут искусственному интеллекту принимать оптимальные решения в условиях неопределенности.

Выводы

Наиболее результативным машинное обучение становится в условиях, которые динамически меняются. Подход, который зачастую используется для МО в киберспорте, – искусственные нейронные сети и генетический алгоритм. Он базируется на создании «поколения решений», основанных на удачном выборе. Алгоритмы, созданные по такому принципу, могут использоваться не только в виртуальной реальности, но и служить полезным инструментом для применения в разных сферах жизни.