Unity 机器学习代理工具包 (ML-Agents) 是一个开源项目,它使游戏和模拟能够作为训练智能代理的环境。
您最多选择25个主题 主题必须以中文或者字母或数字开头,可以包含连字符 (-),并且长度不得超过35个字符
 
 
 
 
 

17 KiB

Unity ML-Agents Toolkit Version Release 7

docs badge license badge

(latest release) (all releases)

The Unity Machine Learning Agents Toolkit (ML-Agents) - open-source проект, предназначенный для обучения искусственного интеллекта (агента) через взаимодействие со средой, - игрой или симуляцией, - используя различные методы машинного обучения: обучение с подкреплением (reinforcement learning), имитационное обучение (imitation learning), нейроэволюция (neuroevolution) и др. средствами Python API. В проекте реализованы также и современные алгоритмы (на основе TensorFlow), чтобы дать возможность как разработчикам игр так и любым другим, кто увлечен темой AI, обучать искусственный интеллект для 2D, 3D и VR/AR игр. Применение таких агентов бесчисленно: например, вы можете использовать их для управления NPC (опций также много - будь то обучение действиям в кооперативе или друг против друга), для тестирования различных версий сборок игры, а также для оценки гейм дизайнерских решений. ML-Agents объединяет разработчиков игр и исследователей AI, так как предоставляет единую платформу, в рамках которой новые разработки в сфере искусственного интеллекта могут быть протестированы через движок Unity и, как следствие, стать доступнее большему количеству и тех, и других.

Особенности:

  • Более 15 примеров на Unity.
  • Большие возможности по конфигурации среды и тренировочных сценариев.
  • Unity SDK, который легко встроить в код вашей игры или в кастомную сцену в Unity
  • Два алгоритма глубинного обучения с подкреплением (deep reinforcement learning): Proximal Policy Optimization (PPO) и Soft Actor-Critic (SAC). Первый алгоритм старается узнать, какой будет наилучший шаг в конкретной ситуации, тогда как второй - узнать в целом правила игры/системы/симуляции, их закон и действовать согласно этому усвоенному закону изменения среды.
  • Встроенная поддержка для имитационного обучения (Imitation Learning), которое можно сделать либо через клонирование поведения (Behavioral Cloning), либо через генеративно-состязательное имитационное обучение (Generative Adversarial Imitation Learning - GAIL), когда одна часть алгоритма генерирует поведение, а другая определяет, похоже данное поведение на то, которое было дано как исходное, например, самим пользователем в виде записи его действий. Генерация происходит до тех пор, пока сгенерированное поведение не будет определено как неотличимое или очень близкое к исходному.
  • Возможность для агента игры с самим собой, если агент обучается в контексте сценария “состязание”: например, игра в футбол, где есть две команды.
  • ML-Agents позволяет настроить череду сцен, где каждая новая сцена - это усложнение сцены предыдущей, например, добавление новой преграды. Не всегда поставленную задачу агент сможет научиться выполнять, если среда слишком сложная изначально. Дайте ему сначала сценку попроще, когда он научиться ее проходить, его перенесет на уровень посложнее.
  • Обучение агента, устойчивого к изменениям, с помощью возможности случайного генерации элементов сцены
  • Гибкий контроль агента: демонстрация выученного поведения только при определенных условиях. Например, NPC входит в контекст “атака” - атакует так, как научился ранее в рамках обучающего сценария.
  • Обучение агента сразу на множестве сцен одновременно. Представьте, как он играет в футбол сразу на десяти стадионах, набираясь опыта одновременно на них всех. Выглядит это в Unity также, как и представляется.
  • Использование Unity Inference Engine для поддержки кроссплатформенности.
  • Контроль через Python API сцен.
  • Возможность обернуть Unity среду для обучения как gym.

Для более детального ознакомления с данными особенностями см. [Обзор ML-Agents] (docs/ML-Agents-Overview.md).

Релизы и Документация

Наш последний стабильный релиз - это 7-ой Релиз (Release 7). См. здесь, чтобы начать работать с самой последней версий ML-Agents.

Таблица внизу - список всех наших релизов, включая main ветку, над которой мы ведем активную работу и которая может быть нестабильной. Полезная информация:

Управление версиями - описание того, как мы работам с GitHub. Релизы - об изменениях между версиями Миграция - как перейти с более ранней версии ML-Agents на новую. Ссылки на документацию - как установить и начать пользоваться ML-Agents в зависимости от версии. Всегда используйте только ту документацию, которая относится к той версии, которую вы установили:

Version Дата релиза Source Документация Загрузка
main (unstable) -- source docs download
Release 7 16 Сентября, 2020 source docs download
Release 6 12 Августа, 2020 source docs download
Release 5 31 Июля, 2020 source docs download
Release 4 15 Июля, 2020 source docs download
Release 3 10 Июня, 2020 source docs download
Release 2 20 Мая, 2020 source docs download
Release 1 30 Апреля, 2020 source docs download

Цитирование

Если вас интересует Unity как платформа для изучения AI, см. нашу работу Unity и ML-Agents. Если вы используете Unity или ML-Agents для исследовательской работы, пожалуйста, указывайте в списке используемой литературы следующую работу: Juliani, A., Berges, V., Teng, E., Cohen, A., Harper, J., Elion, C., Goy, C., Gao, Y., Henry, H., Mattar, M., Lange, D. (2020). Unity: A General Platform for Intelligent Agents. arXiv preprint [arXiv:1809.02627].(https://arxiv.org/abs/1809.02627). https://github.com/Unity-Technologies/ml-agents.

Дополнительные источники:

Мы опубликовали серию статей на нашем блоге про ML-Agents (пока без перевода на русский):

Дополнительные материалы от других авторов:

Community and Feedback

ML-Agents Toolkit - open-source проект, поэтому мы рады любой помощи. Если вы хотите нам помочь, ознакомьтесь, для начала, пожалуйста, для с гайдом, как сделать это правильно, и кодексом поведения.

Если возникли проблемы с установкой и настройкой ML-Agents, если вы хотите обсудить как лучше всего обучать агентов и пр., пожалуйста, посмотрите возможные решения на форуме Unity ML-Agents. Если вы не найдете нужной вам информации, начните новую тему, дав подробное описания вашей проблемы. Если вы обнаружили какие-то баги или ошибки во время работы с ML-Agents, пожалуйста, сообщите об этом здесь.

Нам важно знать ваше мнение. Только на его основе проект Unity ML-Agents и продолжает развиваться. Пожалуйста, уделите несколько минут и поделитесь с нами тем, что могло бы улучшить наш проект.

По всем остальным вопросам или отзыву, пишите сразу на адрес команды разработчиков ML-Agents - ml-agents@unity3d.com.

Лицензия

Apache License 2.0