Что общего у ИМ, машинного обучения и глубокого обучения?

Лайл Уоллис на конференции AnyLogic

На фото сверху – Лайл Уоллис, директор отдела аналитики в американском офисе компании PwC и опытный пользователь AnyLogic. На конференции AnyLogic в 2018 году он рассказал, как искусственный интеллект связан с имитационным моделированием. Доклад был основан на исследованиях команды PwC в этой области.

Вот как, по словам Лайла, можно совместно использовать возможности ИМ и искусственного интеллекта (ИИ):

  • Имитационное моделирование для глубокого обучения с подкреплением и тренировки нейронных сетей.
  • Моделирование процессов, в основе которых есть элементы ИИ
  • ИИ для калибровки и отладки моделей.

Основное внимание в презентации уделялось первому варианту, когда ИМ используется для тренировки нейронных сетей. Но Лайл утверждает, что второй вариант также набирает популярность. Например, ИИ уже используют для оптимизации маршрутов на производстве и в цепях поставок. Если же для подобной системы разрабатывается имитационная модель, она также должна включать элементы ИИ. Это позволит точнее отразить моделируемую систему.


Подробнее об обучении с подкреплением

Чтобы показать, как глубокое обучение с подкреплением работает совместно с ИМ, Лайл продемонстрировал задачу Gridworld, типичную среду для обучения машинных алгоритмов, созданную в виде модели в AnyLogic. Вы тоже можете создать такую модель: в учебном блоге нашего пользователя есть пошаговая инструкция из четырёх частей на английском. Модель Gridworld поможет лучше понять, как работают нейронные сети.

А вот ещё один пример использования машинного обучения на практике. Возможности глубокого обучения с подкреплением использовались, чтобы помочь алгоритмам научиться играть в игру Го. А недавно инженеры компании DeepMind использовали глубокое обучение при разработке нейронной сети для игры в StarCraft. Сеть одержала победу над двумя опытными игроками.



Применение глубокого обучения

На презентации Лайл также рассказал, как команда PwC применила возможности ИИ на ещё одной модели из AnyLogic – Consumer Market, в которой компании конкурируют за долю рынка. В модели инженеры с помощью библиотеки Deeplearning4j заменили одну из конкурирующих компаний на агента с элементами ИИ. Эксперимент позволил провести важные наблюдения.

Лайл сравнивает агента с элементами ИИ с “оптимизатором на стероидах”, который в процессе тренировки может обнаружить и использовать любой недостаток модели. Поэтому перед внедрением элементов ИИ нужно удостовериться, что модель отлажена, иначе алгоритм не сможет найти верное решение. В ходе подобных экспериментов могут быть найдены прежде неизвестные примеры поведения и стратегии. Именно такие открытия были залогом успеха ИИ в играх Go и StarCraft. Для компаний подобные находки могут стать конкурентным преимуществом. Так случилось, когда американская развлекательная компания Netflix планировала новый механизм работы системы рекомендаций. Но мы хотим вас предупредить.

На примере модели Consumer Market инженеры выяснили, что при расширении проблемной области сложность задачи быстро возрастает и с ней становится сложнее справляться. С увеличением числа переменных время вычислений также увеличивается и становится трудно определить критерии успеха эксперимента. Именно поэтому игры с заранее установленными действиями и окружающей средой более наглядны в экспериментах с ИИ, чем модели реальных, непредсказуемых, систем. Конечно, облачные вычисления и специализированное оборудование позволяют повысить скорость расчётов, но многое по-прежнему зависит от точности модели.

Имитационное моделирование — ключевая технология в работе с ИИ. Оно особенно полезно при создании системы на основе обучения с подкреплением, для которой сложно или невозможно получить входные данные из реального мира. Так Лайл Уоллис заканчивает презентацию. Полная версия выступления на английском вместе с секцией вопросов и ответов доступна ниже. Презентацию также можно скачать в формате PDF.


Презентация Лайла Уоллиса на конференции AnyLogiс - 2018

Похожие материалы