Как Cisco, LangChain и Galileo стремятся сдержать «кембрийский взрыв агентов ИИ»
Ученые Эндрю Г. Барто и Ричард С. Саттон стали пионерами обучения с подкреплением задолго до того, как оно стало ключевым инструментом в искусственном интеллекте.
Некоторые из самых ярких достижений в области искусственного интеллекта за последнее десятилетие были достигнуты благодаря методу, с помощью которого компьютер действует случайным образом, исходя из набора вариантов, и получает вознаграждение или наказание за каждый правильный или неправильный шаг.
Эта техника наиболее широко используется в AlphaZero, программе Google DeepMind 2016 года, которая достигла мастерства в играх в шахматы, сёги и го в 2018 году. Тот же подход помог программе AlphaStar добиться «гроссмейстерской» игры в видеоигре Starcraft II.
В среду двое ученых в области искусственного интеллекта были награждены за продвижение так называемого обучения с подкреплением, очень широкого подхода к тому, как компьютер работает в незнакомой среде.
Эндрю Г. Барто, почетный профессор кафедры информатики и компьютерных наук Массачусетского университета в Амхерсте, и Ричард С. Саттон, профессор компьютерных наук в Университете Альберты, Канада, были совместно удостоены премии Тьюринга 2025 года от Ассоциации вычислительной техники.
В награде ACM говорится, что «Барто и Саттон представили основные идеи, построили математические основы и разработали важные алгоритмы обучения с подкреплением — одного из самых важных подходов к созданию интеллектуальных систем».
Премия ACM присуждается в размере 1 миллиона долларов и широко рассматривается как эквивалент Нобелевской премии в компьютерной индустрии.
Обучение с подкреплением можно представить по аналогии с мышью в лабиринте: мышь должна найти путь через неизвестную среду к конечной награде — сыру. Для этого мышь должна узнать, какие движения ведут к прогрессу, а какие — к тупикам.
Нейробиологи и другие ученые выдвинули гипотезу о том, что разумные существа, такие как мыши, обладают «внутренней моделью мира», которая позволяет им усваивать уроки из исследования лабиринтов и других проблем, а также формулировать планы.
Саттон и Барто предположили, что компьютер может быть подобным образом сделан для формулирования внутренней модели состояния своего мира.
Программы обучения с подкреплением поглощают информацию об окружающей среде, будь то лабиринт или шахматная доска, в качестве входных данных. Сначала программа действует несколько случайно, пробуя различные ходы в этой среде. Эти ходы либо сопровождаются наградами, либо их отсутствием.
Эта обратная связь, положительная и отрицательная, начинает формировать расчет программы, оценку того, какое вознаграждение можно получить, совершая различные ходы. На основе этой оценки в программе формулируется «политика», которая будет направлять будущие действия к успеху.
На высоком уровне такие программы должны уравновешивать тактику поиска новых вариантов действий, с одной стороны, и использование известных хороших вариантов — с другой, поскольку ни то, ни другое само по себе не приведет к успеху.
Те, кто хочет копнуть глубже, могут получить экземпляр учебника по этому вопросу, который Саттон и Барто написали на эту тему в 2018 году.
Обучение с подкреплением в том смысле, в котором его используют Саттон и Барто, не то же самое, что обучение с подкреплением, на которое ссылается OpenAI и другие поставщики больших языковых моделей ИИ. OpenAI и другие компании используют «обучение с подкреплением на основе обратной связи от человека» (RLHF), чтобы сделать выходные данные GPT и других больших языковых моделей безобидными и полезными. Но это уже другая техника ИИ, только название было позаимствовано.
Саттон, который также был заслуженным научным сотрудником DeepMind с 2017 по 2023 год, в последние годы подчеркивал, что обучение с подкреплением — это теория мышления.
Во время симпозиума по искусственному интеллекту в 2020 году Саттон посетовал, что в настоящее время в искусственном интеллекте «очень мало вычислительной теории».
«Обучение с подкреплением — это первая вычислительная теория интеллекта», — заявил Саттон. «ИИ нуждается в согласованной вычислительной теории интеллекта», — добавил он, и «РЛ является выдающимся кандидатом для этого».
Обучение с подкреплением также может повлиять на то, как творчество и свободная игра могут быть выражением интеллекта, в том числе в искусственном интеллекте.
Барто и Саттон подчеркивают важность игры в обучении. Во время симпозиума 2020 года Саттон отметил, что в обучении с подкреплением любопытство играет «низкоуровневую роль», стимулируя исследования.
«В последние годы люди начали смотреть на более широкую роль того, о чем мы говорим, что мне нравится называть «игрой», — сказал Саттон. «Мы ставим цели, которые не обязательно полезны, но могут пригодиться позже. Я ставлю задачу и говорю: «Эй, что я могу сделать? Какие возможности».
Саттон сказал, что игра может быть одной из «больших вещей», которые люди делают. «Игра — это большое дело», — сказал он.