15 способов, которыми ИИ сэкономил мне время на работе в 2024 году и как я планирую использовать их в 2025 году

Может ли генеративный ИИ успешно объяснить свои рассуждения? Я протестировал две модели.

Предположим, что поезд, отправляющийся из Чикаго, движется на запад со скоростью семьдесят миль в час, а другой поезд, отправляющийся из Сан-Франциско, движется на восток со скоростью восемьдесят миль в час. Сможете ли вы выяснить, когда и где они встретятся?

Это классическая математическая задача начальной школы, и программы искусственного интеллекта (ИИ), такие как недавно выпущенная OpenAI большая языковая модель «o1», которая в настоящее время находится в предварительной версии, не только найдут ответ, но и немного объяснят, как они к нему пришли.

Объяснения являются частью все более популярного подхода в генеративном искусственном интеллекте, известного как цепочка мыслей.

Хотя цепочка мыслей может быть очень полезной, она также может оказаться совершенно сбивающей с толку в зависимости от того, как она реализована, как я выяснил в результате небольшого экспериментирования.

Идея, лежащая в основе цепочки мыслей, заключается в том, что модель ИИ может детализировать последовательность вычислений, которые она выполняет для получения окончательного ответа, в конечном итоге достигая «объяснимого» ИИ. Такой объяснимый ИИ, возможно, мог бы дать людям большую уверенность в предсказаниях ИИ, раскрывая основу для ответа.

В контексте, модель ИИ относится к части программы ИИ, которая содержит многочисленные параметры нейронной сети и функции активации, которые составляют ключевые элементы функционирования программы.

Чтобы изучить этот вопрос, я сравнил o1 OpenAI с R1-Lite, новейшей моделью китайского стартапа DeepSeek. R1-Lite идет дальше, чем o1, предоставляя многословные изложения цепочки мыслей, что контрастирует с довольно кратким стилем o1.

DeepSeek утверждает, что R1-Lite может превзойти o1 в нескольких тестах производительности, включая MATH, тест, разработанный U.C. Беркли состоял из 12 500 наборов вопросов и ответов по математике.

Знаток искусственного интеллекта Эндрю Нг, основатель Landing.ai, объяснил , что внедрение R1-Lite является «частью важного движения», которое выходит за рамки простого увеличения моделей искусственного интеллекта и вместо этого заставляет их выполнять дополнительную работу для обоснования своих результатов.

Но я обнаружил, что R1-Lite также может сбивать с толку и утомлять, чего нет в o1.

Я отправил вышеупомянутый знаменитый математический вопрос о поездах в предварительный просмотр R1-Lite и o1. Вы можете попробовать R1-Lite бесплатно, создав бесплатную учетную запись на веб-сайте DeepSeek, и вы можете получить доступ к предварительному просмотру o1 как часть платной учетной записи ChatGPT с OpenAI. (R1-Lite еще не выпущен с открытым исходным кодом, хотя ряд других проектов DeepSeek доступен на GitHub.)

Оба чат-бота начинают с довольно простых путей решения знаменитой задачи о поездах по математике в начальной школе.

Обе модели дали схожие ответы, хотя модель o1 была заметно быстрее: ей потребовалось пять секунд, чтобы выдать ответ, а R1-Lite от DeepSeek потребовалась 21 секунда (каждая из двух моделей сообщает вам, как долго они «думали»). o1 также использовал в своих расчетах более точное количество миль между Чикаго и Сан-Франциско.

Более интересная разница возникла в следующем раунде.

Когда я попросил обе модели примерно вычислить, где встретятся два поезда, то есть в каком городе США, модель o1 быстро выдала Шайенн, штат Вайоминг. В процессе o1 телеграфировал свою цепочку мыслей, кратко мигая короткими сообщениями, такими как «Анализ движения поездов», или «Составление карты путешествия», или «Определение места встречи».

Они были не очень информативны, а скорее указывали на то, что что-то происходит.

Напротив, DeepSeek R1-Lite потратил на свою цепочку мыслей почти минуту, и, как и в других случаях, он был очень многословен, оставляя за собой след «мысленных» описаний общим объемом 2200 слов. По мере продвижения модели по цепочке они становились все более запутанными. Модель начиналась достаточно просто: утверждалось, что куда бы ни прибыл каждый поезд в конце 12 часов, оба поезда примерно будут находиться близко друг к другу, где-то между двумя пунктами отправления.

Но затем R1-Lite от DeepSeek, так сказать, полностью сошёл с рельсов. Он пробовал множество странных и причудливых способов вычисления местоположения и описывал каждый метод с мучительными подробностями.

В то время как модель o1 OpenAI завершает свою работу довольно быстро, R1-Lite от DeepSeek (слева) проходит долгий и извилистый «мыслительный» процесс, который становится все более сложным и отвлекающим.

Во-первых, он рассчитал расстояния от Чикаго до нескольких разных городов по пути в Сан-Франциско, а также расстояния между городами, чтобы приблизительно определить местоположение.

Затем он применил долготу на карте и вычислил градусы долготы, по которой проезжал поезд в Чикаго. Затем он отступил и попытался вычислить расстояние по расстоянию поездки.

Посреди всего этого модель выплюнула заявление: «Подождите, я запуталась», что, вероятно, верно для человека, наблюдающего за всем этим.

R1-Lite от DeepSeek выражает замешательство: модель ИИ не в буквальном смысле сбита с толку, но человек, использующий ее, может быть сбит с толку.

К тому времени, когда R1-Lite дал ответ — «в западной Небраске или восточном Колорадо», что является приемлемым приближением, — рассуждения были настолько заумными, что уже не были «объяснимыми», а обескураживали.

Объясняя предполагаемый процесс рассуждения в кропотливых деталях, в отличие от модели o1, которая делает ответ довольно кратким, R1-Lite от DeepSeek на самом деле оказывается сложным и запутанным. Тем не менее, ответ o1 выглядит так, будто он просто успокаивает пользователя видимостью рассуждений, но фактически не освещает его процесс.

Идеал был бы где-то между ответами двух моделей. Вполне возможно, что с более точными подсказками, включающими такие детали, как реальные маршруты поездов, цепочка мыслей станет намного проще. Доступ к внешним базам данных для координат карты также может привести к тому, что у R1-Lite будет меньше звеньев в цепочке мыслей.

Тест показывает, что на заре цепочки мыслей люди, работающие с чат-ботами, скорее всего, в конечном итоге запутаются, даже если в конечном итоге получат приемлемый ответ от модели ИИ.