Генеративный ИИ наконец-то нашел свою золотую середину, говорит главный научный сотрудник Databricks по искусственному интеллекту

По мере того, как генеративный ИИ начинает помогать решать реальные проблемы, появляется новый вид анализа данных, говорит Джонатан Франкл.

Если отбросить все модные словечки о корпоративном искусственном интеллекте, такие как «агентный ИИ», реальность такова, что компании узнают, что работает на практике, экспериментируя с технологией, согласно гиганту инструментов обработки данных Databricks.

«Мы все еще изучаем, где находятся правильные места для размещения ИИ, где вы можете найти золотую середину ИИ, которая поможет вам решить проблему», — сказал главный научный сотрудник Databricks по искусственному интеллекту Джонатан Франкл в недавнем интервью, которое мы с ним дали в Нью-Йорке.

Новый вид корпоративной аналитики

Главный специалист по искусственному интеллекту Databricks Джонатан Франкл.

По словам Франкла, на базовом уровне генеративный ИИ, такой как большие языковые модели, делает возможным новый вид корпоративной аналитики. Неструктурированные данные, такие как файлы Word, изображения или видео, не имели места в традиционной аналитике данных до генеративного ИИ, отметил Франкл. Но теперь это золотая жила.

«Представьте себе тонны и тонны неструктурированных документов, которые действительно сложно проанализировать в мире до генеративного искусственного интеллекта или до LLM, и внезапно вы сможете извлечь из них значимые функции», — сказал он. «Данные, которые были бесполезны в мире аналитики, теперь невероятно ценны здесь».

В то время как многие люди зацикливаются на том, что генеративный ИИ берет на себя фактический программный код, гораздо более простым использованием был бы простой анализ компьютерного кода компании.

«Вся документация по всему коду в вашей компании» была «не так уж полезна в качестве источника данных в 2015 году, но в 2025 году невероятно ценна [...] просто отвечая на вопросы о вашем коде для разработчиков».

Точно так же: «Вы можете представить себе каждый журнал чата из приложения для обслуживания клиентов с реальными людьми, выполняющими высокоуровневую аналитику по этому вопросу. Каково среднее количество взаимодействий в разговоре? Каково среднее время решения проблемы? Вещи, которые были бы невозможны десять лет назад».

По словам Франкла, роль данных занимает центральное место в разработке приложений генеративного ИИ. Франкл пришел в Databricks, когда она купила стартап по машинному обучению, в котором он работал, MosaicML, в 2023 году. MosaicML фокусируется на оптимизации инфраструктуры для запуска искусственного интеллекта, в то время как Databricks является одним из ведущих поставщиков озер данных и технологий для перемещения и формирования данных.

«Весь тезис при приобретении заключался в том, что у нас была одна часть, у Databricks было много других частей, и вместе это имело гораздо больше смысла», — сказал Франкл.

«Вы пытаетесь развернуть бота для обслуживания клиентов с искусственным интеллектом. С какими данными работает этот бот службы поддержки клиентов?» — объяснил Франкл. «Это работа с информацией о клиентах, это работа с вашей документацией, это работа с вашими базами данных SQL. Это все на Databricks».

От данных к структуре

Объединение данных в Databricks — это начало создания новых видов аналитики, на которые ссылается Франкл. В то время как LLM могут использовать кучу неструктурированных данных, не помешает заранее получить данные компании в какую-либо структуру.

«Если вы заранее проделали работу по использованию LLM для предварительной обработки этих данных в какую-либо структурированную форму, такую как SQL или JSON, вы требуете меньше работы со стороны ИИ — вы всегда должны стараться максимально упростить работу для ИИ, потому что эти системы определенно не являются непогрешимыми».

Важным подготовительным этапом является помещение данных в так называемые «встраивания».

«Встраиваемая модель» — это модель искусственного интеллекта, которая используется для преобразования символов, слов или предложений в вектор — группу чисел — которые улавливают некоторое семантическое содержание этих символов, слов или предложений.

Вложения можно рассматривать как числовые оценки, представляющие родство терминов, таких как «яблоко» с «фруктом» или «ребенок» с «человеком».

Для встраивания можно использовать простые языковые модели, даже относительно небольшие, такие как BERT от Google от 2018 года. «Вам не нужны огромные модели, чтобы получить отличные вложения», — сказал Франкл.

Франкл отметил, что в сообществе разработчиков с открытым исходным кодом было разработано множество моделей встраивания путем адаптации модели Llama от Meta Platforms с помощью процесса, известного как тонкая настройка.

Тем не менее, «вам, возможно, потребуется обучить пользовательскую модель встраивания», учитывая, что существующие модели «построены на веб-данных», что делает их очень общими.

Например, в определенных областях, таких как здравоохранение, пользовательская модель встраивания может находить связи между словами и фразами лучше, чем универсальная модель внедрения.

«Мы обнаружили, что настройка встраиваемых моделей может привести к непропорционально хорошему улучшению поиска», — сказал Франкл. «Мы думаем, что еще много возможностей для того, чтобы просто сделать их [встраиваемые модели] более специфичными для предметной области».

Хорошо разработанная модель встраивания исключительно важна, потому что «она значительно облегчит тяжелую работу, выполняемую [большой языковой моделью]», — сказал он.

По словам Франкла, несколько моделей встраивания также могут быть объединены в цепочку. Это может позволить модели ИИ, используемой, например, в поиске документов, сузить круг от большой группы из ста документов до нескольких документов, отвечающих на запрос.

В дополнение к настройке модели встраивания, то, как данные подаются в встраивание, является отдельной областью передового опыта. «Когда вы предоставляете эти документы для встраиваемой модели, вы обычно не хотите предоставлять весь документ сразу», — сказал он.

«Вы часто хотите разбить его на кусочки», и как сделать это оптимально — это также вопрос экспериментов и проб подходов.

Франкл добавил, что Databricks «проводит исследования по всем этим темам, потому что во многих случаях мы не думаем, что уровень техники достаточно хорош», включая встраивания.

Хотя многое можно сделать с помощью Databricks, говорит Франкл, «самое сложное заключается в том, что все еще много экспериментов. Есть много ручек, которые нужно крутить. Следует ли проводить тонкую настройку или не следует выполнять тонкую настройку? Сколько документов вы должны попытаться извлечь и поместить в контекст? Какой у вас размер куски?

Вопрос о том, что строить

Помимо методов, знание того, какие приложения создавать, само по себе является путешествием и чем-то вроде рыболовной экспедиции.

«Я думаю, что самое сложное в искусственном интеллекте — это быть уверенным в том, что это сработает», — сказал Франкл. «Если бы вы пришли ко мне и спросили: «Вот проблема в сфере здравоохранения, вот документы, которые у меня есть, как вы думаете, может ли ИИ это сделать?», я бы ответил: «Давайте выясним».

По словам Франкла, «приложения, которые внедряются в практику прямо сейчас, как правило, ищут вещи, которые немного более открыты», — сказал он, имея в виду, что то, что производит модель ИИ, может быть нечетким, не обязательно конкретным. «ИИ отлично справляется с получением ответа, но не всегда хорош в получении ответа», — заметил он.

«С помощью ИИ вы можете делать нечеткие вещи, вы можете понимать документы способами, для которых я никогда не смог бы написать программу на Python», — объяснил Франкл.

"Я также ищу приложения, в которых относительно дорого прийти к ответу, но относительно дешево проверить ответ." Примером является автоматическая генерация текстовых заметок для врача на основе записей осмотров его пациентов. «Можно создать черновой набор заметок пациента, они [врач или его помощник] могут проверить его, подправить пару вещей и на этом закончить». Это полезный способ избавиться от скуки, сказал он.

И наоборот, «Приложения, в которых вам нужен правильный ответ, и их трудно проверить» — это то, чего пока стоит избегать. Он привел пример составления юридического документа. «Если ИИ упускает что-то одно, человеку теперь нужно пойти и просмотреть весь документ, чтобы убедиться, что он не пропустил ничего еще. Так в чем же был смысл использования искусственного интеллекта?» — заметил Франкл.

С другой стороны, у ИИ есть большой потенциал для выполнения таких вещей, как выполнение рутинной работы юристов и помощников юристов и, как следствие, расширение доступа людей к юристам.

«Предположим, что искусственный интеллект мог бы автоматизировать некоторые из самых скучных юридических задач, которые существуют?» — предположил Франкл, чьи родители являются юристами. «Если бы вы хотели, чтобы искусственный интеллект помог вам провести юридические исследования и помог вам придумать идеи о том, как решить проблему, или помочь вам найти подходящие материалы — это феноменально!»

«Мы все еще находимся на очень ранней стадии» генеративного ИИ, «и поэтому, в некотором роде, мы извлекаем выгоду из сильных сторон, но мы все еще учимся тому, как смягчать слабые стороны».

Путь к приложениям с искусственным интеллектом

В разгар неопределенности Франкл впечатлен тем, как клиенты быстро прошли кривую обучения. «Два или три года назад было много объяснений клиентам, что такое генеративный ИИ», — отметил он. «Теперь, когда я разговариваю с клиентами, они используют векторные базы данных».

«У этих людей отличная интуиция в понимании того, где эти вещи преуспевают, а где нет», — сказал он о клиентах Databricks.

Учитывая, что ни одна компания не имеет неограниченного бюджета, Франкл посоветовал начать с первоначального прототипа, чтобы инвестиции продолжались только в той степени, в которой очевидно, что приложение с искусственным интеллектом принесет пользу.

«Это должно быть что-то, что вы можете собрать за день с помощью GPT-4, и горстка документов, которые у вас уже есть», — предложил он. Разработчик может заручиться поддержкой «пары случайных людей со всей компании, которые скажут вам, находитесь ли вы на правильном пути или нет».

Руководителям Франкл советует сделать изучение генеративного ИИ частью своей работы на регулярной основе.

«Люди мотивированы», например, специалисты по обработке и анализу данных, отметил он. «Дело еще не столько в деньгах, сколько в том, чтобы просто дать им время и сказать, что в рамках ваших должностных обязанностей возьмите пару недель, проведите двухдневный хакатон и просто посмотрите, что вы можете сделать. Это действительно интересно для людей».

Девизом в корпоративном генеративном ИИ может быть то, что из крошечных желудей вырастают могучие дубы.

Как выразился Франкл: «Человек, у которого в подвале есть графический процессор и который играет с Ламой, на самом деле очень искушен и может стать экспертом по генеративному искусственному интеллекту завтрашнего дня».