Как SuperDuperDB обеспечивает легкий доступ к приложениям искусственного интеллекта
Хотя ведутся амбициозные разговоры о корпоративном использовании GenAI, они, вероятно, начинаются именно здесь, с скромных инструментов, которые может подобрать отдельный программист.
Многие наблюдатели предсказывают, что 2024 год станет годом, когда предприятия превратят генеративный ИИ, такой как GPT-4 от OpenAI, в настоящие корпоративные приложения. Скорее всего, такие приложения начнутся с самых простых видов инфраструктуры, объединяющих большую языковую модель, такую как GPT-4, с некоторыми базовыми функциями управления данными.
Корпоративные приложения начнутся с простых задач, таких как поиск по тексту или изображениям, чтобы найти совпадение с поиском на естественном языке.
Идеальным кандидатом для этого является библиотека Python под названием SuperDuperDB, созданная одноименной венчурной компанией, основанной в 2023 году.
SuperDuperDB — это не база данных, а интерфейс, который находится между базой данных, такой как MongoDB или Snowflake, и большой языковой моделью или другой программой GenAI.
Этот интерфейсный уровень упрощает выполнение нескольких базовых операций с корпоративными данными. Используя запросы на естественном языке в приглашении чата, можно запросить существующий набор корпоративных данных, например документы, более подробно, чем это возможно при обычном поиске по ключевым словам. Можно загрузить изображения, скажем, продуктов в базу данных изображений, а затем запросить эту базу данных, показав изображение и найдя совпадение.
Аналогично, моменты в видео можно получить из архива видео, введя темы или функции. Записи голосовых сообщений можно искать в виде текстовой расшифровки, что делает их простым помощником по голосовой почте.
Эта технология также может быть полезна ученым, работающим с данными, и инженерам по машинному обучению, которые хотят усовершенствовать программы искусственного интеллекта, используя собственные корпоративные данные.
Например, чтобы «точно настроить» программу искусственного интеллекта, такую как модель распознавания изображений, необходимо подключить существующую базу данных изображений к программе машинного обучения. Задача состоит в том, как передавать данные изображения в программу машинного обучения и из нее, а также как определять переменные процесса обучения, такие как потери, которые необходимо минимизировать. SuperDuperDB предлагает вызовы функций для упрощения всех этих вещей.
Ключевым аспектом многих из этих функций является преобразование различных типов данных — текста, изображений, видео, аудио — в векторы, строки чисел, которые можно сравнивать друг с другом. Это позволяет SuperDuperDB выполнять «поиск по сходству», когда вектор текстовой фразы, например, сравнивается с базой данных, полной расшифровок голосовой почты, чтобы получить сообщение, наиболее точно соответствующее запросу.
Имейте в виду, SuperDuperDB — это не векторная база данных, такая как коммерческая программа Pinecone. Это более простая форма организации векторов, называемая «векторным индексом».
Программа SuperDuperDB с открытым исходным кодом устанавливается как обычная установка Python из командной строки или загружается как предварительно созданный контейнер Docker.
Первым шагом к работе с SuperDuperDB может быть либо настройка хранилища данных с нуля, либо работа с внешним хранилищем данных. В любом случае вам понадобится хранилище данных, например MongoDB, или база данных на основе SQL.
SuperDuperDB обрабатывает все данные, включая вновь созданные данные и данные, полученные из базы данных, через так называемый «кодировщик», который позволяет программисту определять типы данных. Эти закодированные типы — текст, аудио, изображения, видео и т. д. — могут храниться в MongoDB как «документы» или в базах данных на основе SQL в виде схемы таблиц. Также возможно хранить очень большие элементы данных, такие как видеофайлы, в локальном хранилище, если они превышают емкость базы данных MongoDB или базы данных SQL.
После того как набор данных выбран или создан, модели нейронных сетей можно импортировать из библиотек, таких как SciKit-Learn, или можно использовать очень простой встроенный инвентарь нейронных сетей, такой как Transformer, исходная модель большого языка. Также можно вызывать API коммерческих сервисов, таких как OpenAI и Anthropic. Основная функция прогнозирования модели выполняется с помощью простого вызова функции «.predict», встроенной в SuperDuperDB.
При работе с большой языковой моделью или моделью изображения, такой как Stable Diffusion или Dall-E, нейронная сеть будет стремиться получить ответы из базы данных, выполняя поиск векторного сходства. Это так же просто, как вызвать функцию «.like» и передать ей строку запроса.
Можно создавать более сложные приложения, объединяя несколько этапов функциональности с помощью SuperDuperDB, например, используя поиск по сходству для извлечения элементов из базы данных и затем передавая эти элементы в нейронную сеть-классификатор.
Компания добавила функции, которые делают приложение более похожим на производственную систему. Они включают в себя службу под названием Listeners, которая повторно выполняет прогнозы при каждом обновлении базовой базы данных. Различные функции в SuperDuperDB также можно запускать как отдельные демоны для повышения производительности.
В этом году произойдет значительная эволюция таких программ, как SuperDuperDB, что сделает их еще более надежными для производственных целей. Вы можете ожидать, что SuperDuperDB будет развиваться вместе с другой важной развивающейся инфраструктурой, такой как платформа LangChain и коммерческие инструменты, такие как база данных векторов Pinecone.
Хотя ведется много амбициозных разговоров о корпоративном использовании GenAI, все, вероятно, начинается именно здесь, с скромных инструментов, которые может подобрать отдельный программист.
Если вы хотите быстро познакомиться с SuperDuperDB, зайдите в их репозиторий GitHub.