DataGemma от Google — первый крупномасштабный ИИ поколения с RAG — почему это важно
Data Commons Google служит основой для предоставления генеративному ИИ информации, на которую можно опираться.
Все более популярная технология генеративного искусственного интеллекта, известная как генерация с расширенным поиском (сокращенно RAG), была любимым проектом предприятий, но теперь она выходит на главную сцену ИИ.
На прошлой неделе Google представила DataGemma, которая представляет собой комбинацию моделей больших языков Google Gemma с открытым исходным кодом (LLM) и проекта Data Commons для общедоступных данных. DataGemma использует подходы RAG для получения данных перед ответом на запрос.
Идея состоит в том, чтобы основать генеративный искусственный интеллект, чтобы предотвратить «галлюцинации», говорит Google, «путем использования знаний Data Commons для повышения фактологии и рассуждений LLM».
Хотя RAG становится популярным подходом, позволяющим предприятиям закрепить LLM на своих собственных корпоративных данных, использование Data Commons представляет собой первую на сегодняшний день реализацию RAG в масштабе облачного поколения искусственного интеллекта.
Data Commons — это среда разработки с открытым исходным кодом, которая позволяет создавать общедоступные базы данных. Он также собирает фактические данные от таких учреждений, как Организация Объединенных Наций, которые сделали свои данные доступными для общественности.
Google отмечает, что, соединяя эти два фактора, компания использует «два разных подхода».
Первый подход заключается в использовании общедоступных статистических данных Data Commons для проверки фактов по конкретным вопросам, введенным в запрос, например: «Выросло ли использование возобновляемых источников энергии в мире?» Джемма из Google ответит на запрос утверждением, в котором приводятся конкретные статистические данные. Google называет это «генерацией с чередованием извлечения» или RIG.
При втором подходе полноценный RAG используется для цитирования источников данных «и обеспечения более полных и информативных результатов», утверждает Google. Модель искусственного интеллекта Gemma основана на «длинном контекстном окне» модели Google с закрытым исходным кодом Gemini 1.5. Контекстное окно представляет собой количество входных данных в токенах (обычно в словах), которые модель ИИ может хранить во временной памяти для дальнейших действий.
Gemini рекламирует Gemini 1.5 в контекстном окне из 128 000 токенов, хотя его версии могут манипулировать до миллиона токенов на входе. Наличие большего контекстного окна означает, что больше данных, полученных из Data Commons, можно хранить в памяти и просматривать моделью при подготовке ответа на запрос.
«DataGemma извлекает соответствующую контекстную информацию из Data Commons до того, как модель инициирует генерацию ответа», — заявляет Google, — «тем самым сводя к минимуму риск галлюцинаций и повышая точность ответов».
Исследование все еще находится в разработке; Подробности вы можете узнать из официальной исследовательской работы исследователя Google Прашанта Радхакришнана и его коллег.
Google заявляет, что необходимо провести дополнительные испытания и разработки, прежде чем DataGemma станет общедоступной в Gemma и модели Google с закрытым исходным кодом Gemini.
По утверждениям Google, RIG и RAG, качество результатов уже улучшилось, так что «пользователи будут испытывать меньше галлюцинаций при использовании в исследованиях, принятии решений или просто удовлетворении любопытства».
DataGemma — это последний пример того, как Google и другие доминирующие компании в области искусственного интеллекта дополняют свои предложения вещами, выходящими за рамки LLM.
На прошлой неделе OpenAI представила свой проект под кодовым названием «Клубника» как две модели, использующие технику машинного обучения, называемую «цепочкой мыслей», где модель ИИ призвана излагать в утверждениях факторы, входящие в конкретный прогноз. изготовление.