Как GenAI стал намного лучше в медицинских вопросах - благодаря RAG

Используя новый набор вопросов, составленный практикующими врачами, созданный в Стэнфорде Альманах превзошел по эффективности обычный ChatGPT-4, Microsoft Bing и Google Bard.

Ученые из Стэнфорда создали систему под названием «Альманах», которая будет получать медицинскую информацию в режиме реального времени в ответ на запросы поколения ИИ, и обнаружили, что она улучшает ответы на медицинские вопросы, написанные врачами.

В этом году многие стороны, использующие генеративный искусственный интеллект, попытаются дать программам что-то похожее на знания. В основном они будут делать это, используя быстро расширяющуюся программу, называемую «генерацией с расширенным поиском», или RAG, при которой большие языковые модели (LLM) ищут внешние входные данные — при формировании своих выходных данных — чтобы расширить то, что нейронная сеть может делать на своих собственный.

Например, согласно отчету Стэнфордского университета и его коллег, опубликованному на этой неделе в NEJM AI, новом журнале, издаваемом престижным Медицинским журналом Новой Англии, RAG может улучшить медицинские знания у студентов-магистрантов.

Расширенные RAG версии GPT-4 и других программ «показали значительное улучшение производительности по сравнению со стандартными LLM» при ответе на новые вопросы, написанные сертифицированными врачами, сообщает ведущий автор отчета Сирил Закка и его коллеги.

Авторы утверждают, что RAG является ключевым элементом безопасного внедрения Gen AI в клинике. Они утверждают, что даже программы, созданные специально для получения медицинских знаний и предусматривающие обучение на медицинских данных, не достигают этой цели.

Такие программы, как MedPaLM от Google DeepMind, LLM, настроенная на ответы на вопросы из различных наборов медицинских данных, пишут авторы, до сих пор страдают от галлюцинаций. Кроме того, их ответы «неточно отражают клинически значимые задачи».

RAG важен, потому что альтернативой является постоянное переобучение LLM, чтобы идти в ногу с меняющимися медицинскими знаниями, задача, «которая может быстро стать непомерно дорогой при размерах программ в миллиарды параметров», утверждают они.

Исследование открывает новые горизонты в нескольких отношениях. Во-первых, он создает новый подход, называемый «Альманах», для получения медицинской информации. Программа Almanac извлекает медицинские данные, используя метаданные из базы медицинских справок 14-летней давности, составленной врачами под названием MDCalc.

Во-вторых, Закка и его коллеги составили совершенно новый набор из 314 медицинских вопросов под названием ClinicalQA, «охватывающий несколько медицинских специальностей и охватывающий самые разные темы: от рекомендаций по лечению до клинических расчетов». Вопросы были написаны восемью сертифицированными врачами и двумя клиницистами, которым было поручено написать «как можно больше вопросов в вашей области знаний, связанных с вашими повседневными клиническими обязанностями».

Цель нового набора вопросов — избежать явления, когда программы, обученные на медицинских базах данных, копируют фрагменты информации, которые позже появляются в медицинских тестах, таких как MedQA, например, при запоминании ответов на тест. Как выразились Закка и его команда: «Наборы данных, предназначенные для оценки модели, могут оказаться в обучающих данных, что затрудняет объективную оценку моделей с использованием одних и тех же критериев».

Вопросы ClinicalQA также более реалистичны, поскольку они написаны медицинскими работниками, утверждает команда. «Вопросы в стиле экзамена на получение медицинской лицензии в США не могут охватить весь спектр реальных клинических сценариев, с которыми сталкиваются медицинские работники», — пишут они. «Они часто изображают сценарии пациентов как аккуратные клинические эпизоды, минуя сложную серию микрорешений, которые составляют реальную помощь пациентам».

В исследовании была представлена проверка того, что известно в ИИ как задачи «нулевого выстрела», где языковая модель используется без модификаций и без примеров правильных и неправильных ответов. Предполагается, что этот подход предназначен для проверки так называемого «контекстного обучения» — способности языковой модели приобретать новые возможности, которых не было в ее обучающих данных.

Almanac работает путем подключения GPT-4 OpenAI к программе под названием Browser, которая обращается к веб-источникам для выполнения операции RAG на основе рекомендаций метаданных MDCalc.

Как только в медицинских данных обнаруживается соответствие вопросу, вторая программа-альманах под названием Retriever передает результат GPT-4, который превращает его в ответ на вопрос на естественном языке.

Ответы Almanac, использующего GPT-4, сравнивались с ответами обычного ChatGPT-4, Microsoft Bing и Google Bard без каких-либо изменений в этих программах в качестве базового уровня.

Все ответы врачи-люди оценивают по фактичности, полноте, «предпочтительности» — то есть, насколько желательны были ответы по отношению к вопросу — и безопасности по отношению к «соперничающим» попыткам сбросить программы. Чтобы проверить устойчивость к атакам, авторы вставили вводящий в заблуждение текст в 25 вопросов, призванных убедить программу «генерировать неверные результаты или более сложные сценарии, предназначенные для обхода искусственных средств защиты».

В исследовании отмечается, что судьи-люди не знали, какая программа представляет какой ответ, чтобы удержать их от выражения предвзятости в отношении какой-либо одной программы.

Альманах, по их словам, превзошел остальные три: средние баллы за актуальность, полноту и предпочтение составили 67%, 70% и 70% соответственно из 100. Это сопоставимо с ответами, набравшими от 30% до 50% для остальные трое.

Программы также должны были включать ссылку на то, откуда были взяты данные, и результаты поражают воображение: Аламанк набрал гораздо больше баллов: 91% правильных цитат. Остальные три, похоже, допустили фундаментальные ошибки.

«Эффективность Bing достигла 82% из-за ненадежных источников, включая личные блоги и онлайн-форумы», — пишут Закка и его команда. «Хотя цитаты ChatGPT-4 в основном сопровождались несуществующими или несвязанными веб-страницами, Bard либо полагался на свои внутренние знания, либо отказывался цитировать источники, несмотря на то, что его просили это сделать».

Они обнаружили, что Альманах «значительно превосходит» другие, отвечая на 100% правильно, хотя иногда и отказывается дать ответ.

И снова были особенности. Бард из Google часто давал как правильный, так и ложный ответ, вызванный состязательной подсказкой. ChatGPT-4 был худшим с большим отрывом: он ответил только на 7% правильных вопросов в состязательной обстановке, в основном потому, что он отвечал неверной информацией, а не полностью воздерживался.

Авторы отмечают, что предстоит много работы по «оптимизации» и «доводке» Альманаха. Программа «имеет ограничения в эффективном ранжировании источников информации по таким критериям, как уровень доказательности, тип исследования и дата публикации». Кроме того, они отмечают, что полагаться на горстку судей-людей нецелесообразно, поэтому будущий проект должен быть направлен на автоматизацию оценок.