Если ваш код, сгенерированный ИИ, окажется неисправным, кто понесет наибольшую ответственность?
Код Hyena способен обрабатывать объемы данных, из-за которых у технологии GPT не хватает памяти и она выходит из строя.
Иерархия гиены Стэнфорда и MILA — это технология связывания элементов данных, будь то слова или пиксели в цифровом изображении. Эта технология может достичь такой же точности в тестовых задачах ИИ, что и существующий «золотой стандарт» для больших языковых моделей, механизм «внимания», но при этом вычислительная мощность будет в 100 раз меньше.
Несмотря на весь энтузиазм по поводу программы искусственного интеллекта чат-бота, известной как ChatGPT от OpenAI, и ее технологии-преемника GPT-4, эти программы, в конце концов, являются всего лишь программными приложениями. И, как и все приложения, они имеют технические ограничения, которые могут сделать их производительность неоптимальной.
В статье, опубликованной в марте, ученые по искусственному интеллекту (ИИ) из Стэнфордского университета и канадского института искусственного интеллекта MILA предложили технологию, которая может быть гораздо более эффективной, чем GPT-4 — или что-то подобное — при поглощении огромных объемов данных и превращая его в ответ.
Эта технология, известная как Hyena, способна достичь эквивалентной точности в тестах производительности, таких как ответы на вопросы, используя при этом лишь часть вычислительной мощности. В некоторых случаях код Hyena способен обрабатывать объемы текста, из-за которых у технологии GPT просто не хватает памяти и она выходит из строя.
«Наши многообещающие результаты в масштабе параметров менее миллиарда позволяют предположить, что внимание, возможно, — это не все, что нам нужно», — пишут авторы. Это замечание относится к названию знакового отчета об искусственном интеллекте за 2017 год: «Внимание — это все, что вам нужно». В этой статье ученый Google Ашиш Васвани и его коллеги представили миру программу Google Transformer AI. Трансформатор стал основой для каждой из последних больших языковых моделей.
Но у Трансформера есть большой недостаток. Он использует так называемое «внимание», когда компьютерная программа берет информацию из одной группы символов, например слов, и перемещает эту информацию в новую группу символов, например, в ответ, который вы видите в ChatGPT, который является выходными данными.
Эта операция внимания — важнейший инструмент всех больших языковых программ, включая ChatGPT и GPT-4 — имеет «квадратическую» вычислительную сложность («временная сложность» вычислений Wiki). Эта сложность означает, что время, необходимое ChatGPT для получения ответа, увеличивается пропорционально квадрату объема данных, которые он подает в качестве входных данных.
В какой-то момент, если данных слишком много — слишком много слов в подсказке или слишком много цепочек разговоров в течение многих часов общения с программой — тогда либо программа увязает в предоставлении ответа, либо она должна получать все больше и больше чипов графического процессора, чтобы они работали все быстрее и быстрее, что приводит к резкому росту требований к вычислительным ресурсам.
В новой статье «Иерархия гиены: к большим сверточным языковым моделям», размещенной на сервере препринтов arXiv, ведущий автор Майкл Поли из Стэнфорда и его коллеги предлагают заменить функцию внимания Трансформатора чем-то субквадратичным, а именно Гиена.
Авторы не поясняют название, но можно предположить несколько причин появления программы «Гиена». Гиены — животные, живущие в Африке, которые могут охотиться на многие мили. В каком-то смысле очень мощная языковая модель могла бы быть подобна гиене, охотящейся на многие мили в поисках пищи.
Но авторов действительно волнует «иерархия», как следует из названия, и в семьях гиен существует строгая иерархия, согласно которой члены местного клана гиен имеют разные уровни ранга, устанавливающие доминирование. Неким аналогичным образом программа Hyena, как вы увидите, снова и снова применяет набор очень простых операций, так что они объединяются, образуя своего рода иерархию обработки данных. Именно этот комбинаторный элемент дал программе название «Гиена».
В число авторов статьи входят такие светила мира искусственного интеллекта, как Йошуа Бенджио, научный директор MILA, лауреат Премии Тьюринга 2019 года, эквивалента Нобелевской премии в области компьютерных технологий. Бенджио широко приписывают разработку механизма внимания задолго до того, как Васвани и его команда адаптировали его для Трансформера.
Также среди авторов — доцент Стэнфордского университета по информатике Кристофер Ре, который в последние годы помог продвинуть понятие ИИ как «программного обеспечения 2.0».
Чтобы найти субквадратическую альтернативу вниманию, Поли и его команда приступили к изучению того, как механизм внимания делает то, что он делает, чтобы посмотреть, можно ли выполнить эту работу более эффективно.
Недавняя практика в науке об искусственном интеллекте, известная как механистическая интерпретируемость, дает представление о том, что происходит глубоко внутри нейронной сети, внутри вычислительных «схем» внимания. Вы можете думать об этом как о разборке программного обеспечения так же, как вы разбираете часы или компьютер, чтобы увидеть его части и понять, как оно работает.
Одна из работ, на которую ссылаются Поли и его команда, представляет собой серию экспериментов исследователя Нельсона Эльхаджа из стартапа в области искусственного интеллекта Anthropic. Эти эксперименты разбирают программы Трансформера, чтобы увидеть, что происходит с вниманием.
По сути, Эльхаге и его команда обнаружили, что внимание функционирует на самом базовом уровне посредством очень простых компьютерных операций, таких как копирование слова из недавнего ввода и вставка его в вывод.
Например, если кто-то начнет вводить в программу большой языковой модели, такую как ChatGPT, предложение из «Гарри Поттер и философский камень», например «Мистер Дурсль был директором фирмы под названием Grunnings…», просто набрав «D-u-r-s», начала имени может быть достаточно, чтобы побудить программу завершить имя «Дурсли», поскольку она видела это имя в предыдущем предложении «Философского камня». Система способна копировать из памяти запись символов «л-е-у» для автодополнения предложения.
Однако операция внимания сталкивается с проблемой квадратичной сложности по мере того, как количество слов растет и растет. Для выполнения операции внимания большему количеству слов требуется больше так называемых «весов» или параметров.
Как пишут авторы: «Блок Transformer — это мощный инструмент для моделирования последовательностей, но он не лишен своих ограничений. Одним из наиболее заметных являются вычислительные затраты, которые быстро растут по мере увеличения длины входной последовательности».
Хотя технические подробности ChatGPT и GPT-4 не были раскрыты OpenAI, считается, что они могут иметь триллион или более таких параметров. Для выполнения этих параметров требуется больше чипов графического процессора от Nvidia, что увеличивает затраты на вычисления.
Чтобы снизить квадратичные затраты на вычисления, Поли и его команда заменяют операцию внимания так называемой «сверткой», которая является одной из старейших операций в программах искусственного интеллекта, усовершенствованной еще в 1980-х годах. Свертка — это всего лишь фильтр, который может выделять элементы данных, будь то пиксели на цифровой фотографии или слова в предложении.
Поли и его команда делают своего рода смесь: они берут работу, проделанную Стэнфордским исследователем Дэниелом Ю. Фу и его командой, чтобы применить сверточные фильтры к последовательностям слов, и объединяют это с работой ученого Дэвида Ромеро и его коллег из Свободного университета в Амстердаме. это позволяет программе менять размер фильтра на лету. Эта способность гибкой адаптации сокращает количество дорогостоящих параметров или весов, которые должна иметь программа.
Hyena — это комбинация фильтров, которые дополняют друг друга, не вызывая значительного увеличения параметров нейронной сети.
Результатом объединения является то, что свертку можно применять к неограниченному объему текста, не требуя все большего и большего количества параметров для копирования все большего и большего количества данных. По словам авторов, это подход «без внимания».
«Операторы Hyena способны значительно сократить разрыв в качестве за счет масштабного внимания», — пишут Поли и его команда, — «достигая аналогичной сложности и производительности последующих операций при меньшем вычислительном бюджете». Недоумение — это технический термин, обозначающий, насколько сложным является ответ, который генерирует такая программа, как ChatGPT.
Чтобы продемонстрировать возможности Hyena, авторы тестируют программу с помощью ряда тестов, которые определяют, насколько хороша языковая программа при выполнении различных задач ИИ.
Одним из тестов является The Pile, коллекция текстов объемом 825 гигабайт, собранная в 2020 году Eleuther.ai, некоммерческой исследовательской организацией в области искусственного интеллекта. Тексты собраны из «качественных» источников, таких как PubMed, arXiv, GitHub, Патентное ведомство США и других, так что источники имеют более строгую форму, чем, например, просто дискуссии на Reddit.
Ключевой задачей программы было создание следующего слова, когда на вход вводилась группа новых предложений. Программа Hyena смогла достичь того же результата, что и оригинальная программа GPT OpenAI от 2018 года, с на 20% меньшим количеством вычислительных операций — «первая не требующая внимания сверточная архитектура, соответствующая качеству GPT» с меньшим количеством операций, пишут исследователи.
Hyena смогла сравниться с оригинальной программой GPT OpenAI, выполняя на 20 % меньше вычислительных операций.
Затем авторы протестировали программу на задачах на рассуждение, известную как SuperGLUE, представленную в 2019 году учеными из Нью-Йоркского университета, Facebook AI Research, подразделения Google DeepMind и Вашингтонского университета.
Например, если дать предложение «Мое тело отбрасывало тень на траву» и два варианта причины: «Солнце всходило» или «Трава была подстрижена», и попросить выбрать одно или другое, программа должна генерировать «солнце поднималось» в качестве соответствующего вывода.
В нескольких задачах программа Hyena достигла результатов, близких к оценкам версии GPT, при этом обучаясь менее чем на половине объема обучающих данных.
Еще более интересно то, что произошло, когда авторы увеличили длину фраз, используемых в качестве входных данных: больше слов означало лучшее улучшение производительности. Имея 2048 «жетонов», которые вы можете рассматривать как слова, Гиене требуется меньше времени для выполнения языкового задания, чем для подхода с вниманием.
Авторы сообщают, что при 64 000 токенов «ускорение Hyena достигает 100 раз» — стократное улучшение производительности.
Поли и его команда утверждают, что они не просто попробовали другой подход к Hyena, они «преодолели квадратичный барьер», вызвав качественные изменения в том, насколько сложно программе вычислять результаты.
Они предполагают, что в будущем также могут произойти существенные сдвиги в качестве: «Преодоление квадратичного барьера является ключевым шагом на пути к новым возможностям глубокого обучения, таким как использование целых учебников в качестве контекста, создание длинной музыки или обработка изображений гигапиксельного масштаба». ", пишут они.
Способность Hyena использовать фильтр, который более эффективно обрабатывает тысячи и тысячи слов, пишут авторы, означает, что «контекст» запроса к языковой программе практически не ограничен. По сути, он мог вспоминать элементы текстов или предыдущих разговоров, далекие от текущей нити разговора — точно так же, как гиены, охотящиеся на многие мили.
«Операторы Hyena имеют неограниченный контекст», — пишут они. «А именно, они не ограничены искусственно, например, локальностью, и могут изучать долгосрочные зависимости между любыми элементами [входных данных]».
Более того, как и слова, программа может применяться к данным разной модальности, например изображениям и, возможно, видео и звукам.
Важно отметить, что программа Hyena, показанная в статье, имеет небольшой размер по сравнению с GPT-4 или даже GPT-3. В то время как GPT-3 имеет 175 миллиардов параметров или весов, самая большая версия Hyena имеет только 1,3 миллиарда параметров. Следовательно, еще неизвестно, насколько хорошо Hyena покажет себя в прямом сравнении с GPT-3 или 4.
Но если достигнутая эффективность сохранится и в более крупных версиях программы «Гиена», это может стать новой парадигмой, которая будет столь же распространена, как и внимание в течение последнего десятилетия.
Как заключают Поли и его команда: «Простые субквадратичные модели, такие как Hyena, основанные на наборе простых руководящих принципов и оценке критериев механистической интерпретируемости, могут сформировать основу для эффективных больших моделей».