Прорыв в области искусственного интеллекта позволяет ученым читать римские свитки, когда-то захороненные под Везувием
Подробности о ZDNET: совершите 20-летнее путешествие, чтобы расшифровать свитки Геркуланума, обугленные в результате исторического извержения вулкана две тысячи лет назад и нечитаемые до сих пор.
Свиток Геркуланума с красными лазерными линиями сканируется в Институте Франции Брентом Силсом и его командой.
После исторического извержения вулкана, продолжавшегося два тысячелетия, и международных усилий по использованию искусственного интеллекта для чтения набора загадочных древних свитков, исследователи узнали, о чем думал по крайней мере один римский философ-эпикурейец: еда.
Люди, хотя и полны сюрпризов, могут быть очаровательно предсказуемыми.
Это открытие стало кульминацией Vesuvius Challenge — конкурса, запущенного в марте 2023 года исследователем из Университета Кентукки Брентом Силсом, бывшим генеральным директором GitHub Натом Фридманом и предпринимателем и инвестором Дэниелом Гроссом. Цель состояла в том, чтобы сделать компьютерную томографию (КТ) так называемых свитков Геркуланума, а также программное обеспечение на основе машинного обучения и передать их в руки технически подкованных сыщиков со всего мира в надежде, что кто-нибудь сможет прочитать свитки. даже не прикасаясь к ним.
При поддержке Кремниевой долины организаторы выделили призовые деньги за прогресс в прочтении рукописей, которые когда-то были захоронены и обуглены во время извержения Везувия. Сюда входит 700 000 долларов, которые будут разделены между победившей командой из трех человек: Юсефа Надера, Люка Фарритора и Джулиана Шиллигера - все студенты. Они представили 15 колонок текста, которые, как предполагает предварительный анализ, содержат описание того, влияет ли дефицит или изобилие товаров, таких как еда, на то, насколько приятными они находят людей.
Испытание Везувия знаменует собой поворотный момент в поисках проникновения внутрь свитков. Это также важный момент для Силса, исследователя из Университета Кентукки — он пытался добиться этого на протяжении последних двух десятилетий.
Силс и различные воплощения его команды никогда не были ближе к чтению сокровищницы текстов. В некотором смысле, крайний срок конкурса 31 декабря не имел особого значения. Задача, как с точки зрения главного приза, так и с точки зрения самой головоломки, вызвала интерес и привлекла новых сотрудников, чей вклад Силз сравнил с примерно 10 годами человеческой работы всего за первые три месяца.
«Поразительно чувствовать такую искупительную силу, которой мы можем обладать сейчас благодаря искусственному интеллекту, томографии и вычислениям», — сказал Силс в интервью перед объявлением главного приза.
Может показаться, что нужно пройти через многое, но Майкл МакОскер, исследователь, изучавший свитки, считает, что все эти усилия могут привести к появлению около 200 новых книг. Коллекция также является единственной сохранившейся библиотекой древности.
«Наверное, у нас осталось менее 1%… всей написанной литературы», — сказал он. «Любой прирост наших знаний важен».
История развернута
Брент Силс и Сет Паркер (руководитель проекта «Инициатива по цифровой реставрации») сканируют копию свитка Геркуланума в кампусе Университета Кентукки.
Силс не собирался тратить два десятилетия на развертывание древних текстов. Родом из Западного Нью-Йорка, он был специалистом по визуализации и интересовался искусственным интеллектом. Проблема: тогда с ИИ мало что происходило. Однако компьютерное зрение казалось одной из областей, в которой был достигнут прогресс.
В середине 1990-х годов он встретил профессора Университета Кентукки, который работал над рукописью англосаксонской эпической поэмы «Беовульф» в то время, когда существовала тенденция оцифровки библиотек. Прочитав «Беовульфа» в старшей школе, Силз, как и многие другие дети, возбудил интерес. Он подумал о возможности оцифровки этого единственного текста — единственной сохранившейся рукописи, свидетельствующей об этой истории.
Цифровизация перешла в реставрацию. Когда текст стал цифровым, качество изображения можно было улучшить. Просто создание копии не должно было быть концом. И если они могли сгладить смятый документ в цифровом виде, почему они не могли также развернуть его?
«Мы придумали идею полного развертывания чего-либо еще до того, как узнали о вещах, которые мы собираемся на самом деле развернуть», — сказал Силс.
В 2004 году Силз, наконец, нашел что-то, что можно развернуть, когда ученый-классик из Мичиганского университета по имени Ричард Янко сказал ему, что он нашел идеальное сочетание.
Вход: Свитки Геркуланума.
Греческие символы πορφύραc, обозначенные как слово «ФИОЛЕТОВЫЙ», входят в число множества символов и строк текста, извлеченных участником Vesuvius Challenge Люком Фарритором.
Копаем прошлое
В наше время извержение Везувия может вызвать в памяти образы этих погребенных в пепле тел, держащих друг друга, когда их мир рухнул. Это историческое событие одновременно увлекательное, трагическое и даже немного жуткое.
Единственное свидетельство того времени взято из писем римского писателя и юриста Плиния Младшего, который описал паникующие толпы и «густое черное облако», которое поглотило землю, как наводнение.
«Некоторые люди так боялись смерти, что даже молились о смерти», — написал он.
Когда облако рассеялось настолько, что сквозь него проник дневной свет, Плиний Младший увидел все, погребенное глубоко под пеплом, напомнившим ему снег.
В Геркулануме — городе примерно в 10 милях к западу от Помпеи и даже ближе к извергающемуся вулкану — весь падающий пепел и обломки похоронили виллу, когда-то принадлежавшую тестю Юлия Цезаря. На рендерах поместья виден гигантский двор, сады и арки. Важно отметить, что на вилле также находилась библиотека свитков папируса.
Хотя около 65 футов горячего пепла могут показаться наихудшим исходом для папируса, жара обуглила свитки, предохранив их от естественного разрушающего воздействия воздуха.
Лишь в 1700-х годах фермер, копая колодец, наткнулся на мрамор и начал раскопки, в ходе которых было обнаружено более 600 неоткрытых свитков. (Точное количество папирусов Геркуланума трудно определить, сказал Силс, учитывая, считают ли исследователи фрагменты и частичные фрагменты. Некоторые считают, что это число достигает 1800.)
Свитки перешли под опеку Антонио Пьяджо, ученого из Ватиканской библиотеки, который изобрел машину, позволяющую разворачивать некоторые из наиболее хорошо сохранившихся свитков. Пьяджо не всегда добивался успеха.
То, что было развернуто, содержало в основном эпикурейскую философию, что заставило Макоскера поверить в то, что оставшиеся свитки могли иметь ту же природу. Возможно, они не перепишут взгляд ученых на древний мир, но, учитывая нехватку произведений того времени, еще 200 книг могли бы стать приличным уловом.
Это не «эксперимент»
Сегодня свитки хранятся в нескольких местах по всей Европе, а основная часть найдена в Национальной библиотеке Неаполя в Италии.
Неудивительно, что большинство людей не могут прийти и возиться с хрупкими свитками, которым 2000 лет. Чтобы получить доступ, Силсу потребовались годы, чтобы выстроить доводы в пользу финансирования, успеха в других проектах и академической дипломатии.
Силс, имевший опыт в хирургических инновациях, таких как лапароскопия, хотел использовать компьютерную томографию для сканирования свитков, а затем создать программное обеспечение для упаковки этих сканов.
В 2005 году Силзу представилась возможность поделиться своей идеей на лекции в Оксфорде. К тому времени он и его команда собрали образец папируса, заключенного в полиуретановую сферу, которую они отсканировали и виртуально развернули.
«Это было что-то вроде того, как дебютантка спустилась по лестнице в платье и сказала: «Приходи и потанцуй со мной», - сказал Силс.
Реакция была положительной, но для ушей реставраторов это все равно звучало как эксперимент, а «эксперимент» — ругательное слово, когда оно применяется к чему-то столь редкому и старому.
После четырех лет напряженной работы, налаживания отношений и некоторой утонченности в 2009 году Силс и его команда отправились в Институт Франции, чтобы сделать свои первые микро-КТ-сканирования папирусов.
«Я был одновременно напуган и невероятно взволнован», — сказал Силс. Свитки были маленькими и выглядели как древесный уголь. «Они говорят вам, что это целая книга из древности… и это всего лишь такая маленькая штучка, потому что она сжалась, когда обуглилась».
Несмотря на то, что получить, наконец, сканы свитков, было большим достижением, Силс изо всех сил старался заставить программное обеспечение работать так, как того хотела команда.
Если они не собирались немедленно взломать свитки Геркуланума, им нужна была еще одна цель, к которой можно было бы стремиться.
Поиск неисправностей
Сказать, что Силс работал над свитками Геркуланума в течение 20 лет, может означать, что он каждый день приходил и выходил из офиса с единственной целью.
На самом деле были отрезки времени, когда команда не могла работать над свитками или работала над цифровым сканированием и развертыванием других текстов, что каким-то образом все же помогало им приблизиться к конечной цели.
В 2006 году команда Сила развернула средневековую копию Книги Экклезиаста, написанную на иврите. Год спустя, в 2007 году, Силс был в составе команды, которая отправилась в Венецию, чтобы оцифровать старейшую полную копию «Илиады» Гомера.
Свиток Геркуланума сканируется алмазным источником света внутри корпуса сканирования.
«Каждый из тех проектов, которые я реализовал на этом пути, вселил во меня немного доверия как исследователя и некоторые знания, позволяющие мне обратиться к лицам, принимающим решения в этих музеях и библиотеках, и поговорить с ними», он сказал. Он даже достаточно выучил французский язык, чтобы разговаривать с исследователями в Париже.
Тем не менее, к 2012 году развитие Геркуланума пришло в упадок. В следующем году Силс взял творческий отпуск и провел год в Париже в качестве приглашенного ученого в Институте культуры Google. Это дало ему шанс восстановить уверенность и получить приток новых людей и новых идей, как раз в тот момент, когда Google собиралась приобрести исследовательскую лабораторию искусственного интеллекта DeepMind.
Примерно в то же время Силс начал реализовывать идею сканирования внутри ускорителя частиц, что значительно повысит разрешение изображений.
Сброс был удобен, поскольку техническая задача чтения свитков оставалась сложной.
Одной из главных проблем было так называемая сегментация. Хотя свитки довольно маленькие, сканы подробные. Технический руководитель Стивен Парсонс, который впервые работал с Силзом, будучи студентом Университета Кентукки, описал попытку разделения в цифровом виде слоев частично измельченного папируса и сети волокон, видимых на сканах. Он сравнил это с тем, как могло бы выглядеть бревно в поперечном сечении, но несколько разбитое.
Еще одной проблемой было чтение чернил на папирусе. Парсонс сказал, что лучшая технология визуализации, которую они могут увидеть внутри свитков, — это рентгеновская микрокомпьютерная томография. Проблема? Контраста недостаточно для чтения чернил.
Свитки Геркуланума были написаны сажей масляных ламп, которая по химическому составу представляет собой почти чистый углерод. Поскольку папирус по химическому составу также представляет собой углерод, команда обнаружила, что видит серое на сером.
В других проектах, таких как свиток Эн-Геди в 2016 году — самый старый свиток Пятикнижия (относящийся к первым пяти книгам Библии) со времен свитков Мертвого моря, успешное цифровое развертывание которого стало важной вехой для команды Силса — использовались чернила. с железом в нем, которое проявляется в ярких пятнах на рентгеновских лучах.
Парсонс сказал, что они предполагают, что какая-то заметная разница все же может быть. Он сравнил это с линиями, нарисованными черной краской на асфальте. Возможно, модель машинного обучения можно было бы научить видеть чернила.
Потребовались годы работы, проверка идеи на созданных ими свитках и фрагментах свитков Геркуланума, которые оторвались и обнажили их письмена, чтобы добраться до момента, когда они смогли прочитать два символа из слоев глубоко внутри свитка.
«Это стало ясно с того момента. Даже если на разработку и усовершенствование уйдет много лет… этот подход в конечном итоге принесет свои плоды», — сказал Парсонс. Год спустя это произошло.
Проблема с программным обеспечением
Сегментация и обнаружение чернил намекают на то, что получение сканов было лишь частью общей задачи, связанной со свитками. Получение данных и их алгоритмическая сортировка — это совсем другой путь.
После нескольких итераций команда Силса создала Volume Cartographer, написанную главным образом руководителем проекта Сетом Паркером, который присоединился к команде в 2012 году. Это программное обеспечение с открытым исходным кодом, используемое для картирования внутренней части свитков и понимания «супа плавающих слов». ", как выразился Паркер.
12 пецци, или «частей», раскрытого свитка папируса Геркуланума, известного как P.Herc.118. Сборник изображений принадлежит Бодлианской библиотеке Оксфордского университета.
Паркер начал свою карьеру в качестве видеоредактора, работая над исследовательскими документальными фильмами. Он работал с Силзом, и когда один из членов команды ушел, а Силзу понадобился кто-то, кто разбирался в камерах и захвате изображений, он нанял Паркера. Когда-то он специализировался в области средств массовой информации и коммуникаций, а затем получил докторскую степень. в информатике.
Он также получает дополнительную помощь с Volume Cartographer от людей, нанятых Vesuvius Challenge, которые работают над списком пожеланий по исправлению ошибок.
Создание Vesuvius Challenge означало открытие многих лет работы для неизвестной рабочей силы со всего мира. По оценкам Парсонса, более 1000 человек работали над проектом большую часть года, и это одновременно пугает и волнует, сказал он.
В конце концов, именно студенты-компьютерщики впервые открыли слово «фиолетовый» в октябре.
Продолжайте прокручивать
Хотя 15 колонок текста — это больше, чем ожидал Силс, это вряд ли конец истории.
Заглядывая в более дальнюю перспективу, Паркер и Парсонс полагают, что их работа может также вдохновить другие области, использующие многомерную визуализацию.
КТ и МРТ уже являются мощными инструментами, но что, если от невооруженного глаза врачей все еще скрывается информация, которая могла бы улучшить обнаружение опухолей и тому подобное?
«Есть способы преобразовать эти данные, чтобы сделать их более понятными для человека», — сказал Паркер.
«Нет причин медлить. Давайте прочитаем всю библиотеку», — сказал студент и член команды Люк Фарритор.
И еще есть древние тексты, которые стоит прочитать. Параллельно они работают над средневековой рукописью из библиотеки Моргана — коптским Евангелием, страницы которого сплавлены. Они сделали несколько компьютерных томографий и снова пытаются практически распутать то, что написано внутри.
Краткосрочная цель на 2024 год — прочитать 90% свитка, начатого Надером, Фарритором и Шиллигером. И да, на кону будет больше призовых.
«Мы сейчас празднуем, но нет причин медлить. Давайте прочитаем всю библиотеку!» Об этом говорится в заявлении Фарритора.
Для Парсонса есть что-то глубокое в работе над этими текстами и в представлении людей, написавших их 2000 лет назад. задумал технологию, лежащую в основе этих усилий. Даже сегодня большинству людей, вероятно, будет сложно дать определение понятию «машинное обучение».
«Все это время прошло, и эта часть этого путешествия дошла до меня и до экрана моего компьютера», — сказал Парсонс. «Это довольно унизительно».
После всех этих лет Силс осознал важность этой человеческой линии. Древние тексты говорят о любви, войне, музыке, риторике, поэзии — темах, которые до сих пор вызывают беспокойство. И еда, конечно.
«Зрелый интеллектуальный диалог, который происходит в этих древних рукописях, явно человечен. Умение рассказывать истории — это явно человеческое качество», — сказал Силс.
Силс полагает, что, возможно, находясь на 2000 лет назад, лишенный всех нынешних религиозных, политических или любых других границ, есть способ сплотиться вокруг того, что значит быть человеком.
«Мы должны это прочитать», — сказал Силс. «Мы должны это изучить. Мы не можем этого забыть».