10 ключевых причин, по которым ИИ стал мейнстримом в одночасье - и что будет дальше
В некоторых задачах модель на основе GPT-4 одержала победу. В других случаях это не удалось. Как понять, когда на него стоит рассчитывать?
Что меня больше всего сбивает с толку в тестах программирования, которые я проводил, так это то, что инструменты, основанные на одной и той же большой языковой модели, как правило, работают совершенно по-разному.
Например, ChatGPT, Perplexity и GitHub Copilot основаны на модели GPT-4 от OpenAI. Но, как я покажу вам ниже, в то время как профессиональные планы ChatGPT и Perplexity работали отлично, GitHub Copilot терпел неудачи так же часто, как и добивался успеха.
Я протестировал GitHub Copilot, встроенный в экземпляр VS Code. Я объясню, как это настроить и использовать GitHub Copilot в следующей пошаговой статье. Но сначала давайте пробежимся по тестам.
Если вы хотите узнать, как я тестирую и подсказки для каждого отдельного теста, не стесняйтесь прочитать , как я проверяю способность чат-бота с искусственным интеллектом к программированию.
ТЛ; DR: GitHub Copilot прошел два и провалился два.
Тест 1: Написание плагина для WordPress
Так что это с треском провалилось. Это был мой первый тест, поэтому я пока не могу сказать, ужасен ли GitHub Copilot в написании кода или контекст, в котором с ним взаимодействуют, ограничен до такой степени, что он не может удовлетворить это требование.
Позвольте мне объяснить.
Этот тест включает в себя просьбу к искусственному интеллекту создать полнофункциональный плагин WordPress с элементами интерфейса администратора и операционной логикой. Плагин принимает набор имен, сортирует их и, если есть дубликаты, разделяет дубликаты, чтобы они не располагались рядом.
Это было реальное приложение, которое понадобилось моей жене как часть устройства для вовлечения, которое она запускает в своей очень активной группе в Facebook в рамках своего бизнеса электронной коммерции цифровых товаров.
Большинство других ИИ прошли этот тест, по крайней мере, частично. Пять из 10 протестированных моделей ИИ прошли тест полностью. Трое из них прошли часть испытаний. Два (включая Microsoft Copilot) вышли из строя полностью.
Дело в том, что я дал GitHub Copilot ту же подсказку, что и всем, но он написал только PHP-код. Чтобы было понятно, эту проблему можно решить исключительно с помощью PHP-кода. Но некоторые ИИ любят включать JavaScript в качестве интерактивных функций. GitHub Copilot включил код для использования JavaScript, но так и не сгенерировал JavaScript, который пытался использовать.
Что еще хуже, когда я создал файл JavaScript и попытался заставить GitHub Copilot запустить командную строку, он выдал мне другой скрипт PHP, который также ссылался на файл JavaScript.
Как вы можете видеть ниже, в randomizer.js файле он пытался поставить в очередь (в основном для запуска для запуска) randomizer.js файл, и код, который он написал, был PHP, а не JavaScript.
Тест 2: Переписывание строковой функции
Этот тест довольно прост. Я написал функцию, которая должна была тестировать доллары и центы, но в итоге тестировал только целые числа (доллары). Тест просит ИИ исправить код.
GitHub Copilot действительно переработал код, но с кодом, который он создал, было куча проблем.
- Он предполагал, что строковое значение всегда является строковым значением. Если бы он был пустым, код бы сломался.
- Пересмотренный код регулярного выражения будет нарушен, если будет введена десятичная точка (т.е. "3."), если будет введена начальная десятичная точка (т.е. ".3") или если будут включены ведущие нули (т.е. "00.30").
Для чего-то, что должно было проверять, правильно ли введена валюта, неудача с кодом, который мог бы рухнуть в крайних случаях, неприемлема.
Итак, у нас есть еще один провал.
Тест 3: Поиск досадного бага
GitHub Copilot сделал это правильно. Это еще один тест, взятый из моих реальных эскапад по программированию. Что сделало эту ошибку такой раздражающей (и трудной для понимания), так это то, что сообщение об ошибке не связано напрямую с реальной проблемой.
Ошибка — это своего рода эквивалент вопроса с подвохом. Решение этой проблемы требует понимания того, как работают конкретные вызовы API в фреймворке WordPress, а затем применения этих знаний к рассматриваемой ошибке.
Microsoft Copilot, Gemini и Meta Code Llama не прошли этот тест. Но GitHub Copilot решил ее правильно.
Тест 4: Написание сценария
Здесь GitHub Copilot также преуспел там, где Microsoft Copilot потерпел неудачу. Сложность здесь в том, что я проверяю способность искусственного интеллекта создавать скрипт, который знает о программировании в AppleScript, объектной модели Chrome и небольшой сторонней утилите для программирования только для Mac под названием Keyboard Maestro.
Чтобы пройти этот тест, ИИ должен быть в состоянии распознать, что все три среды кодирования требуют внимания, а затем адаптировать отдельные строки кода к каждой из этих сред.
Заключение
Учитывая, что GitHub Copilot использует GPT-4, я нахожу тот факт, что он провалил половину тестов, обескураживающим. GitHub — едва ли не самая популярная среда управления исходным кодом на планете, и можно надеяться, что поддержка кодирования ИИ достаточно надежна.
Как и во всем, что связано с искусственным интеллектом, я уверен, что производительность станет лучше. Давайте будем следить за обновлениями и заглянем через несколько месяцев, чтобы увидеть, будет ли ИИ более эффективным в это время.
Используете ли вы искусственный интеллект для помощи в программировании? Какой ИИ вы предпочитаете? Вы пробовали GitHub Copilot? Дайте нам знать в комментариях ниже.