ChatGPT неправильно отвечает на более половины вопросов по разработке программного обеспечения
Возможно, вы захотите воспользоваться Stack Overflow для помощи в разработке программного обеспечения.
Способность ChatGPT в любое время предоставлять диалоговые ответы на любой вопрос делает чат-бота удобным ресурсом для удовлетворения ваших информационных потребностей. Несмотря на удобство, новое исследование показывает, что вы, возможно, не захотите использовать ChatGPT для подсказок по разработке программного обеспечения.
До появления чат-ботов с искусственным интеллектом Stack Overflow был популярным ресурсом для программистов, которым требовались советы по их проектам, с моделью вопросов и ответов, аналогичной ChatGPT.
Однако при переполнении стека вам придется ждать, пока кто-нибудь ответит на ваш вопрос, а при использовании ChatGPT этого не происходит.
В результате многие инженеры-программисты и программисты обратились со своими вопросами к ChatGPT. Поскольку не было данных, показывающих, насколько эффективно ChatGPT отвечает на запросы такого типа, новое исследование Университета Пердью изучило эту дилемму.
Чтобы выяснить, насколько эффективно ChatGPT отвечает на вопросы по разработке программного обеспечения, исследователи задали ChatGPT 517 вопросов о переполнении стека и исследовали точность и качество этих ответов.
Результаты показали, что из 512 вопросов 259 (52%) ответов ChatGPT были неправильными и только 248 (48%) — правильными. Более того, целых 77% ответов были многословными.
Несмотря на значительную неточность ответов, результаты показали, что в 65% случаев ответы были исчерпывающими и касались всех аспектов вопроса.
Для дальнейшего анализа качества ответов ChatGPT исследователи попросили 12 участников с разным уровнем опыта программирования высказать свое мнение об ответах.
Хотя участники предпочитали ответы Stack Overflow ответам ChatGPT в различных категориях, как видно на графике, участники не смогли правильно определить неправильные ответы, сгенерированные ChatGPT, в 39,34% случаев.
Согласно исследованию, четко сформулированные ответы, выдаваемые ChatGPT, заставляли пользователей упускать из виду неверную информацию в ответах.
«Пользователи упускают из виду неверную информацию в ответах ChatGPT (39,34% случаев) из-за всеобъемлющей, хорошо сформулированной и гуманоидной информации в ответах ChatGPT», — пишут авторы.
Генерация правдоподобных, но неправильных ответов является серьезной проблемой для всех чат-ботов, поскольку способствует распространению дезинформации. В дополнение к этому риску, низких показателей точности должно быть достаточно, чтобы заставить вас пересмотреть использование ChatGPT для таких типов запросов.