Выяснилось, что четыре самых популярных чат-бота допускают «значительные неточности и искажения» 0
Издание BBC обнаружило, что четыре самых популярных чат-бота неточно резюмируют новости, пишет habr.com.
В рамках собственного исследования редакция BBC попросила ChatGPT от OpenAI, Copilot от Microsoft, Gemini и Perplexity прочитать новости со своего сайта, а затем задавала им вопросы, связанные с содержанием материалов. Как утверждают в BBC, в полученных ответах были «значительные неточности и искажения».
Журналисты попросили чат-ботов прочесть 100 новостей. После серии вопросов по содержанию материалов они оценили качество ответов. Выяснилось, что в 51% всех ответов ИИ были «существенные проблемы в той или иной форме», а в 19% были грубые фактические ошибки. Например, чат-бот Google Gemini переврал заявление Национальной службы здравоохранения Великобритании о вейпинге, а ChatGPT и Copilot заявили, что политики Риши Сунак и Никола Стерджен, ушедшие в отставку, до сих пор работают.
Помимо фактических ошибок, чат-боты «с трудом различали мнение редакции и объективные факты и часто упускали существенный контекст». При этом Copilot и Gemini допускали больше серьёзных ошибок, чем ChatGPT и Perplexity, отмечают в BBC.
Как заявил директор программы BBC по генеративному ИИ Пит Арчер, издатели «должны контролировать, используется ли их контент и как он используется, а компании, которые разрабатывают ИИ-сервисы, должны раскрывать масштаб и объём ошибок и неточностей, которые они допускают».
