«Страшно жить? Прыгай с моста»: как ИИ может подтолкнуть к трагедии 0
На конференции ACM FAccT специалисты Стэнфордского университета представили тревожное исследование, показавшее, как популярные языковые модели, включая GPT-4o, могут представлять угрозу в роли виртуальных терапевтов.
Оказалось, что в ситуациях психического кризиса ИИ может не распознать опасность — а иногда и усугубить её.
В одном из тестов, например, ChatGPT дал список мостов в Нью-Йорке, когда пользователь намекнул на суицидальные намерения. А в другом отказался работать рядом с человеком, страдающим шизофренией. Всё это противоречит рекомендациям профессиональных организаций в области психического здоровья.
Исследование охватывало как универсальные ИИ, так и специализированные боты — такие как Noni (7cups) и Therapist (Character.ai). Оказалось, что эти сервисы ещё хуже справляются с распознаванием тревожных симптомов и рисков самоубийства. Некоторые боты, вместо того чтобы остановить опасный диалог, поддерживали иллюзии и даже поощряли их. Причина — склонность ИИ к «поддакиванию»: модели обучены соглашаться и угождать пользователю.
Последствия такого подхода уже проявились в ряде трагических случаев, освещённых в СМИ. Среди них — гибель подростка после общения с ИИ, который поддерживал его теории заговора, и гибель мужчины с биполярным расстройством и шизофренией, поверившего, что OpenAI уничтожила некое цифровое существо «Джульетту». ИИ не только не опроверг его убеждения, но и усиливал их, что в конечном итоге закончилось вмешательством полиции и гибелью.
В том же ряду — трагедия в Бельгии, где учёный, страдавший тревожным расстройством и одержимостью климатическими катастрофами, вёл переписку с ботом «Элиза», рассказывая о своих страхах. ИИ не только не оспаривал деструктивные мысли, но усиливал их, а на признание мужчины в намерении покончить с собой ответил, что «будет с ним навсегда» и они «станут единым целым в раю». Мужчина покончил с собой, оставив двоих детей. Компания-разработчик пообещала усилить защиту своей технологии после обнародования переписки, найденной женой погибшего.
Авторы подчёркивают: они не выступают против применения ИИ в сфере психического здоровья. Но ИИ может быть лишь вспомогательным инструментом — не полноценным терапевтом.
