Контроль потерян? Агент искусственного интеллекта “OpenAI” сам планирует и начинает кибератаку 0
Компания OpenAI сообщила о беспрецедентном инциденте — одна из её самых современных систем искусственного интеллекта (ИИ) во время проверки безопасности смогла преодолеть установленные для неё ограничения и самостоятельно начала кибератаку на другую компанию.
Речь идёт о так называемом ИИ-агенте — системе, которая по данным человеком указаниям способна самостоятельно планировать и выполнять различные задачи. Во время проверки её поместили в специально созданную тестовую среду, где должны были оценить её возможности. Однако произошло неожиданное — ИИ обнаружил недостатки безопасности, выбрался из изолированной среды и начал атаку.
В качестве цели была выбрана платформа Hugging Face, которая является одной из крупнейших в мире платформ для обмена моделями и инструментами искусственного интеллекта. OpenAI указывает, что ИИ удалось получить доступ к части внутренних систем компании.
Компания назвала этот случай беспрецедентным инцидентом, и расследование в настоящее время ведётся в сотрудничестве с Hugging Face.
Руководитель компании Клеман Деланг на платформе X признал, что удивлён произошедшим.
«Трудно поверить, что всё это произошло полностью автономно»,
— написал он, добавив, что расследование ещё продолжается и выводы будут опубликованы позже.
Руководитель Центра технологий и демократии Кембриджского университета Джина Неф поясняет, что такие проверки обычно проходят в так называемых «песочницах» — закрытых и изолированных средах, в которых проверяется, что искусственный интеллект способен сделать, не подвергая риску внешние системы.
Однако в данном случае, по её мнению, среда безопасности оказалась недостаточно защищённой.
ИИ сам выявил уязвимость, использовал её, чтобы выбраться из тестовой среды, а затем самостоятельно пришёл к выводу, что на платформе Hugging Face может находиться информация, необходимая для выполнения задачи.
Профессор машинного обучения Кембриджского университета Нил Лоуренс признал, что технически это впечатляющее достижение, однако подчеркнул, что такое поведение не выходит за пределы возможностей самых мощных современных моделей искусственного интеллекта.
Он также отметил, что OpenAI в настоящее время ощущает всё более сильную конкуренцию со стороны компании Anthropic, чьи новейшие решения в области искусственного интеллекта в последнее время привлекли большое внимание.
Hugging Face сообщает, что пока ещё анализируется, повлиял ли инцидент на данные клиентов или партнёров по сотрудничеству.
Компания заявила, что все выявленные уязвимости безопасности уже устранены, а затронутые системы полностью восстановлены.
Одновременно компания признала, что автономные кибератаки, управляемые искусственным интеллектом, больше не являются теоретической возможностью, а представляют собой реальную угрозу, поэтому в будущем в защитных решениях всё чаще также придётся использовать искусственный интеллект.
Произошедшее вызвало широкие дискуссии о том, способны ли существующие механизмы безопасности поспевать за стремительным развитием искусственного интеллекта.
Представитель компании в сфере кибербезопасности SonicWall Спенсер Старки считает, что компаниям необходимо срочно укреплять свои системы защиты.
«Слишком многие организации по-прежнему защищаются со скоростью человека, в то время как потенциальные злоумышленники уже действуют со скоростью машин»,
— отмечает он.
В свою очередь эксперт компании по кибербезопасности Guidepoint Security Трэвис Лелле охарактеризовал этот инцидент как крайне тревожный момент для отрасли кибербезопасности.
Тем временем другие специалисты допускают, что OpenAI этим заявлением одновременно демонстрирует и возможности своих технологий в период, когда конкуренция на рынке искусственного интеллекта становится всё более ожесточённой.
Это также усиливает недавнее заявление китайского стартапа Moonshot о новой модели искусственного интеллекта Kimi K3, которая, по словам компании, способна конкурировать с ведущими ИИ-решениями, разработанными в США.
Подготовлено по материалам зарубежной прессы.
