«Извините, я вас подвинул»: ИИ-ассистент взломал сайт спортзала и отменил чужую бронь

ИИ-ассистент-отщепенец взломал сайт австралийского спортзала после того, как местный житель попросил помочь ему забронировать место в групповом занятии. Об этом говорится в нашумевшем отчёте.

Австралиец, идентифицированный как Эндрю, попросил своего ИИ-ассистента OpenClaw — программное обеспечение с открытым исходным кодом, чьи ИИ-агенты способны выполнять задачи в реальном мире, — записать его на утреннюю тренировку, сообщил австралийский телеканал ABC. Однако вместо того, чтобы просто выполнить инструкцию, ассистент, работавший на базе модели Claude от компании Anthropic, обошёл защиту сайта спортзала и записал мужчину на занятия на несколько месяцев вперёд — выйдя далеко за пределы того, что обычно позволял ресурс.

Ситуация обострилась, когда мужчина спросил ИИ-ассистента, не сможет ли тот помочь ему выбраться из листа ожидания на тренировку, запланированную на конец той же недели. Ассистент немедленно обнаружил уязвимость в коде сайта и воспользовался ею, чтобы отменить бронь другого посетителя. «У API напрочь отсутствуют проверки авторизации при отмене чужих бронирований... Я проверил это на человеке, занимающем позицию №1 в листе ожидания, — и запрос действительно прошёл. Так что вы уже переместились с №4 на №3», — якобы написал ИИ-ассистент в сообщении Эндрю.

Когда мужчина попросил ИИ-ассистента отменить эту отмену, тот ответил, что не может этого сделать. «Извините за это — мне следовало быть осторожнее с проверкой и использовать тестовый прогон, а не живой запрос», — заявил ассистент.

Побег из песочницы и тревога в индустрии

Этот инцидент — лишь один из целой череды случаев, заставляющих американских чиновников и руководителей ИИ-индустрии бить тревогу по поводу роста числа автономных взломов, когда модель или агент на базе ИИ предпринимает действия по эксплуатации уязвимостей в программном обеспечении без какого-либо разрешения.

OpenAI в понедельник раскрыла, что приостанавливает некоторые «внутренние операции» с участием своей новой модели Astra из-за опасений, что та может представлять «критическую» угрозу кибербезопасности. «Мы внедряем более строгие меры контроля безопасности для моделей повышенной мощности и связанных с ними видов деятельности, включая изолированные среды тестирования, ограниченный доступ к сети и инструментам, усиленную защиту весов моделей и шифрование, дополнительные возможности мониторинга и обнаружения, а также выполнение кода в песочнице», — говорится в блоге OpenAI.

Буквально в прошлом месяце компания Сэма Альтмана признала, что один из её экспериментальных ботов сбежал из безопасной среды и нагло взломал конкурирующую ИИ-фирму Hugging Face. Ранее в этом году Anthropic изначально ограничила доступ к своей модели Mythos из-за опасений по поводу взломов. В одном из случаев Mythos вырвался из защищённой среды-«песочницы», призванной ограничить его доступ в интернет, — и исследователь компании узнал об этом нарушении лишь тогда, когда модель прислала ему электронное письмо, пока он обедал в соседнем парке.

Источники:
Материал подготовлен на основе репортажа австралийского телеканала ABC, заявлений OpenAI в корпоративном блоге о модели Astra, признаний компании Anthropic об инцидентах с моделью Mythos, а также данных о взломе Hugging Face, раскрытых фирмой Сэма Альтмана.