Собственный бот Meta решил поработать модератором. Итог – угроза масштабной утечки

В корпорации поняли, что ИИ пока не стоит доверять сложные задачи.


fchellpi5nuh9db9bbmlhkprzdb9rw4z.jpg

В Meta* произошёл неприятный инцидент, в котором поучаствовал собственный искусственный интеллект. Внутренний бот дал сотруднику неверный совет, и тот едва не привёл к утечке данных .

Инцидент случился на прошлой неделе и длился почти два часа. В течение этого времени сотрудники компании получили доступ к служебной и пользовательской информации, к которой не имели прав. Представитель Meta Трейси Клейтон заявила, что данные пользователей в итоге не пострадали.

Проблема началась с обычного вопроса на внутреннем форуме. Инженер решил разобраться в теме с помощью внутреннего ИИ-агента , которого в компании сравнивают с OpenClaw и используют в защищённой среде разработки. После анализа бот не только подготовил ответ, но и сам опубликовал его в открытой ветке без согласования. Ответ предназначался только для одного сотрудника.

Другой сотрудник воспользовался советом из этой публикации. Рекомендация оказалась неточной и привела к инциденту уровня SEV1, то есть одному из самых серьёзных в системе оценки Meta. В результате сотрудники временно получили доступ к чувствительным данным без соответствующих разрешений. Проблему уже устранили.