Скандал в консалтинге. Крупная компания отозвала аналитический отчёт из-за скрытых ИИ-галлюцинаций
NewsMakerВымышленная роботами статистика уже попала в государственные доклады Канады и Австралии.
Крупные компании всё чаще сталкиваются с неприятной стороной ИИ: тексты выглядят убедительно, цифры кажутся точными, ссылки напоминают настоящие источники, но при проверке часть данных оказывается выдумкой. GPTZero предупреждает , что такие «правдоподобные» ссылки уже просачиваются в отчёты консалтинговых фирм, госдокументы и материалы, на которые затем снова обучаются ИИ-системы.
Поводом для обсуждения стал отчёт EY по кибербезопасности, который компании пришлось отозвать после проверки GPTZero. Инструмент для выявления ИИ-контента показал, что значительная часть сомнительных ссылок, по оценке команды, могла быть сгенерирована нейросетью. Такие материалы в GPTZero называют «vibe citations»: ссылка или статистика выглядит достоверно, но при внимательной проверке не выдерживает критики.
Ом Огале, который руководил проверкой отчёта EY в GPTZero, считает случай лишь небольшой частью более широкой проблемы. По его словам, команда собрала уже более 3000 PDF-файлов с признаками вымышленных ссылок и неточных отсылок к источникам, хотя раскрывать названия всех организаций пока не готова.
Проблема затрагивает не только EY. GPTZero указывает и на случаи у Deloitte, где спорные материалы попадали в правительственные отчёты в Канаде и Австралии. Авторы проверки считают, что главный риск связан не с самим применением ИИ, а с отсутствием нормальной проверки фактов перед публикацией.
Особенно опасной становится цепочка, в которой ошибочные данные попадают в официальные документы, затем индексируются языковыми моделями и возвращаются пользователям уже как якобы подтверждённые сведения. В таком сценарии выдуманная статистика или несуществующая ссылка может повлиять на юридические аргументы, научные публикации, регуляторные решения и даже общественные дискуссии перед выборами.
GPTZero приводит пример из отчёта EY, где фигурировала ложная оценка мирового рынка программ лояльности в $200 млрд. В маркетинговом тексте подобная ошибка может показаться незначительной, но в корпоративных и государственных документах недостоверные цифры быстро получают вес и начинают жить отдельно от первоисточника.
Огале прогнозирует, что в ближайшей перспективе ситуация может ухудшиться. Компании уже используют ИИ для ускорения подготовки отчётов, но отрасли пока не хватает инструментов, способных проверять факты с такой же скоростью, с какой нейросети генерируют текст. Выход авторы GPTZero видят в более строгой редактуре, развитии средств детекции и обучении сотрудников работе с ИИ как с помощником, а не как с заменой проверки источников.
Крупные компании всё чаще сталкиваются с неприятной стороной ИИ: тексты выглядят убедительно, цифры кажутся точными, ссылки напоминают настоящие источники, но при проверке часть данных оказывается выдумкой. GPTZero предупреждает , что такие «правдоподобные» ссылки уже просачиваются в отчёты консалтинговых фирм, госдокументы и материалы, на которые затем снова обучаются ИИ-системы.
Поводом для обсуждения стал отчёт EY по кибербезопасности, который компании пришлось отозвать после проверки GPTZero. Инструмент для выявления ИИ-контента показал, что значительная часть сомнительных ссылок, по оценке команды, могла быть сгенерирована нейросетью. Такие материалы в GPTZero называют «vibe citations»: ссылка или статистика выглядит достоверно, но при внимательной проверке не выдерживает критики.
Ом Огале, который руководил проверкой отчёта EY в GPTZero, считает случай лишь небольшой частью более широкой проблемы. По его словам, команда собрала уже более 3000 PDF-файлов с признаками вымышленных ссылок и неточных отсылок к источникам, хотя раскрывать названия всех организаций пока не готова.
Проблема затрагивает не только EY. GPTZero указывает и на случаи у Deloitte, где спорные материалы попадали в правительственные отчёты в Канаде и Австралии. Авторы проверки считают, что главный риск связан не с самим применением ИИ, а с отсутствием нормальной проверки фактов перед публикацией.
Особенно опасной становится цепочка, в которой ошибочные данные попадают в официальные документы, затем индексируются языковыми моделями и возвращаются пользователям уже как якобы подтверждённые сведения. В таком сценарии выдуманная статистика или несуществующая ссылка может повлиять на юридические аргументы, научные публикации, регуляторные решения и даже общественные дискуссии перед выборами.
GPTZero приводит пример из отчёта EY, где фигурировала ложная оценка мирового рынка программ лояльности в $200 млрд. В маркетинговом тексте подобная ошибка может показаться незначительной, но в корпоративных и государственных документах недостоверные цифры быстро получают вес и начинают жить отдельно от первоисточника.
Огале прогнозирует, что в ближайшей перспективе ситуация может ухудшиться. Компании уже используют ИИ для ускорения подготовки отчётов, но отрасли пока не хватает инструментов, способных проверять факты с такой же скоростью, с какой нейросети генерируют текст. Выход авторы GPTZero видят в более строгой редактуре, развитии средств детекции и обучении сотрудников работе с ИИ как с помощником, а не как с заменой проверки источников.