ChatGPT превратил умных неандертальцев в косматых троглодитов и довел антропологов до истерики
NewsMakerСовременные модели рисуют древних людей хуже, чем расисты 1860-х — и этим все сказано.
Сейчас, если у нас возникают вопросы о прошлом, которые не дают покоя и требуют немедленных ответов, мы нередко обращаемся к помощи нейросетей, в частности генеративных. Картинки и описания древних людей появляются за секунды. Но насколько такие ответы совпадают с современными научными данными? Это решили отдельно проверить американские исследователи. Антрополог Мэттью Маньяни из Университета штата Мэн вместе с специалистом по вычислительной антропологии Джоном Клинданиелом из Чикагского университета провели серию тестов с чат-ботами и генераторами изображений.
Ученые попросили две ИИ системы создать изображения и текстовые описания повседневной жизни неандертальцев. За основу они взяли модель, опирающуюся на многолетние научные теории и академические публикации, чтобы потом сравнить ответы с корпусом научных знаний. Задача состояла скорее не в том, чтобы уличить алгоритмы в невежестве, а в том, чтобы понять, какие искажения и устаревшие представления проявляются при обычном пользовательском запросе.
В работе использовали генератор изображений DALL-E 3 и текстовую модель через API ChatGPT на базе GPT-3.5. Исследователи составили четыре разных запроса и прогнали каждый по 100 раз. Два варианта не требовали научной точности. В двух других прямо указывалось, что результат должен соответствовать научным данным. Часть запросов была краткой, часть содержала дополнительные детали, например чем именно должны заниматься неандертальцы и какая на них одежда. Такой разбор позволил увидеть, влияет ли формулировка на достоверность ответа.
Проверка показала, что многое зависит от того, к каким источникам система фактически обращается. В этом эксперименте и изображения, и тексты часто опирались на устаревшие научные представления и работы. Авторы отдельно подчеркивают, что важно изучать встроенные искажения в повседневном использовании таких инструментов и сопоставлять быстрые ответы с актуальным состоянием науки. По их словам, остается открытым вопрос, в каких областях пользователи чаще получают устаревшие сведения от чат-ботов.
Сейчас, если у нас возникают вопросы о прошлом, которые не дают покоя и требуют немедленных ответов, мы нередко обращаемся к помощи нейросетей, в частности генеративных. Картинки и описания древних людей появляются за секунды. Но насколько такие ответы совпадают с современными научными данными? Это решили отдельно проверить американские исследователи. Антрополог Мэттью Маньяни из Университета штата Мэн вместе с специалистом по вычислительной антропологии Джоном Клинданиелом из Чикагского университета провели серию тестов с чат-ботами и генераторами изображений.
Ученые попросили две ИИ системы создать изображения и текстовые описания повседневной жизни неандертальцев. За основу они взяли модель, опирающуюся на многолетние научные теории и академические публикации, чтобы потом сравнить ответы с корпусом научных знаний. Задача состояла скорее не в том, чтобы уличить алгоритмы в невежестве, а в том, чтобы понять, какие искажения и устаревшие представления проявляются при обычном пользовательском запросе.
В работе использовали генератор изображений DALL-E 3 и текстовую модель через API ChatGPT на базе GPT-3.5. Исследователи составили четыре разных запроса и прогнали каждый по 100 раз. Два варианта не требовали научной точности. В двух других прямо указывалось, что результат должен соответствовать научным данным. Часть запросов была краткой, часть содержала дополнительные детали, например чем именно должны заниматься неандертальцы и какая на них одежда. Такой разбор позволил увидеть, влияет ли формулировка на достоверность ответа.
Проверка показала, что многое зависит от того, к каким источникам система фактически обращается. В этом эксперименте и изображения, и тексты часто опирались на устаревшие научные представления и работы. Авторы отдельно подчеркивают, что важно изучать встроенные искажения в повседневном использовании таких инструментов и сопоставлять быстрые ответы с актуальным состоянием науки. По их словам, остается открытым вопрос, в каких областях пользователи чаще получают устаревшие сведения от чат-ботов.