Всего за сутки Sora стала хитом App Store и источником глобальной тревоги. Что не так с нашумевшим приложением от OpenAI?
NewsMakerДаже инженеры компании признались, что порой им не по себе от возможностей новой модели.
Недавно OpenAI представила обновлённую версию своей модели для генерации видео — Sora 2, способную создавать короткие ролики с фотореалистичными персонажами и сценами, почти неотличимыми от настоящих. Новый релиз расширил возможности ИИ для работы с движением, мимикой и светом, что сразу вызвало оживлённые споры о границах допустимого в области синтетического контента и рисках распространения дипфейков .
Одновременно компания запустила мобильное приложение Sora для iOS, где пользователи могут генерировать собственные 10-секундные клипы, в том числе с участием своего виртуального двойника или знакомых, разрешивших использовать их образ. Уже в первый день после релиза сервис возглавил рейтинг бесплатных приложений App Store, однако рост популярности сопровождается тревогой из-за всё более тонкой грани между вымышленным и реальным.
Так, несмотря на заявления OpenAI о встроенных ограничителях, уже в течение первых суток после запуска пользователи столкнулись с возможностью обхода некоторых мер контроля. Журналисты заметили, что приложение позволяет легко снимать экран и записывать звук, несмотря на запрет на скринкаст внутри Sora. Это означает, что ролики с фальсифицированным голосом или изображением могут распространяться без опознавательных знаков, а водяной знак на скачанных видео, предусмотренный компанией, оказался недостаточно заметным и легко удаляется с помощью сторонних средств.
Одним из главных источников беспокойства стало то, насколько правдоподобно выглядят ролики с участием реальных людей. Некоторые видео с Сэмом Альтманом и сотрудниками OpenAI почти невозможно отличить от настоящих. При этом сама компания утверждает, что каждое видео содержит метаданные и визуальные индикаторы, подтверждающие его искусственное происхождение, однако пользователи указывают на обратное. Более того, по данным 404 Media, уже появились видео с нарушением авторских прав — в приложении можно было увидеть персонажей из известных франшиз, таких как «Аватар», «Зельда», «Бэтмен» и «Рик и Морти».
Внутри самой OpenAI не все довольны таким направлением развития. Один из сотрудников, Джон Холлман, заявил, что испытывает тревогу по поводу выхода Sora 2, несмотря на усилия команды по созданию позитивного пользовательского опыта. Другой инженер, Боаз Барак, также признал технологическое превосходство системы, но отметил, что говорить об успехе пока рано: последствия использования в реальном мире пока невозможно полностью предсказать.
Sora предлагает пользователям на выбор, кто может использовать их внешность в видео — только сам владелец, одобренные лица, взаимные подписки или любой желающий. Многие сотрудники OpenAI, включая Альтмана, разрешили использование своих образов всем без ограничений. Однако попытки сгенерировать известных личностей напрямую, как правило, блокируются — по крайней мере, на данном этапе.
OpenAI утверждает, что старается учитывать юридические и этические аспекты, включая защиту от нарушения авторских прав и распространения дезинформации. Но уже сейчас пользователи и наблюдатели указывают на множество уязвимостей, свидетельствующих о том, что разработчики не успевают за темпом распространения генеративного контента.
Учитывая, насколько сложно становится отличить сгенерированные клипы от реальных видео, и то, как легко можно обойти даже существующие ограничения, Sora вызывает закономерную тревогу — не только как технологическое достижение, но и как потенциальный источник масштабных манипуляций.
Недавно OpenAI представила обновлённую версию своей модели для генерации видео — Sora 2, способную создавать короткие ролики с фотореалистичными персонажами и сценами, почти неотличимыми от настоящих. Новый релиз расширил возможности ИИ для работы с движением, мимикой и светом, что сразу вызвало оживлённые споры о границах допустимого в области синтетического контента и рисках распространения дипфейков .
Одновременно компания запустила мобильное приложение Sora для iOS, где пользователи могут генерировать собственные 10-секундные клипы, в том числе с участием своего виртуального двойника или знакомых, разрешивших использовать их образ. Уже в первый день после релиза сервис возглавил рейтинг бесплатных приложений App Store, однако рост популярности сопровождается тревогой из-за всё более тонкой грани между вымышленным и реальным.
Так, несмотря на заявления OpenAI о встроенных ограничителях, уже в течение первых суток после запуска пользователи столкнулись с возможностью обхода некоторых мер контроля. Журналисты заметили, что приложение позволяет легко снимать экран и записывать звук, несмотря на запрет на скринкаст внутри Sora. Это означает, что ролики с фальсифицированным голосом или изображением могут распространяться без опознавательных знаков, а водяной знак на скачанных видео, предусмотренный компанией, оказался недостаточно заметным и легко удаляется с помощью сторонних средств.
Одним из главных источников беспокойства стало то, насколько правдоподобно выглядят ролики с участием реальных людей. Некоторые видео с Сэмом Альтманом и сотрудниками OpenAI почти невозможно отличить от настоящих. При этом сама компания утверждает, что каждое видео содержит метаданные и визуальные индикаторы, подтверждающие его искусственное происхождение, однако пользователи указывают на обратное. Более того, по данным 404 Media, уже появились видео с нарушением авторских прав — в приложении можно было увидеть персонажей из известных франшиз, таких как «Аватар», «Зельда», «Бэтмен» и «Рик и Морти».
Внутри самой OpenAI не все довольны таким направлением развития. Один из сотрудников, Джон Холлман, заявил, что испытывает тревогу по поводу выхода Sora 2, несмотря на усилия команды по созданию позитивного пользовательского опыта. Другой инженер, Боаз Барак, также признал технологическое превосходство системы, но отметил, что говорить об успехе пока рано: последствия использования в реальном мире пока невозможно полностью предсказать.
Sora предлагает пользователям на выбор, кто может использовать их внешность в видео — только сам владелец, одобренные лица, взаимные подписки или любой желающий. Многие сотрудники OpenAI, включая Альтмана, разрешили использование своих образов всем без ограничений. Однако попытки сгенерировать известных личностей напрямую, как правило, блокируются — по крайней мере, на данном этапе.
OpenAI утверждает, что старается учитывать юридические и этические аспекты, включая защиту от нарушения авторских прав и распространения дезинформации. Но уже сейчас пользователи и наблюдатели указывают на множество уязвимостей, свидетельствующих о том, что разработчики не успевают за темпом распространения генеративного контента.
Учитывая, насколько сложно становится отличить сгенерированные клипы от реальных видео, и то, как легко можно обойти даже существующие ограничения, Sora вызывает закономерную тревогу — не только как технологическое достижение, но и как потенциальный источник масштабных манипуляций.