Робот, не верь никому. Зачем бизнес учит ИИ-агентов быть подозрительными и отказывать людям
NewsMakerКомпании ставят цифровых надзирателей над слишком умными помощниками.
На этой неделе в Давосе прошла панельная дискуссия, посвященная кибербезопасности, где центральной темой стали ИИ-агенты и риски, которые они несут для корпоративной безопасности. Главный вопрос звучит так: как обезопасить эти системы и не дать им превратиться в идеальную угрозу изнутри компании?
«У нас и так достаточно проблем с обучением людей эффективной защите от кибератак. Теперь мне нужно делать это одновременно для людей и агентов», — поделился своими опасениями технический директор образовательной компании Pearson Дейв Трит, выступая с вопросом из зала.
Pearson, как и многие другие организации, начинает внедрять ИИ-агентов в свою работу. Это открывает целый спектр новых вызовов. С одной стороны, компании не хотят упустить выгоды от повышения эффективности, которую дают такие агенты. С другой — они не могут позволить этим системам получать доступ к данным и ресурсам, которые должны быть закрыты, или выполнять действия, способные навредить бизнесу или конкретным людям.
По словам Трита, ИИ-агенты «склонны стремиться угодить». Возникает вопрос: как создавать и настраивать этих агентов так, чтобы они были подозрительными и не попадались на те же уловки и тактики, на которые попадаются люди?
На этой неделе в Давосе прошла панельная дискуссия, посвященная кибербезопасности, где центральной темой стали ИИ-агенты и риски, которые они несут для корпоративной безопасности. Главный вопрос звучит так: как обезопасить эти системы и не дать им превратиться в идеальную угрозу изнутри компании?
«У нас и так достаточно проблем с обучением людей эффективной защите от кибератак. Теперь мне нужно делать это одновременно для людей и агентов», — поделился своими опасениями технический директор образовательной компании Pearson Дейв Трит, выступая с вопросом из зала.
Pearson, как и многие другие организации, начинает внедрять ИИ-агентов в свою работу. Это открывает целый спектр новых вызовов. С одной стороны, компании не хотят упустить выгоды от повышения эффективности, которую дают такие агенты. С другой — они не могут позволить этим системам получать доступ к данным и ресурсам, которые должны быть закрыты, или выполнять действия, способные навредить бизнесу или конкретным людям.
По словам Трита, ИИ-агенты «склонны стремиться угодить». Возникает вопрос: как создавать и настраивать этих агентов так, чтобы они были подозрительными и не попадались на те же уловки и тактики, на которые попадаются люди?