200 тысяч за экзамен. Google ищет тех, кто придумает самый сложный тест для искусственного разума
NewsMakerКомпания ищет добровольцев, которые придумают, как проверить социальный интеллект машин.
Google DeepMind предложила более конкретный способ оценивать, насколько индустрия приблизилась к AGI, то есть к универсальному искусственному интеллекту. Исследователи представили когнитивную таксономию для оценки ИИ и запустили вместе с Kaggle хакатон, который должен помочь превратить такую схему в практический инструмент.
За последние годы термин искусственный интеллект заметно изменил смысл и стал обозначать широкий класс систем машинного обучения. На фоне такой размытости понятие AGI все чаще используют как обозначение более амбициозной цели, но строгого и общепринятого определения по-прежнему нет. DeepMind предлагает сместить акцент с формулировок на измерения.
Авторы работы опираются на десятилетия исследований в психологии, нейронауке и когнитивистике. На такой базе команда выделила десять когнитивных способностей, которые могут быть важны для общего интеллекта машин: восприятие, генерацию, внимание, обучение, память, рассуждение, метакогницию, исполнительные функции, решение задач и социальное познание. Под социальным познанием понимается способность обрабатывать и интерпретировать социальную информацию и адекватно реагировать в разных ситуациях общения.
Для практической проверки предложен трехэтапный протокол. Сначала модели проходят широкий набор когнитивных задач по всем направлениям на отложенных тестовых выборках. Затем исследователи собирают человеческие результаты на тех же заданиях у демографически репрезентативной выборки взрослых. После этого показатели ИИ сопоставляются с распределением человеческих результатов по каждой способности. Подход позволяет оценить, насколько система приближается к человеческому уровню по каждому направлению.
Google DeepMind предложила более конкретный способ оценивать, насколько индустрия приблизилась к AGI, то есть к универсальному искусственному интеллекту. Исследователи представили когнитивную таксономию для оценки ИИ и запустили вместе с Kaggle хакатон, который должен помочь превратить такую схему в практический инструмент.
За последние годы термин искусственный интеллект заметно изменил смысл и стал обозначать широкий класс систем машинного обучения. На фоне такой размытости понятие AGI все чаще используют как обозначение более амбициозной цели, но строгого и общепринятого определения по-прежнему нет. DeepMind предлагает сместить акцент с формулировок на измерения.
Авторы работы опираются на десятилетия исследований в психологии, нейронауке и когнитивистике. На такой базе команда выделила десять когнитивных способностей, которые могут быть важны для общего интеллекта машин: восприятие, генерацию, внимание, обучение, память, рассуждение, метакогницию, исполнительные функции, решение задач и социальное познание. Под социальным познанием понимается способность обрабатывать и интерпретировать социальную информацию и адекватно реагировать в разных ситуациях общения.
Для практической проверки предложен трехэтапный протокол. Сначала модели проходят широкий набор когнитивных задач по всем направлениям на отложенных тестовых выборках. Затем исследователи собирают человеческие результаты на тех же заданиях у демографически репрезентативной выборки взрослых. После этого показатели ИИ сопоставляются с распределением человеческих результатов по каждой способности. Подход позволяет оценить, насколько система приближается к человеческому уровню по каждому направлению.