Во время чтения глаза движутся по странице далеко не равномерно. На одних словах взгляд задерживается, другие проскакивает почти без остановки, а иногда возвращается на несколько слов или целую строку назад. За привычным чтением скрывается постоянный выбор: какую часть текста рассмотреть внимательнее, где можно двигаться дальше и когда без повторного взгляда смысл уже не восстановить.
Новая вычислительная модель воспроизводит именно этот процесс выбора. Алгоритм не просто копирует траектории человеческого взгляда, записанные во время экспериментов, а учится распределять внимание так, чтобы как можно лучше понять текст за ограниченное время. Авторы применили обучение с подкреплением, метод машинного обучения, при котором система пробует разные действия и постепенно выбирает стратегию, дающую лучший результат. Такой подход часто используют в робототехнике и других задачах, где программе приходится самостоятельно искать подходящую последовательность действий.
Авторы исследования связали движения глаз с тем, сколько информации читатель успевает понять и сохранить в памяти. Модель учитывает знание языка, объём доступной памяти, особенности зрения и скорость движения глаз. Набор параметров позволяет воспроизводить разные способы чтения, а не одну универсальную траекторию для всех людей.
Предыдущие модели работали проще. Ученые собирали большие наборы данных, в которых фрагменты текста сопоставлялись с записями движений глаз, а затем обучали алгоритм имитировать найденные закономерности. Система могла предсказывать, где человек задержит взгляд или куда посмотрит дальше, но подобное совпадение ещё не объясняло причину выбора.
Проблема особенно проявлялась за пределами знакомых данных. Модель, обученная на определённых текстах и условиях эксперимента, могла хуже переносить усвоенные закономерности на другой язык или новый контекст. Предложенный подход начинает не с готовой траектории взгляда, а с задачи читателя: понять содержание при ограниченных запасах времени, внимания и памяти.
Модель исходит из идеи, что мозг расходует когнитивные ресурсы экономно. Подробно разбирать каждое слово необязательно, если общий смысл уже понятен. Но слишком быстрый переход вперёд тоже невыгоден: пропущенная важная деталь может заставить снова искать нужное место и перечитывать фрагмент. Поэтому взгляд постоянно переключается между продолжением чтения, пропуском, задержкой и возвратом назад.
Алгоритм принимает решения на трёх уровнях. На уровне слова нужно получить достаточно зрительной информации, чтобы распознать его. На уровне предложения приходится связывать слова между собой, решать, какую часть можно пропустить и когда требуется вернуться назад. На уровне всего текста модель определяет, какую информацию необходимо удержать в памяти и какие фрагменты стоит перечитать ради общего понимания. Именно такую иерархию описывают авторы работы.
Стратегия меняется вместе с характеристиками читателя. Человек с хорошей памятью и высокой скоростью чтения способен быстрее переходить от одного абзаца к следующему, поскольку уже прочитанное дольше остаётся доступным. При меньшем объёме памяти возрастает вероятность возврата назад: нужная деталь могла исчезнуть из памяти раньше, чем понадобилась для понимания следующей части текста.
Владение языком тоже влияет на распределение внимания. Знакомые слова распознаются быстрее, а незнакомая лексика и сложные конструкции требуют дополнительных фиксаций взгляда. Скорость движения глаз и особенности зрения добавляют ещё два ограничения. В результате два человека могут читать одну страницу разными маршрутами и при этом прийти к одному смыслу.
Исследователи превратили характеристики читателя в настраиваемые параметры и позволили алгоритму самостоятельно искать подходящую стратегию. Готового набора правил ему не давали. Система не получала команду задерживаться на определённых частях речи, обязательно прочитывать каждое слово или возвращаться через заданное число строк.
Алгоритму предоставили миллионы текстов. Он многократно выбирал, куда направить взгляд, и оптимизировал движения так, чтобы за доступное время извлечь как можно больше смысла. Обучение с подкреплением позволило искать стратегию через последствия каждого решения, а не копировать заранее записанное человеческое поведение.
По мере чтения модель собирает сокращённое внутреннее представление содержания. Проще говоря, алгоритм хранит не фотографическую копию всех просмотренных слов, а информацию, необходимую для понимания текста. Если важной детали не хватает, модель может направить взгляд к нужному слову или части предложения и дополнить недостающую информацию.
Возврат назад поэтому возникает не по заранее прописанному правилу. Причиной служит конкретный пробел в понимании. Если дальнейший смысл удаётся восстановить без повторного чтения, алгоритм продолжает двигаться вперёд. Если пропущенное слово или конструкция мешают связать части текста, модель снова обращается к нужному фрагменту.
Качество понимания проверяют по тому, какую информацию алгоритм сохранил после чтения. Модели можно задать вопрос по тексту и проверить ответ с учётом времени и ограничений, заданных для конкретного профиля читателя. Благодаря этому движение глаз связывается с конечным результатом: сколько смысла удалось извлечь из просмотренного материала.
После обучения решения алгоритма сравнили с реальными данными отслеживания движений глаз . Модель сходным образом распределяла внимание, выбирала места для фиксации, пропускала отдельные фрагменты и возвращалась к уже прочитанному. Авторы описывают результат как вычислительную модель среднего читателя, параметры которой можно менять под разные характеристики человека.
С помощью разработки мы можем сильно продвинуться в персонализации текстов. Сейчас один и тот же документ обычно получают люди с разной памятью, скоростью чтения, зрением и уровнем владения языком. Вычислительная модель позволяет оценить, насколько удобно конкретному читателю будет воспринимать определённую структуру текста и где возникнут дополнительные затраты внимания.
Еще один вариант применения - очки дополненной реальности . Устройство сможет выбирать темп вывода текста и расположение строк с учётом ситуации и возможностей пользователя. Человеку не придётся получать одинаковый объём информации в одинаковом виде независимо от того, насколько быстро он способен прочитать и обработать сообщение.
Другой сценарий касается сложных документов, включая юридические тексты. Из одного исходного материала можно готовить версии для читателей с разными навыками и уровнем владения языком. Простая замена трудных слов здесь не решает всей задачи. Модель позволяет учитывать длину и устройство предложений, нагрузку на память, вероятность возврата назад и время, необходимое для извлечения смысла.
Следующим этапом станет проверка системы при работе с людьми с дислексией и недостаточным владением языком. Исследователи хотят выяснить, поможет ли модель перестраивать текст с учётом трудностей конкретного пользователя и тем самым уменьшать лишнюю нагрузку при чтении.
Также технология поможет в ситуациях, где человеку нельзя надолго переключать зрение на текст. Например, автомобильный интерфейс должен передать водителю необходимую информацию, не заставляя долго смотреть на дисплей вместо дороги. Модель позволит оценивать, сколько внимания потребует сообщение, и подбирать форму подачи с учётом времени, доступного для чтения.