1,34 миллиона адресов за 23 часа. Израиль предположительно попытался "выкачать" архив арабской журналистики
NewsMakerРаспределённые прокси-атаки ставят независимые медиа перед невозможным выбором.
Миллионы обычных домашних адресов в интернете могут выглядеть как живые читатели, хотя за ними скрывается автоматический скрейпер. Именно с такой проблемой столкнулся сайт Arab Reporters for Investigative Journalism, когда за один день его библиотеку расследований начали массово выкачивать через распределённую сеть.
По данным Qurium, 14 мая англоязычная версия сайта ARIJ пережила резкий всплеск автоматического трафика. По масштабу событие оказалось в 10 000 раз выше обычного уровня сбора страниц. Под удар попала не коммерческая площадка, а некоммерческая организация из Иордании, которая поддерживает расследовательскую журналистику и проверку фактов в арабском мире.
Специалисты Qurium изучили несколько миллионов строк сетевых журналов и пришли к выводу, что атака длилась почти сутки. За 23 часа сайт получил обращения с 1,34 млн уникальных IP-адресов. Трафик пришёл из более чем 7300 автономных систем и затронул 223 страны и территории. При этом 76,44% адресов использовались только один раз, что сильно мешало их блокировать.
Такой подход делает защиту почти бесполезной на уровне отдельных адресов. Если блокировать целые страны или сети операторов, сайт рискует отрезать настоящих читателей. Если резко ограничивать частоту обращений, пострадают пользователи из регионов, где доступ к независимым медиа и так нестабилен.
Qurium считает, что наблюдаемая схема похожа на работу крупного поставщика прокси-сервисов, который использует огромные пулы адресов операторов связи и старается не создавать заметной нагрузки на каждый отдельный IP. По поведенческим признакам специалисты связали трафик с системой, помеченной как NetNut , хотя окончательно доказать внутреннее устройство её инфраструктуры они не смогли.
NetNut продаёт услуги резидентных прокси , чтобы собирать веб-данные, и заявляет о доступе к большим пулам IP-адресов в разных странах. Компания связана с Alarum Technologies, ранее известной как Safe-T Group. Qurium отдельно указывает на историю NetNut и DiViNetworks, которая работала с технологиями операторской интеграции и монетизации полосы пропускания.
По гипотезе Qurium, подобная система может работать через операторские сети так, что внешний трафик проходит через контролируемый канал, а затем выходит в интернет с адресов провайдера. Для сайта-жертвы такие запросы выглядят как обращения от обычных абонентов, хотя фактически их мог сгенерировать сторонний клиент, который платил за парсинг страниц.
Чтобы проверить техническую правдоподобность такой схемы, Qurium собрала лабораторную модель на маршрутизаторе MikroTik. В ней веб-запросы приходили через туннель, после чего маршрутизатор подменял исходный адрес и выпускал трафик наружу через адресное пространство провайдера. Опыт показал, что базовое поведение можно воспроизвести стандартными сетевыми средствами, хотя безопасная работа рядом с реальным абонентским трафиком требует куда более сложной настройки.
Главная опасность такой архитектуры не только в нагрузке на сайты. Если операторская монетизация полосы пропускания действительно устроена похожим образом, IP-адреса абонентов могут использоваться для действий, о которых владельцы подключения ничего не знают. В худшем случае обычный пользователь становится видимым источником чужого автоматического трафика.
Qurium подчёркивает, что добросовестные поисковые роботы и архивные проекты обычно называют себя, публикуют правила работы, оставляют контакт и уважают ограничения сайта. Непрозрачные скрейперы делают наоборот. Они извлекают ценность из публично значимых материалов, но перекладывают на саму редакцию все расходы: платить за трафик, обрабатывать запросы, вести журналы, следить за нагрузкой и реагировать на инциденты.
По оценке Qurium, не менее 25% трафика и вычислительных затрат организаций, которые она обслуживает, уже приходится на скрейперы и другие автоматизированные системы. В случае медиа и правозащитных проектов такая нагрузка становится особенно болезненной, потому что ресурсы у них ограничены, а доступ для реальной аудитории нельзя просто закрыть грубыми фильтрами.
Генеральный директор ARIJ Раван Дамен заявила, что расследование Qurium помогло понять, как могли собирать данные и кто может стоять за операцией, однако точная атрибуция и мотивы предполагаемой атаки со стороны израильской компании NetNut остаются предметом дальнейшего изучения.
Миллионы обычных домашних адресов в интернете могут выглядеть как живые читатели, хотя за ними скрывается автоматический скрейпер. Именно с такой проблемой столкнулся сайт Arab Reporters for Investigative Journalism, когда за один день его библиотеку расследований начали массово выкачивать через распределённую сеть.
По данным Qurium, 14 мая англоязычная версия сайта ARIJ пережила резкий всплеск автоматического трафика. По масштабу событие оказалось в 10 000 раз выше обычного уровня сбора страниц. Под удар попала не коммерческая площадка, а некоммерческая организация из Иордании, которая поддерживает расследовательскую журналистику и проверку фактов в арабском мире.
Специалисты Qurium изучили несколько миллионов строк сетевых журналов и пришли к выводу, что атака длилась почти сутки. За 23 часа сайт получил обращения с 1,34 млн уникальных IP-адресов. Трафик пришёл из более чем 7300 автономных систем и затронул 223 страны и территории. При этом 76,44% адресов использовались только один раз, что сильно мешало их блокировать.
Такой подход делает защиту почти бесполезной на уровне отдельных адресов. Если блокировать целые страны или сети операторов, сайт рискует отрезать настоящих читателей. Если резко ограничивать частоту обращений, пострадают пользователи из регионов, где доступ к независимым медиа и так нестабилен.
Qurium считает, что наблюдаемая схема похожа на работу крупного поставщика прокси-сервисов, который использует огромные пулы адресов операторов связи и старается не создавать заметной нагрузки на каждый отдельный IP. По поведенческим признакам специалисты связали трафик с системой, помеченной как NetNut , хотя окончательно доказать внутреннее устройство её инфраструктуры они не смогли.
NetNut продаёт услуги резидентных прокси , чтобы собирать веб-данные, и заявляет о доступе к большим пулам IP-адресов в разных странах. Компания связана с Alarum Technologies, ранее известной как Safe-T Group. Qurium отдельно указывает на историю NetNut и DiViNetworks, которая работала с технологиями операторской интеграции и монетизации полосы пропускания.
По гипотезе Qurium, подобная система может работать через операторские сети так, что внешний трафик проходит через контролируемый канал, а затем выходит в интернет с адресов провайдера. Для сайта-жертвы такие запросы выглядят как обращения от обычных абонентов, хотя фактически их мог сгенерировать сторонний клиент, который платил за парсинг страниц.
Чтобы проверить техническую правдоподобность такой схемы, Qurium собрала лабораторную модель на маршрутизаторе MikroTik. В ней веб-запросы приходили через туннель, после чего маршрутизатор подменял исходный адрес и выпускал трафик наружу через адресное пространство провайдера. Опыт показал, что базовое поведение можно воспроизвести стандартными сетевыми средствами, хотя безопасная работа рядом с реальным абонентским трафиком требует куда более сложной настройки.
Главная опасность такой архитектуры не только в нагрузке на сайты. Если операторская монетизация полосы пропускания действительно устроена похожим образом, IP-адреса абонентов могут использоваться для действий, о которых владельцы подключения ничего не знают. В худшем случае обычный пользователь становится видимым источником чужого автоматического трафика.
Qurium подчёркивает, что добросовестные поисковые роботы и архивные проекты обычно называют себя, публикуют правила работы, оставляют контакт и уважают ограничения сайта. Непрозрачные скрейперы делают наоборот. Они извлекают ценность из публично значимых материалов, но перекладывают на саму редакцию все расходы: платить за трафик, обрабатывать запросы, вести журналы, следить за нагрузкой и реагировать на инциденты.
По оценке Qurium, не менее 25% трафика и вычислительных затрат организаций, которые она обслуживает, уже приходится на скрейперы и другие автоматизированные системы. В случае медиа и правозащитных проектов такая нагрузка становится особенно болезненной, потому что ресурсы у них ограничены, а доступ для реальной аудитории нельзя просто закрыть грубыми фильтрами.
Генеральный директор ARIJ Раван Дамен заявила, что расследование Qurium помогло понять, как могли собирать данные и кто может стоять за операцией, однако точная атрибуция и мотивы предполагаемой атаки со стороны израильской компании NetNut остаются предметом дальнейшего изучения.