Тенур

Про рунет как целое давно никто ничего не считает: каталоги движков не обновлялись годами, а мировые счётчики не отличают .ru от остального мира. Освобождающиеся домены с историей и ссылками уходят «всем желающим» без досье, а чтобы узнать, на чём сделан сайт и кто его хостит, приходится собирать данные по нескольким сервисам.

Перепись всей зоны, а не выборки: каждый день Тенур проверяет все 7 211 273 домена .ru, .рф и .su — жив ли сайт, на чём сделан, кто хостит, когда домен освободится и чего он стоит. Четыре продукта на этих данных: карточка домена с датой каждого замера, база сайтов с фильтрами по зоне, движку, хостингу и региону, статистика рунета по 784 605 живым сайтам и календарь освобождающихся доменов с оценкой от «отлично» до «плохо». Данные открыты под CC BY 4.0.

Построил конвейер: выгрузки реестра → проверка каждого домена по DNS, HTTP, WHOIS и веб-архиву → карточка с датой замера. Обход вежливый: честное имя робота, robots.txt, не чаще запроса в секунду на сайт, без форм и капч. Оценка освобождающегося домена учитывает годы в веб-архиве и ИКС прежнего сайта. У каждой цифры в статистике есть метод, знаменатель и дата — при наведении видно, от чего считается доля. Страницы отдаются с сервера и кэшируются на nginx.