Методика
Как мы это делаем
Одни правила для всех исследований. Они зафиксированы заранее, чтобы результат не подстраивался под то, что хочется показать.
Откуда берём список
Отправная точка — открытая карта OpenStreetMap. Это не официальный реестр предприятий: заведение, которого там нет или у которого не указан сайт, в проверку не попадает вовсе. Берём заведения нужного типа, оставляем тех, у кого указан собственный сайт, и убираем страницы в соцсетях, каталоги-агрегаторы и домены не из той страны. То, что осталось, — это список, с которым мы работаем, и его размер мы всегда называем. Он не равен отрасли: это та её часть, которую видно в открытых данных.
Как выбираем, кого проверять
Запрос к карте охватывает всю страну, а не список городов: мы берём все заведения нужного типа, у которых указан адрес сайта. Города из списка нужны лишь для того, чтобы приписать каждой записи страту — столица, областной центр или меньший город; заведение дальше 40 км от любого из них попадает в страту «меньшие города», а не выбрасывается. Дальше, если найденных больше, чем нужно, сайты выбирает программа: случайно, по квоте по стратам. Квоту удаётся выдержать не всегда — если пригодных в малых городах меньше, чем нужно, недобор закрывается крупными, и выборка смещается. Фактическое распределение мы публикуем рядом с задуманным. Случайность задаётся числом, которое мы записываем: с теми же входными данными и той же версией программы выйдет тот же список.
Что именно измеряем
Каждый сайт открывает наш аудитор AI X-Ray — тот самый, которым мы проверяем работы перед сдачей клиенту. Смотрим главную страницу с телефона, по несколько раз, и берём средний результат. Проверяем скорость появления главного блока, устойчивость вёрстки, доступность сайта, срок домена и сертификата, открытые служебные файлы, описание для поисковых систем, способ связаться и поведение на маленьком экране.
От чего считаем проценты
От всех выбранных сайтов, всегда. Сайт, который не открылся, остаётся в подсчёте — иначе худшие случаи тихо исчезают и отрасль выглядит здоровее, чем она есть. Поэтому каждую нашу цифру надо читать как «не менее чем»: сайт, до которого мы не достучались, мог иметь ту же проблему, но мы этого не знаем и в проблемные его не записываем. Там, где полезно посмотреть иначе — например, насколько быстры те сайты, которые вообще удалось измерить, — мы приводим и это число, прямо указывая, от чего оно посчитано.
Чего мы не считаем проблемой сайта
Если сайт принял нашу проверку за робота, попросил не заходить через robots.txt или перекидывает на совсем другой домен — это граница нашего метода, а не изъян того сайта. Такие случаи мы показываем отдельным списком и к проблемным не относим.
Как проверяем сами себя
Прежде чем публиковать, мы делим все проверенные сайты на две половины, между которыми нет ни одного общего, и считаем каждый показатель отдельно в каждой. Если половины дают похожие числа — дело не в том, какие именно сайты нам попались. Если расходятся — мы об этом пишем.
Чего наши исследования не доказывают
Мы измеряем состояние сайтов, а не успех бизнеса. У нас нет данных о звонках, записях или выручке проверенных компаний, поэтому мы никогда не утверждаем, что медленный сайт стоил кому-то конкретной суммы. Каждое исследование — это срез одного дня в одной отрасли и одной стране; переносить его проценты на другие направления или рынки нельзя.