Методика
Як ми це робимо
Одні правила для всіх досліджень. Вони зафіксовані заздалегідь, щоб результат не підлаштовувався під те, що хочеться показати.
Звідки беремо список
Відправна точка — відкрита карта OpenStreetMap. Це не офіційний реєстр підприємств: заклад, якого там немає або в якого не вказано сайт, у перевірку не потрапляє взагалі. Беремо заклади потрібного типу, лишаємо тих, у кого вказано власний сайт, і прибираємо сторінки в соцмережах, каталоги-агрегатори та домени не з тієї країни. Те, що лишилося, — це список, з якого ми працюємо, і його розмір ми завжди називаємо. Він не дорівнює галузі: це та її частина, яку видно у відкритих даних.
Як обираємо, кого перевіряти
Запит до карти охоплює всю країну, а не список міст: ми беремо всі заклади потрібного типу, у яких указано адресу сайту. Міста зі списку потрібні лише для того, щоб приписати кожному запису страту — столиця, обласний центр чи менше місто; заклад далі 40 км від будь-якого з них потрапляє в страту «менші міста», а не викидається. Далі, якщо знайдених більше, ніж потрібно, сайти обирає програма: випадково, за квотою по стратах. Квоту вдається витримати не завжди — якщо придатних у малих містах менше, ніж потрібно, недобір закривається великими, і вибірка зміщується. Фактичний розподіл ми публікуємо поруч із задуманим. Випадковість задається числом, яке ми записуємо: за тими самими вхідними даними і тією самою версією програми вийде той самий список.
Що саме вимірюємо
Кожен сайт відкриває наш аудитор AI X-Ray — той самий, яким ми перевіряємо роботи перед здачею клієнту. Дивимося головну сторінку з телефона, по кілька разів, і беремо середній результат. Перевіряємо швидкість появи головного блоку, стійкість верстки, доступність сайту, термін домену й сертифіката, відкриті службові файли, опис для пошукових систем, спосіб зв'язатися та поведінку на малому екрані.
Від чого рахуємо відсотки
Від усіх обраних сайтів, завжди. Сайт, який не відкрився, лишається в підрахунку — інакше найгірші випадки тихо зникають і галузь виглядає здоровішою, ніж вона є. Через це кожну нашу цифру треба читати як «не менш як»: сайт, до якого ми не достукалися, міг мати ту саму проблему, але ми цього не знаємо і в проблемні його не записуємо. Там, де корисно подивитися інакше — наприклад, наскільки швидкі ті сайти, які взагалі вдалося виміряти, — ми наводимо і це число, прямо вказуючи, від чого воно пораховане.
Чого ми не вважаємо проблемою сайту
Якщо сайт прийняв нашу перевірку за робота, попросив не заходити через robots.txt або перекидає на зовсім інший домен — це межа нашого методу, а не вада того сайту. Такі випадки ми показуємо окремим списком і до проблемних не зараховуємо.
Як перевіряємо самі себе
Перш ніж публікувати, ми ділимо всі перевірені сайти на дві половини, між якими немає жодного спільного, і рахуємо кожен показник окремо в кожній. Якщо половини дають схожі числа — справа не в тому, які саме сайти нам трапилися. Якщо розходяться — ми про це пишемо.
Чого наші дослідження не доводять
Ми вимірюємо стан сайтів, а не успіх бізнесу. У нас немає даних про дзвінки, записи чи виручку перевірених компаній, тож ми ніколи не стверджуємо, що повільний сайт коштував комусь конкретної суми. Кожне дослідження — це зріз одного дня в одній галузі й одній країні; переносити його відсотки на інші напрями чи ринки не можна.