HeedlyBot
HeedlyBot — це краулер і засіб перевірки, що стоїть за Heedly. Він відвідує лише сайти, які їхні власники додали до Heedly (або запустили пробну перевірку чи перевірку швидкості сторінки).
User agent
HeedlyBot/1.0 (+https://heedly.live/bot)Які запити він робить
- Вашу головну сторінку та, після підтвердження власності, сторінки з вашого sitemap і внутрішніх посилань.
- XML-фіди, які ви зареєстрували.
- Він ніколи не підбирає адреси адмінок, не надсилає форми, не входить в акаунти, не виконує JavaScript і не навантажує сайт.
Як ввічливо він поводиться
- Не більше одного запиту на секунду й двох одночасних з’єднань на хост.
- Читає robots.txt і дотримується Crawl-delay.
- Uptime-перевірки ніколи не йдуть частіше за раз на хвилину.
Як його зупинити
Скористайтеся формою скарги з назвою вашого хоста. Ми ставимо перевірки хоста на паузу, щойно отримуємо звернення від його власника, і додаємо його до списку блокування: жодна перевірка більше не відвідує його чи його піддомени. Краулер також дотримується robots.txt.
Скарга або зупинка перевірокIP-адреси
HeedlyBot ходить з таких адрес:
5.189.144.77