Как работи нашият crawler.
Passiro Crawler сканира уебсайтове за бисквитки, тракери и съответствие на съгласието. Той е уважителен, прозрачен и лесен за контролиране.
Идентификация
Как да разпознаете нашия crawler
Passiro Crawler се идентифицира при всяка заявка със следния User-Agent:
Можете да разпознаете нашия crawler, като потърсите PassiroCrawler в User-Agent хедъра.
Какво прави
Създадено за сканиране, не за извличане на данни.
Сканиране на бисквитки и тракери
Зареждаме вашите страници в headless браузър и записваме всяка бисквитка и всяка заявка към трети страни, които те задействат, за да можем да докладваме точно кои тракери се изпълняват преди и след съгласие.
Екранни снимки
Правим екранни снимки на сканираните страници, за да създадем визуални доклади, показващи как вашият банер за бисквитки и процесът на съгласие изглеждат за посетителите. Екранните снимки се съхраняват сигурно и се показват само на собственика на сайта или в публични прегледи.
Откриване на линкове
Следваме вътрешни линкове, за да открием страници на вашия сайт. Следваме само линкове в рамките на същия домейн и спазваме максимален лимит на страници. Проверяваме и sitemap.xml, ако е наличен.
Откриване
Какво открива проверката на съгласието
Проверката на съгласието зарежда всяка страница в реален браузър и записва какво се случва, преди да бъде дадено каквото и да е съгласие. Всичко, което се отчита на страницата за преглед, е наблюдавано поведение, а не предположение.
Платформа за съгласие и конфигурация
Коя платформа за управление на съгласието работи на сайта. За конфигурациите на Cookiebot четем също идентификатора на акаунта и дали е активирано автоматичното блокиране на скриптове.
Google Consent Mode v2
Дали настройките по подразбиране за съгласие се декларират, преди да се заредят таговете на Google, и дали всички типове съхранение по подразбиране са отказани.
IAB TCF v2
Дали сайтът предоставя API на Transparency and Consent Framework, използван за програматична реклама.
Бисквитки, зададени преди съгласието
Всяка бисквитка, зададена преди каквото и да е взаимодействие с банера за съгласие, класифицирана спрямо нашата база данни с известни бисквитки.
Заявки на тракери
Заявките от трети страни се сравняват с над 4500 известни сигнатури на тракери, включително дали всяка заявка е задала бисквитка.
Отклонение в декларацията за бисквитки
За сайтове с Cookiebot сравняваме публикуваната декларация за бисквитки с бисквитките, които действително наблюдавахме на сайта.
Платформи за съгласие, които разпознаваме
Сайтовете, използващи платформа, която не разпознаваме, или изобщо без платформа, се отчитат като такива, за които не е открита платформа за управление на съгласието.
Поведение на crawler
Уважителен по дизайн.
Ограничена скорост
Максимум 2 заявки в секунда. Никога не претоварваме сървъра ви.
Обхождане с разпознаване на шаблони
Нашият crawler интелигентно разпознава шаблони на страници. На e-commerce сайтове с хиляди продуктови страници, споделящи едно и също оформление, автоматично идентифицираме шаблона и преминаваме към други уникални типове страници. Това означава пълно покритие с минимален брой заявки.
Без извличане на данни
Не извличаме и не съхраняваме вашето съдържание, цени или потребителски данни. Правим екранни снимки за визуални доклади и анализираме бисквитки, скриптове и поведение на съгласието за целите на съответствието — нищо друго.
Защита от timeout
Всяка страница има timeout от 10 секунди, а общото време за обхождане е ограничено до 5 минути. Никога не висим на сървъра ви.
Само същият домейн
Следваме само линкове в рамките на сканирания домейн. Никога не посещаваме външни уебсайтове по време на сканиране.
Интелигентно сканиране
Вижда сайта ви, както потребителите.
За да получим точни резултати от сканирането и чисти екранни снимки, нашият crawler автоматично обработва изскачащите прозорци и наслагванията, които се появяват на съвременните уебсайтове.
Банери за съгласие за бисквитки — автоматично приети на всички основни платформи за съгласие (Cookiebot, OneTrust, Usercentrics, Didomi и други) на всички 24 езика на ЕС.
Изскачащи прозорци и модали — абонаменти за бюлетин, промоционални overlay-и и други прекъсващи елементи се засичат и затварят.
Фонови overlay-и — затъмняващи слоеве и пълноекранни фонове се премахват, така че екранните снимки показват действителното съдържание на страницата.
Shadow DOM — обхождаме shadow roots, за да намерим и затворим елементи за съгласие, скрити в web components.
Персонализация
Настройте crawler за вашия сайт.
Нашата автоматична детекция обработва повечето уебсайтове, но някои имат персонализирани изскачащи прозорци, уникални потоци за съгласие или елементи, изискващи специално третиране. Собствениците на сайтове могат да конфигурират персонализирани правила за crawler в настройките на сайта в dashboard, за да обработят тези случаи.
Селектори за клик
Посочете CSS селектори на бутони или елементи, върху които crawler трябва да кликне преди сканиране — например, за да затвори персонализиран изскачащ прозорец, който автоматичната ни детекция не разпознава.
Селектори за скриване
Принудително скриване на определени елементи преди правенето на екранни снимки. Полезно за фиксирани банери, чат уиджети или наслагвания, които не трябва да се появяват в доклада ви за съответствие.
Предварително зададени бисквитки
Задайте бисквитки преди crawler да зареди страниците ви — например бисквитка за съгласие за пълно заобикаляне на банера за бисквитки, или A/B тест бисквитка за сканиране на конкретен вариант.
Игнорирани пътища и лимити на страници
Изключете конкретни URL пътища от сканирането и задайте персонализиран лимит на страници. Полезно, ако части от сайта ви са зад вход или съдържат съдържание, което не се нуждае от сканиране.
Тези настройки са налични в раздела Настройки на вашия сайт в Passiro dashboard. Промените влизат в сила при следващото сканиране.
Вашият контрол
Как да блокирате нашия crawler
Ако не искате Passiro Crawler да посещава уебсайта ви, можете да го блокирате чрез вашия файл robots.txt:
Можете също да блокирате конкретни пътища или секции на вашия сайт. Спазваме всички стандартни robots.txt директиви.
Алтернативно, можете да се свържете с нас и ще добавим домейна ви към нашия списък за изключване.
Въпроси относно нашия crawler?
Ако имате въпроси, притеснения или трябва да докладвате проблем с Passiro Crawler, ще се радваме да помогнем.
Свържете се с нас