Cum funcționează crawler-ul nostru.
Passiro Crawler scanează site-urile web pentru cookie-uri, trackere și conformitatea consimțământului. Este respectuos, transparent și ușor de controlat.
Identificare
Cum să identifici crawler-ul nostru
Passiro Crawler se identifică în fiecare cerere cu următorul User-Agent:
Poți identifica crawler-ul nostru căutând PassiroCrawler în header-ul User-Agent.
Ce face
Construit pentru a scana, nu pentru a extrage date.
Scanare de cookie-uri și trackere
Încărcăm paginile tale într-un browser headless și înregistrăm fiecare cookie și fiecare cerere către terți pe care le declanșează, ca să putem raporta exact ce trackere rulează înainte și după consimțământ.
Capturi de ecran
Facem capturi de ecran ale paginilor scanate pentru a crea rapoarte vizuale care arată cum apar bannerul tău de cookie-uri și fluxul de consimțământ pentru vizitatori. Capturile de ecran sunt stocate în siguranță și sunt afișate doar proprietarului site-ului sau în recenzii publice.
Descoperirea link-urilor
Urmăm link-urile interne pentru a descoperi pagini pe site-ul tău. Urmăm doar link-uri din cadrul aceluiași domeniu și respectăm un număr maxim de pagini. Verificăm și sitemap.xml dacă este disponibil.
Detectare
Ce detectează verificarea consimțământului
Verificarea consimțământului încarcă fiecare pagină într-un browser real și înregistrează ce se întâmplă înainte de acordarea oricărui consimțământ. Tot ce este raportat pe o pagină de analiză reprezintă comportament observat, nu o presupunere.
Platformă de consimțământ și configurare
Ce platformă de gestionare a consimțământului rulează pe site. Pentru configurațiile Cookiebot citim și ID-ul contului și dacă este activată blocarea automată a scripturilor.
Google Consent Mode v2
Dacă valorile implicite ale consimțământului sunt declarate înainte de încărcarea etichetelor Google și dacă toate tipurile de stocare sunt refuzate în mod implicit.
IAB TCF v2
Dacă site-ul expune API-ul Transparency and Consent Framework utilizat pentru publicitatea programatică.
Cookie-uri setate înainte de consimțământ
Fiecare cookie setat înainte de orice interacțiune cu bannerul de consimțământ, clasificat pe baza bazei noastre de date de cookie-uri cunoscute.
Solicitări de la tracker-e
Solicitările de la terți sunt comparate cu peste 4.500 de semnături cunoscute de trackere, inclusiv dacă fiecare solicitare a setat un cookie.
Abatere a declarației privind cookie-urile
Pentru site-urile Cookiebot, comparăm declarația de cookie-uri publicată cu cookie-urile pe care le-am observat efectiv pe site.
Platforme de consimțământ pe care le recunoaștem
Site-urile care utilizează o platformă pe care nu o recunoaștem sau care nu utilizează nicio platformă sunt raportate ca site-uri fără nicio platformă de gestionare a consimțământului detectată.
Comportamentul crawler-ului
Respectuos prin design.
Rata limitată
Maximum 2 cereri pe secundă. Nu inundăm niciodată serverul tău.
Crawling conștient de template-uri
Crawler-ul nostru detectează inteligent template-urile paginilor. Pe site-urile de e-commerce cu mii de pagini de produse care partajează același layout, identificăm automat template-ul și trecem la alte tipuri de pagini unice. Aceasta înseamnă acoperire completă cu cereri minime.
Fără extragere de date
Nu extragem și nu stocăm conținutul, prețurile sau datele utilizatorilor tăi. Facem capturi de ecran pentru rapoarte vizuale și analizăm cookie-urile, scripturile și comportamentul consimțământului pentru conformitate — nimic altceva.
Protecție la timeout
Fiecare pagină are un timeout de 10 secunde, iar timpul total de crawling este limitat la 5 minute. Nu rămânem niciodată blocați pe serverul tău.
Doar același domeniu
Urmăm doar link-uri din cadrul domeniului scanat. Nu vizităm niciodată site-uri externe în timpul unei scanări.
Scanare inteligentă
Vede site-ul tău așa cum îl văd utilizatorii.
Pentru a produce rezultate de scanare precise și capturi de ecran curate, crawler-ul nostru gestionează automat popup-urile și suprapunerile care apar pe site-urile web moderne.
Bannere de consimțământ pentru cookie-uri — acceptate automat pe toate platformele majore de consimțământ (Cookiebot, OneTrust, Usercentrics, Didomi și altele) în toate cele 24 de limbi ale UE.
Popup-uri și modale — înscrierile la newsletter, overlay-urile promoționale și alte elemente care întrerup sunt detectate și eliminate.
Overlay-uri de fundal — straturile de estompare și fundalurile pe ecran complet sunt eliminate, astfel încât capturile de ecran să arate conținutul real al paginii.
Shadow DOM — parcurgem rădăcinile shadow pentru a găsi și elimina elementele de consimțământ ascunse în web components.
Personalizare
Ajustează crawler-ul pentru site-ul tău.
Detecția noastră automată gestionează majoritatea site-urilor, dar unele au popup-uri personalizate, fluxuri unice de consimțământ sau elemente care necesită tratament special. Proprietarii de site-uri pot configura reguli personalizate pentru crawler în setările site-ului din dashboard pentru a gestiona aceste cazuri speciale.
Selectori de click
Specifică selectori CSS ai butoanelor sau elementelor pe care crawler-ul ar trebui să dea click înainte de scanare — de exemplu, pentru a închide un popup personalizat pe care detecția noastră automată nu îl recunoaște.
Selectori de ascundere
Ascunde forțat anumite elemente înainte de realizarea capturilor de ecran. Util pentru bannere fixe, widget-uri de chat sau suprapuneri care nu ar trebui să apară în raportul tău de conformitate.
Cookie-uri presetate
Setează cookie-uri înainte ca crawler-ul să încarce paginile tale — de exemplu, un cookie de consimțământ pentru a ocoli complet bannerul de cookie-uri, sau un cookie de test A/B pentru a scana o variantă specifică.
Căi ignorate și limite de pagini
Exclude căi URL specifice din scanare și setează o limită personalizată de pagini. Util dacă părți ale site-ului tău sunt în spatele unui login sau conțin conținut care nu necesită scanare.
Aceste setări sunt disponibile în fila Setări a site-ului tău din panoul de control Passiro. Modificările intră în vigoare la următoarea scanare.
Controlul tău
Cum să blochezi crawler-ul nostru
Dacă nu dorești ca Passiro Crawler să viziteze site-ul tău, îl poți bloca folosind fișierul tău robots.txt:
Poți bloca și căi sau secțiuni specifice ale site-ului tău. Respectăm toate directivele standard robots.txt.
Alternativ, ne poți contacta și vom adăuga domeniul tău pe lista noastră de excludere.
Întrebări despre crawler-ul nostru?
Dacă ai întrebări, preocupări sau trebuie să raportezi o problemă cu Passiro Crawler, suntem bucuroși să ajutăm.
Contactează-ne