Como funciona o nosso crawler.
O Passiro Crawler analisa sites à procura de cookies, rastreadores e conformidade do consentimento. É respeitoso, transparente e fácil de controlar.
Identificação
Como identificar o nosso crawler
O Passiro Crawler identifica-se em cada pedido com a seguinte string User-Agent:
Pode identificar o nosso crawler procurando por PassiroCrawler no cabeçalho User-Agent.
O que faz
Construído para analisar, não para recolher dados.
Análise de cookies e rastreadores
Carregamos as suas páginas num browser headless e registamos cada cookie e cada pedido de terceiros que elas acionam, para podermos reportar exatamente que rastreadores são executados antes e depois do consentimento.
Capturas de ecrã
Tiramos capturas de ecrã das páginas analisadas para criar relatórios visuais que mostram como o seu banner de cookies e o fluxo de consentimento aparecem aos visitantes. As capturas são armazenadas de forma segura e apenas mostradas ao proprietário do site ou em avaliações públicas.
Descoberta de links
Seguimos links internos para descobrir páginas no seu site. Apenas seguimos links dentro do mesmo domínio e respeitamos um limite máximo de páginas. Também verificamos a sua sitemap.xml se estiver disponível.
Deteção
O que a verificação de consentimento deteta
A verificação do consentimento carrega cada página num navegador real e regista o que acontece antes de ser dado qualquer consentimento. Tudo o que é comunicado numa página de análise é comportamento observado, não uma suposição.
Plataforma de consentimento e configuração
Qual plataforma de gestão de consentimento está em execução no site. Nas configurações do Cookiebot também lemos o ID da conta e se o bloqueio automático de scripts está ativado.
Google Consent Mode v2
Se as predefinições de consentimento são declaradas antes de as etiquetas da Google serem carregadas e se todos os tipos de armazenamento estão recusados por predefinição.
IAB TCF v2
Se o site expõe a API do Transparency and Consent Framework utilizada para publicidade programática.
Cookies definidos antes do consentimento
Cada cookie definido antes de qualquer interação com o banner de consentimento, classificado com base na nossa base de dados de cookies conhecidos.
Pedidos de rastreadores
Pedidos de terceiros comparados com mais de 4.500 assinaturas de rastreadores conhecidas, incluindo a verificação de se cada pedido definiu um cookie.
Desvio da declaração de cookies
Nos sites Cookiebot, comparamos a declaração de cookies publicada com os cookies que realmente observámos no site.
Plataformas de consentimento que reconhecemos
Os sites que utilizam uma plataforma que não reconhecemos, ou nenhuma plataforma, são reportados como não tendo qualquer plataforma de gestão de consentimento detetada.
Comportamento de crawl
Respeitoso por conceção.
Limitação de velocidade
Máximo de 2 pedidos por segundo. Nunca sobrecarregamos o seu servidor.
Crawling com reconhecimento de templates
O nosso crawler deteta inteligentemente templates de páginas. Em sites de e-commerce com milhares de páginas de produtos com o mesmo layout, identificamos automaticamente o template e passamos para outros tipos de páginas únicos. Isto significa cobertura total com pedidos mínimos.
Sem extração de dados
Não extraímos nem armazenamos o seu conteúdo, preços ou dados de utilizadores. Tiramos capturas de ecrã para relatórios visuais e analisamos cookies, scripts e o comportamento do consentimento para fins de conformidade — nada mais.
Proteção de timeout
Cada página tem um timeout de 10 segundos e o tempo total de crawl é limitado a 5 minutos. Nunca ficamos pendurados no seu servidor.
Apenas o mesmo domínio
Apenas seguimos links dentro do domínio que está a ser analisado. Nunca visitamos websites externos durante uma análise.
Análise inteligente
Vê o seu site como os utilizadores o veem.
Para produzir resultados de análise precisos e capturas de ecrã limpas, o nosso crawler trata automaticamente dos popups e overlays que aparecem nos sites modernos.
Banners de consentimento de cookies — aceites automaticamente em todas as principais plataformas de consentimento (Cookiebot, OneTrust, Usercentrics, Didomi e mais) nos 24 idiomas da UE.
Popups e modais — subscrições de newsletter, overlays promocionais e outros elementos interruptivos são detetados e fechados.
Overlays de fundo — camadas de escurecimento e fundos em ecrã inteiro são removidos para que as capturas de ecrã mostrem o conteúdo real da página.
Shadow DOM — percorremos shadow roots para encontrar e fechar elementos de consentimento que estão ocultos dentro de web components.
Personalização
Ajuste o crawler para o seu site.
A nossa deteção automática trata a maioria dos websites, mas alguns sites têm popups personalizados, fluxos de consentimento únicos ou elementos que precisam de tratamento especial. Os proprietários de sites podem configurar regras de crawler personalizadas nas definições do site para tratar estes casos extremos.
Seletores de clique
Especifique seletores CSS de botões ou elementos que o crawler deve clicar antes da análise — por exemplo, para fechar um popup personalizado que a nossa deteção automática não reconhece.
Seletores de ocultação
Oculte à força elementos específicos antes das capturas de ecrã. Útil para banners fixos, widgets de chat ou overlays que não devem aparecer no seu relatório de conformidade.
Cookies pré-definidos
Defina cookies antes de o crawler carregar as suas páginas — por exemplo, um cookie de consentimento para ignorar completamente o banner de cookies, ou um cookie de teste A/B para analisar uma variante específica.
Caminhos ignorados e limites de páginas
Exclua caminhos de URL específicos da análise e defina um limite de páginas personalizado. Útil se partes do seu site estão atrás de login ou contêm conteúdo que não precisa de ser analisado.
Estas definições estão disponíveis no separador Definições do seu site no dashboard do Passiro. As alterações entram em vigor na próxima análise.
O seu controlo
Como bloquear o nosso crawler
Se não quiser que o Passiro Crawler visite o seu website, pode bloqueá-lo usando o seu ficheiro robots.txt:
Também pode bloquear caminhos ou secções específicas do seu site. Respeitamos todas as diretivas standard do robots.txt.
Em alternativa, pode contactar-nos e adicionaremos o seu domínio à nossa lista de exclusão.
Questões sobre o nosso crawler?
Se tem questões, preocupações ou precisa de reportar um problema com o Passiro Crawler, teremos todo o gosto em ajudar.
Contacte-nos