O Chatwoot utiliza o Firecrawl internamente para buscar e indexar o conteúdo do seu site. Isso permite que o Assistente do Chatwoot responda perguntas usando as informações do seu site.
No entanto, se o arquivo robots.txt do seu site possuir regras Disallow, o Firecrawl irá respeitá-las e pular o rastreamento dessas páginas.
Quando isso acontece:
-
Nenhum documento do seu site será adicionado ao Chatwoot
-
O Assistente não receberá contexto adicional
-
As respostas podem se tornar incompletas ou genéricas
Para garantir que o Assistente funcione corretamente, é necessário permitir que o Firecrawl rastreie o seu site.
Passo 1: Verifique Seu robots.txt
Acesse:
https://seudominio.com/robots.txt
Procure por entradas Disallow: que possam bloquear agentes de usuário.
Passo 2: Adicione uma Regra Allow para o Firecrawl
Peça para o administrador ou desenvolvedor do seu site adicionar as seguintes linhas ao arquivo robots.txt:
User-agent: FirecrawlAgent
Allow: /
Isso indica ao Firecrawl que ele tem permissão para rastrear todo o seu site, mesmo que outros bots estejam restritos.
Passo 3: Salve e Publique
Após atualizar o robots.txt, certifique-se de que o arquivo foi publicado e está acessível publicamente.
Você pode verificar acessando:
https://seudominio.com/robots.txt
e conferindo se as novas regras aparecem.