Chatwoot utiliza Firecrawl internamente para obtener e indexar el contenido de tu sitio web. Esto permite que el Asistente de Chatwoot responda preguntas utilizando la información de tu sitio.
Sin embargo, si el robots.txt de tu sitio web tiene reglas Disallow, Firecrawl las respetará y no rastreará esas páginas.
Cuando eso ocurre:
-
No se agregarán documentos de tu sitio web a Chatwoot
-
El Asistente no recibirá ningún contexto adicional
-
Las respuestas pueden volverse incompletas o genéricas
Para asegurar que el Asistente funcione correctamente, debes permitir que Firecrawl rastree tu sitio web.
Paso 1: Verifica tu robots.txt
Visita:
https://yourdomain.com/robots.txt
Busca cualquier entrada Disallow: que pueda bloquear agentes de usuario.
Paso 2: Añade una regla Allow para Firecrawl
Pide a tu administrador o desarrollador web que agregue las siguientes líneas al archivo robots.txt:
User-agent: FirecrawlAgent
Allow: /
Esto le indica a Firecrawl que tiene permitido rastrear todo tu sitio, incluso si otros bots están restringidos.
Paso 3: Guarda y publica
Después de actualizar el robots.txt, asegúrate de que el archivo esté implementado y sea accesible públicamente.
Puedes verificarlo visitando:
https://yourdomain.com/robots.txt
y comprobando que las nuevas reglas aparecen.