Chatwoot utiliza Firecrawl internamente para obtener e indexar el contenido de tu sitio web. Esto permite que el Asistente de Chatwoot responda preguntas usando la información de tu sitio.
Sin embargo, si el archivo robots.txt de tu sitio web contiene reglas Disallow, Firecrawl las respetará y no rastreará esas páginas.
Cuando esto sucede:
-
No se agregarán documentos de tu sitio web a Chatwoot
-
El Asistente no recibirá ningún contexto adicional
-
Las respuestas pueden volverse incompletas o genéricas
Para asegurar que el Asistente funcione correctamente, debes permitir que Firecrawl rastree tu sitio web.
Paso 1: Revisa tu robots.txt
Visita:
https://tudominio.com/robots.txt
Busca entradas Disallow: que puedan bloquear agentes de usuario.
Paso 2: Agrega una regla Allow para Firecrawl
Pide a tu administrador o desarrollador web que agregue las siguientes líneas al archivo robots.txt:
User-agent: FirecrawlAgent
Allow: /
Esto le indica a Firecrawl que tiene permiso para rastrear todo tu sitio, incluso si otros bots están restringidos.
Paso 3: Guarda y publica
Después de actualizar robots.txt, asegúrate de que el archivo esté implementado y sea accesible públicamente.
Puedes verificarlo visitando:
https://tudominio.com/robots.txt
y comprobando que las nuevas reglas aparezcan.