Chatwoot utilise Firecrawl en interne pour récupérer et indexer le contenu de votre site web. Cela permet à l’Assistant Chatwoot de répondre aux questions en utilisant les informations de votre site.
Cependant, si le fichier robots.txt de votre site comporte des règles Disallow, Firecrawl les respectera et évitera de parcourir ces pages.
Lorsque cela se produit :
-
Aucun document provenant de votre site ne sera ajouté à Chatwoot
-
L’Assistant ne recevra aucun contexte supplémentaire
-
Les réponses pourront être incomplètes ou génériques
Pour garantir le bon fonctionnement de l’Assistant, vous devez autoriser Firecrawl à explorer votre site internet.
Étape 1 : Vérifiez votre robots.txt
Visitez :
https://yourdomain.com/robots.txt
Recherchez toute entrée Disallow: susceptible de bloquer des agents utilisateurs.
Étape 2 : Ajoutez une règle Allow pour Firecrawl
Demandez à l’administrateur ou au développeur de votre site d’ajouter les lignes suivantes dans le fichier robots.txt :
User-agent: FirecrawlAgent
Allow: /
Cela indique à Firecrawl qu'il est autorisé à explorer l'ensemble de votre site, même si d'autres robots sont restreints.
Étape 3 : Enregistrez et publiez
Après la mise à jour de robots.txt, assurez-vous que le fichier est déployé et accessible publiquement.
Vous pouvez vérifier en visitant :
https://yourdomain.com/robots.txt
et en vérifiant que les nouvelles règles apparaissent.