Chatwoot verwendet Firecrawl intern, um die Inhalte Ihrer Website abzurufen und zu indexieren. Dies ermöglicht dem Chatwoot Assistant, Fragen unter Verwendung der Informationen Ihrer Website zu beantworten.
Falls jedoch die robots.txt Ihrer Website Disallow-Regeln enthält, wird Firecrawl diese respektieren und das Crawlen dieser Seiten überspringen.
Wenn dies geschieht:
-
Es werden keine Dokumente von Ihrer Website zu Chatwoot hinzugefügt
-
Der Assistant erhält keinen zusätzlichen Kontext
-
Antworten können unvollständig oder allgemein ausfallen
Um sicherzustellen, dass der Assistant ordnungsgemäß funktioniert, müssen Sie Firecrawl das Crawlen Ihrer Website erlauben.
Schritt 1: Überprüfen Sie Ihre robots.txt
Besuchen Sie:
https://yourdomain.com/robots.txt
Suchen Sie nach Disallow:-Einträgen, die eventuell Benutzeragenten blockieren.
Schritt 2: Fügen Sie eine Allow-Regel für Firecrawl hinzu
Bitten Sie Ihren Website-Administrator oder Entwickler, die folgenden Zeilen zur robots.txt-Datei hinzuzufügen:
User-agent: FirecrawlAgent
Allow: /
Dies teilt Firecrawl mit, dass es erlaubt ist, Ihre gesamte Website zu crawlen, auch wenn andere Bots eingeschränkt werden.
Schritt 3: Speichern und Veröffentlichen
Stellen Sie nach dem Aktualisieren der robots.txt sicher, dass die Datei bereitgestellt und öffentlich zugänglich ist.
Sie können dies überprüfen, indem Sie folgende Seite aufrufen:
https://yourdomain.com/robots.txt
und kontrollieren, ob die neuen Regeln erscheinen.