تستخدم Chatwoot خدمة Firecrawl داخليًا لجلب وفهرسة محتوى موقعك الإلكتروني. يتيح ذلك لمساعد Chatwoot الإجابة على الأسئلة باستخدام معلومات موقعك.
ومع ذلك، إذا كان ملف robots.txt الخاص بموقعك يتضمن قواعد Disallow، فسيحترم Firecrawl تلك القواعد ويتخطى الزحف إلى هذه الصفحات.
عندما يحدث ذلك:
-
لن تتم إضافة أي مستندات من موقعك إلى Chatwoot
-
لن يتلقى المساعد أي سياق إضافي
-
قد تصبح الإجابات ناقصة أو عامة
لضمان عمل المساعد بشكل صحيح، عليك السماح لـ Firecrawl بالزحف إلى موقعك الإلكتروني.
الخطوة 1: تحقق من ملف robots.txt الخاص بك
قم بزيارة:
https://yourdomain.com/robots.txt
ابحث عن أي إدخالات Disallow: قد تمنع عوامل المستخدم.
الخطوة 2: أضف قاعدة سماح لـ Firecrawl
اطلب من مسؤول موقعك أو المطور إضافة الأسطر التالية إلى ملف robots.txt:
User-agent: FirecrawlAgent
Allow: /
يشير هذا إلى Firecrawl بأنه مسموح له بزحف كامل موقعك، حتى إذا تم تقييد برامج الزحف الأخرى.
الخطوة 3: احفظ وانشر
بعد تحديث ملف robots.txt، تأكد من أن الملف تم نشره ويمكن الوصول إليه علنًا.
يمكنك التحقق عن طريق زيارة:
https://yourdomain.com/robots.txt
والتأكد من ظهور القواعد الجديدة.