CiteRev
CiteRev · المقالات

كيف يحظر robots.txt زواحف الذكاء الاصطناعي، وكيف تفحص ملفك

نُشر في 20 نوفمبر 2026

قبل أن يجيب بحث الذكاء الاصطناعي عن سؤال، عليه عادةً أن يزحف إلى الصفحات التي يستقي منها. فإذا أغلق ملف robots.txt لديك الباب أمام الزاحف المعني، فقد لا يرى الذكاء الاصطناعي صفحتك أبدًا، مهما كانت جيدة. ومن السهل أن يفوتك ذلك، لأن لدى كثير من المواقع ملف robots.txt كُتب قبل سنوات، قبل أن توجد هذه الزواحف.

زواحف الذكاء الاصطناعي الشائعة

فيما يلي أسماء الزواحف التي تستخدمها خدمات الذكاء الاصطناعي الكبرى. والمرجع النهائي في الأسماء الدقيقة هو الوثائق الرسمية لكل شركة، لذا راجعها قبل أن تكتب أي قواعد.

يتولى التدريبَ والبحثَ عادةً زاحفان مختلفان. إذا أردت أن يستشهد الذكاء الاصطناعي بصفحاتك، فزاحف البحث هو الأهم؛ وحظر زاحف التدريب لن يؤثر بالضرورة في الاستشهادات.

قاعدة عامة واحدة تحظر الجميع

User-agent: *
Disallow: /

هذان السطران يحظران كل زاحف ليست له قاعدة خاصة به، بما في ذلك كل الزواحف المذكورة أعلاه. وقد أضافهما كثير من المواقع لصدّ الزيارات غير المرغوب فيها، فانتهى بها الأمر إلى إغلاق الباب أمام بحث الذكاء الاصطناعي أيضًا.

القواعد المسمّاة لها الأولوية

تتبع معظم الزواحف مجموعة القواعد التي تذكرها بالاسم، ولا ترجع إلى * إلا عند عدم وجودها. لذا فالقواعد أدناه تسمح لـ ClaudeBot وتحظر الجميع غيره:

User-agent: *
Disallow: /

User-agent: ClaudeBot
Allow: /

إذا أردت السماح لكل زواحف بحث الذكاء الاصطناعي، فامنح كل اسم مجموعته الخاصة مع Allow: / بدلًا من الاعتماد على القاعدة العامة.

كيف تتحقق

  1. افتح yourdomain/robots.txt وتأكد من أن الملف موجود ويُرجع 200.
  2. ابحث عن مجموعة القواعد الخاصة بكل زاحف ذكاء اصطناعي، وانظر هل يتضمن Disallow فيها /.
  3. انتبه إلى المسارات: Disallow: /private لا يحظر إلا الصفحات التي تبدأ بـ /private، لا الجذر.
  4. إذا أرجع الملف 404، فكل الزواحف مسموح لها افتراضيًا. وإذا تعذّر الوصول إليه أصلًا، فسجّله على أنه «تعذّر الوصول» عند الفحص.

يمرّ الفحص المجاني من CiteRev بهذه الخطوات تلقائيًا، ويعرض النتيجة لكل زاحف.

يقتصر هذا المقال على شرح كيفية عمل القواعد وكيفية التحقق منها، ولا يعد بأن يستشهد بك الذكاء الاصطناعي بمجرد أن يسمح robots.txt بدخول الزواحف. فالاستشهادات تتوقف على عوامل كثيرة، والطريقة الوحيدة لمعرفة ذلك هي النظر في ما يجيب به الذكاء الاصطناعي فعلًا.

مقالات ذات صلة

تريد أن تعرف هل يسمح ملف robots.txt لديك حاليًا بدخول زواحف الذكاء الاصطناعي أم يمنعها؟ يعرض الفحص المجاني النتيجة لكل زاحف.

قدّم طلبًا للحصول على فحص مجاني