كيف يحظر robots.txt زواحف الذكاء الاصطناعي، وكيف تفحص ملفك
قبل أن يجيب بحث الذكاء الاصطناعي عن سؤال، عليه عادةً أن يزحف إلى الصفحات التي يستقي منها. فإذا أغلق ملف robots.txt لديك الباب أمام الزاحف المعني، فقد لا يرى الذكاء الاصطناعي صفحتك أبدًا، مهما كانت جيدة. ومن السهل أن يفوتك ذلك، لأن لدى كثير من المواقع ملف robots.txt كُتب قبل سنوات، قبل أن توجد هذه الزواحف.
زواحف الذكاء الاصطناعي الشائعة
فيما يلي أسماء الزواحف التي تستخدمها خدمات الذكاء الاصطناعي الكبرى. والمرجع النهائي في الأسماء الدقيقة هو الوثائق الرسمية لكل شركة، لذا راجعها قبل أن تكتب أي قواعد.
GPTBot: زاحف OpenAI لجمع بيانات التدريب.OAI-SearchBot: زاحف OpenAI لنتائج البحث في ChatGPT.PerplexityBot: زاحف Perplexity لفهرس البحث الخاص بها.ClaudeBot: زاحف Anthropic.
يتولى التدريبَ والبحثَ عادةً زاحفان مختلفان. إذا أردت أن يستشهد الذكاء الاصطناعي بصفحاتك، فزاحف البحث هو الأهم؛ وحظر زاحف التدريب لن يؤثر بالضرورة في الاستشهادات.
قاعدة عامة واحدة تحظر الجميع
User-agent: * Disallow: /
هذان السطران يحظران كل زاحف ليست له قاعدة خاصة به، بما في ذلك كل الزواحف المذكورة أعلاه. وقد أضافهما كثير من المواقع لصدّ الزيارات غير المرغوب فيها، فانتهى بها الأمر إلى إغلاق الباب أمام بحث الذكاء الاصطناعي أيضًا.
القواعد المسمّاة لها الأولوية
تتبع معظم الزواحف مجموعة القواعد التي تذكرها بالاسم، ولا ترجع إلى * إلا عند عدم وجودها. لذا فالقواعد أدناه تسمح لـ ClaudeBot وتحظر الجميع غيره:
User-agent: * Disallow: / User-agent: ClaudeBot Allow: /
إذا أردت السماح لكل زواحف بحث الذكاء الاصطناعي، فامنح كل اسم مجموعته الخاصة مع Allow: / بدلًا من الاعتماد على القاعدة العامة.
كيف تتحقق
- افتح
yourdomain/robots.txtوتأكد من أن الملف موجود ويُرجع 200. - ابحث عن مجموعة القواعد الخاصة بكل زاحف ذكاء اصطناعي، وانظر هل يتضمن
Disallowفيها/. - انتبه إلى المسارات:
Disallow: /privateلا يحظر إلا الصفحات التي تبدأ بـ/private، لا الجذر. - إذا أرجع الملف 404، فكل الزواحف مسموح لها افتراضيًا. وإذا تعذّر الوصول إليه أصلًا، فسجّله على أنه «تعذّر الوصول» عند الفحص.
يمرّ الفحص المجاني من CiteRev بهذه الخطوات تلقائيًا، ويعرض النتيجة لكل زاحف.
مقالات ذات صلة
تريد أن تعرف هل يسمح ملف robots.txt لديك حاليًا بدخول زواحف الذكاء الاصطناعي أم يمنعها؟ يعرض الفحص المجاني النتيجة لكل زاحف.
قدّم طلبًا للحصول على فحص مجاني