التدريب والبحث وطلبات المستخدم: الأنواع الثلاثة لزواحف الذكاء الاصطناعي
يسمع كثير من أصحاب الأنشطة أن «الذكاء الاصطناعي سيستخدم محتواي للتدريب»، فيحظرون في robots.txt كل زاحف يحمل اسمه كلمة «AI». والنتيجة: يُحظر التدريب، لكن بحث الذكاء الاصطناعي لم يعد يرى الموقع أيضًا، فمن الطبيعي ألا يُوصى بالنشاط حين يسأل العملاء الذكاء الاصطناعي. المشكلة هي عدم التمييز بين الزواحف بحسب وظيفة كل منها.
ثلاث وظائف
| النوع | ما الذي يفعله | ماذا يحدث إذا حظرته |
|---|---|---|
| زاحف التدريب | يجمع صفحات الويب لتدريب النماذج المستقبلية. | يبقى محتواك خارج بيانات التدريب. ولا يؤثر ذلك عادةً في الاستشهاد بك في بحث الذكاء الاصطناعي. |
| زاحف البحث | يبني فهرس بحث الذكاء الاصطناعي. وعند الإجابة، يجد الذكاء الاصطناعي الصفحات في هذا الفهرس ويضع روابط إليها. | نادرًا ما ستظهر صفحاتك في إجابات بحث الذكاء الاصطناعي. |
| الجلب بطلب من المستخدم | يلصق المستخدم رابط موقعك في المحادثة، أو يفتح الذكاء الاصطناعي صفحتك في الحال ليجيب عن السؤال. | لا يستطيع الذكاء الاصطناعي قراءة صفحتك، فيضطر إلى الإجابة من معلومات وجدها في مكان آخر. |
أسماء زواحف كل شركة
يعرض الجدول أدناه الأسماء الواردة في الوثائق العامة لكل شركة وقت كتابة هذا المقال. تُضاف أسماء وتُحذف أخرى، لذا راجع الوثائق الرسمية قبل أن تكتب أي قواعد.
| الشركة | التدريب | البحث | بطلب من المستخدم |
|---|---|---|---|
| OpenAI | GPTBot | OAI-SearchBot | ChatGPT-User |
| Anthropic | ClaudeBot | Claude-SearchBot | Claude-User |
| Perplexity | — | PerplexityBot | Perplexity-User |
Google-Extended | Googlebot | — |
أمران يخطئ فيهما الناس كثيرًا:
Google-Extendedليس زاحفًا مستقلًا يزور موقعك، بل مفتاح في robots.txt يحدد هل يمكن استخدام المحتوى الذي زحفت إليه Google لأغراض متعلقة بـ Gemini. ولا يؤثر في فهرسة موقعك في بحث Google. أما ملخصات الذكاء الاصطناعي في نتائج بحث Google فتستخدم ما يزحف إليهGooglebotالعادي.- الجلب بطلب من المستخدم يفتح الصفحة نيابةً عن مستخدم محدد، والشركات لا تقول كلها الشيء نفسه بشأن التزامه بـ robots.txt. فلا تفترض أن robots.txt سيتحكم دائمًا في هذا النوع.
مفاضلة شائعة
إذا كان هدفك «لا أريد أن يُستخدم محتواي للتدريب، لكنني أريد أن يوصي بي بحث الذكاء الاصطناعي»، فيمكنك أن تحظر زواحف التدريب وحدها وتسمح لزواحف البحث:
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: OAI-SearchBot
Allow: /
User-agent: Claude-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: /
إذا لم يكن التدريب يزعجك وتريد فقط أن تظهر قدر الإمكان، فلا حاجة إلى أي قواعد Disallow خاصة بالذكاء الاصطناعي. يكفي أن تتأكد من أن القاعدة العامة User-agent: * لا تحظر موقعك كله.
ما الذي تتحقق منه غير robots.txt
السماح للزواحف في robots.txt لا يعني أنها تستطيع الدخول فعلًا. فهناك موضعان آخران قد يمنعانها أيضًا:
- إعداد «حظر روبوتات الذكاء الاصطناعي» في شبكة CDN أو جدار الحماية لديك. بعض الخدمات تفعّله افتراضيًا، أو تشغّله تلقائيًا بعد أحد التحديثات.
- الحظر الذي تفرضه شركة الاستضافة أو إضافة أمان بناءً على User-Agent أو نطاق عناوين IP.
للتحقق، ابحث في سجلات الوصول إلى خادمك عن الطلبات الواردة من هذه الزواحف، وانظر هل حصلت على رمز الحالة 200 أم 403.
مقالات ذات صلة
تريد أن تعرف هل يسمح ملف robots.txt لديك حاليًا لزواحف الذكاء الاصطناعي أم يحظرها؟ يعرض الفحص المجاني النتيجة لكل زاحف من أربعة: GPTBot وOAI-SearchBot وPerplexityBot وClaudeBot.
قدّم طلبًا للحصول على فحص مجاني