CiteRev
CiteRev · المقالات

التدريب والبحث وطلبات المستخدم: الأنواع الثلاثة لزواحف الذكاء الاصطناعي

نُشر في 21 نوفمبر 2026

يسمع كثير من أصحاب الأنشطة أن «الذكاء الاصطناعي سيستخدم محتواي للتدريب»، فيحظرون في robots.txt كل زاحف يحمل اسمه كلمة «AI». والنتيجة: يُحظر التدريب، لكن بحث الذكاء الاصطناعي لم يعد يرى الموقع أيضًا، فمن الطبيعي ألا يُوصى بالنشاط حين يسأل العملاء الذكاء الاصطناعي. المشكلة هي عدم التمييز بين الزواحف بحسب وظيفة كل منها.

ثلاث وظائف

النوعما الذي يفعلهماذا يحدث إذا حظرته
زاحف التدريبيجمع صفحات الويب لتدريب النماذج المستقبلية.يبقى محتواك خارج بيانات التدريب. ولا يؤثر ذلك عادةً في الاستشهاد بك في بحث الذكاء الاصطناعي.
زاحف البحثيبني فهرس بحث الذكاء الاصطناعي. وعند الإجابة، يجد الذكاء الاصطناعي الصفحات في هذا الفهرس ويضع روابط إليها.نادرًا ما ستظهر صفحاتك في إجابات بحث الذكاء الاصطناعي.
الجلب بطلب من المستخدميلصق المستخدم رابط موقعك في المحادثة، أو يفتح الذكاء الاصطناعي صفحتك في الحال ليجيب عن السؤال.لا يستطيع الذكاء الاصطناعي قراءة صفحتك، فيضطر إلى الإجابة من معلومات وجدها في مكان آخر.

أسماء زواحف كل شركة

يعرض الجدول أدناه الأسماء الواردة في الوثائق العامة لكل شركة وقت كتابة هذا المقال. تُضاف أسماء وتُحذف أخرى، لذا راجع الوثائق الرسمية قبل أن تكتب أي قواعد.

الشركةالتدريبالبحثبطلب من المستخدم
OpenAIGPTBotOAI-SearchBotChatGPT-User
AnthropicClaudeBotClaude-SearchBotClaude-User
Perplexity—PerplexityBotPerplexity-User
GoogleGoogle-ExtendedGooglebot—

أمران يخطئ فيهما الناس كثيرًا:

مفاضلة شائعة

إذا كان هدفك «لا أريد أن يُستخدم محتواي للتدريب، لكنني أريد أن يوصي بي بحث الذكاء الاصطناعي»، فيمكنك أن تحظر زواحف التدريب وحدها وتسمح لزواحف البحث:

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

إذا لم يكن التدريب يزعجك وتريد فقط أن تظهر قدر الإمكان، فلا حاجة إلى أي قواعد Disallow خاصة بالذكاء الاصطناعي. يكفي أن تتأكد من أن القاعدة العامة User-agent: * لا تحظر موقعك كله.

ما الذي تتحقق منه غير robots.txt

السماح للزواحف في robots.txt لا يعني أنها تستطيع الدخول فعلًا. فهناك موضعان آخران قد يمنعانها أيضًا:

للتحقق، ابحث في سجلات الوصول إلى خادمك عن الطلبات الواردة من هذه الزواحف، وانظر هل حصلت على رمز الحالة 200 أم 403.

السماح لزواحف البحث يتيح للذكاء الاصطناعي قراءة صفحاتك فحسب، ولا يضمن أن يستشهد بك أو يوصي بك. ولتعرف هل يُوصى بك، اطرح أسئلة حقيقية من أسئلة العملاء، عدة جولات لكل منها، ثم انظر في النتائج.

مقالات ذات صلة

تريد أن تعرف هل يسمح ملف robots.txt لديك حاليًا لزواحف الذكاء الاصطناعي أم يحظرها؟ يعرض الفحص المجاني النتيجة لكل زاحف من أربعة: GPTBot وOAI-SearchBot وPerplexityBot وClaudeBot.

قدّم طلبًا للحصول على فحص مجاني