CiteRev
CiteRev · लेख

ट्रेनिंग, सर्च, यूज़र-ट्रिगर्ड: तीन तरह के AI क्रॉलर

प्रकाशित: 21 नवंबर 2026

कई बिज़नेस मालिक सुनते हैं कि “AI मेरी सामग्री को ट्रेनिंग के लिए इस्तेमाल करेगा” और robots.txt में हर उस क्रॉलर को ब्लॉक कर देते हैं जिसके नाम में “AI” हो। नतीजा: ट्रेनिंग तो रुक जाती है, पर AI सर्च भी वेबसाइट को नहीं देख पाता, और ज़ाहिर है कि जब ग्राहक AI से पूछते हैं तो बिज़नेस की सिफ़ारिश नहीं होती। असली समस्या यह है कि क्रॉलरों को उनके काम के हिसाब से अलग-अलग नहीं पहचाना गया।

तीन काम

प्रकारयह क्या करता हैब्लॉक करने पर क्या होता है
ट्रेनिंग क्रॉलरआगे के मॉडल ट्रेन करने के लिए वेब पेज इकट्ठा करता है।आपकी सामग्री ट्रेनिंग डेटा से बाहर रहती है। आम तौर पर AI सर्च में उद्धृत होने पर कोई असर नहीं पड़ता।
सर्च क्रॉलरAI सर्च के लिए इंडेक्स बनाता है। जवाब देते समय AI इसी इंडेक्स में पेज ढूँढता है और उनके लिंक देता है।AI सर्च के जवाबों में आपके पेज शायद ही कभी दिखेंगे।
यूज़र-ट्रिगर्ड फ़ेचिंगकोई यूज़र आपका URL चैट में पेस्ट करता है, या AI सवाल का जवाब देने के लिए उसी समय आपका पेज खोलता है।AI आपका पेज नहीं पढ़ पाता और उसे कहीं और मिली जानकारी से जवाब देना पड़ता है।

हर कंपनी के क्रॉलरों के नाम

नीचे की तालिका में वे नाम हैं जो लिखे जाने के समय हर कंपनी के सार्वजनिक दस्तावेज़ों में दिए गए थे। नाम जुड़ते और हटते रहते हैं, इसलिए कोई भी नियम लिखने से पहले आधिकारिक दस्तावेज़ ज़रूर देखें।

कंपनीट्रेनिंगसर्चयूज़र-ट्रिगर्ड
OpenAIGPTBotOAI-SearchBotChatGPT-User
AnthropicClaudeBotClaude-SearchBotClaude-User
Perplexity—PerplexityBotPerplexity-User
GoogleGoogle-ExtendedGooglebot—

दो बातें जिन्हें लोग अक्सर गलत समझते हैं:

एक आम संतुलन

अगर आपका लक्ष्य है “मैं नहीं चाहता कि मेरी सामग्री ट्रेनिंग में इस्तेमाल हो, पर मैं चाहता हूँ कि AI सर्च मेरी सिफ़ारिश करे,” तो आप सिर्फ़ ट्रेनिंग क्रॉलरों को ब्लॉक कर सकते हैं और सर्च क्रॉलरों को अनुमति दे सकते हैं:

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

अगर आपको ट्रेनिंग से कोई आपत्ति नहीं है और आप बस जितना हो सके उतना दिखना चाहते हैं, तो आपको AI के लिए अलग से कोई Disallow नियम नहीं चाहिए। बस यह पक्का करें कि वाइल्डकार्ड नियम User-agent: * आपकी पूरी साइट को ब्लॉक न कर रहा हो।

robots.txt के अलावा क्या जाँचें

robots.txt में क्रॉलरों को अनुमति देने का मतलब यह नहीं कि वे सच में अंदर आ पाते हैं। दो और जगहें भी उन्हें रोक सकती हैं:

जाँचने के लिए, अपने सर्वर के एक्सेस लॉग में इन क्रॉलरों की रिक्वेस्ट देखें, और देखें कि उन्हें 200 मिला या 403 स्टेटस कोड।

सर्च क्रॉलरों को अनुमति देने से AI बस आपके पेज पढ़ पाता है। इससे यह गारंटी नहीं मिलती कि AI आपको उद्धृत करेगा या आपकी सिफ़ारिश करेगा। आपकी सिफ़ारिश होती है या नहीं, यह जानने के लिए ग्राहकों के असली सवाल पूछें, हर एक कई राउंड, और फिर नतीजे देखें।

संबंधित लेख

जानना चाहते हैं कि आपका robots.txt अभी AI क्रॉलरों को अनुमति देता है या ब्लॉक करता है? मुफ़्त जाँच चार क्रॉलरों में से हर एक का नतीजा बताती है: GPTBot, OAI-SearchBot, PerplexityBot और ClaudeBot।

मुफ़्त जाँच के लिए आवेदन करें