ट्रेनिंग, सर्च, यूज़र-ट्रिगर्ड: तीन तरह के AI क्रॉलर
कई बिज़नेस मालिक सुनते हैं कि “AI मेरी सामग्री को ट्रेनिंग के लिए इस्तेमाल करेगा” और robots.txt में हर उस क्रॉलर को ब्लॉक कर देते हैं जिसके नाम में “AI” हो। नतीजा: ट्रेनिंग तो रुक जाती है, पर AI सर्च भी वेबसाइट को नहीं देख पाता, और ज़ाहिर है कि जब ग्राहक AI से पूछते हैं तो बिज़नेस की सिफ़ारिश नहीं होती। असली समस्या यह है कि क्रॉलरों को उनके काम के हिसाब से अलग-अलग नहीं पहचाना गया।
तीन काम
| प्रकार | यह क्या करता है | ब्लॉक करने पर क्या होता है |
|---|---|---|
| ट्रेनिंग क्रॉलर | आगे के मॉडल ट्रेन करने के लिए वेब पेज इकट्ठा करता है। | आपकी सामग्री ट्रेनिंग डेटा से बाहर रहती है। आम तौर पर AI सर्च में उद्धृत होने पर कोई असर नहीं पड़ता। |
| सर्च क्रॉलर | AI सर्च के लिए इंडेक्स बनाता है। जवाब देते समय AI इसी इंडेक्स में पेज ढूँढता है और उनके लिंक देता है। | AI सर्च के जवाबों में आपके पेज शायद ही कभी दिखेंगे। |
| यूज़र-ट्रिगर्ड फ़ेचिंग | कोई यूज़र आपका URL चैट में पेस्ट करता है, या AI सवाल का जवाब देने के लिए उसी समय आपका पेज खोलता है। | AI आपका पेज नहीं पढ़ पाता और उसे कहीं और मिली जानकारी से जवाब देना पड़ता है। |
हर कंपनी के क्रॉलरों के नाम
नीचे की तालिका में वे नाम हैं जो लिखे जाने के समय हर कंपनी के सार्वजनिक दस्तावेज़ों में दिए गए थे। नाम जुड़ते और हटते रहते हैं, इसलिए कोई भी नियम लिखने से पहले आधिकारिक दस्तावेज़ ज़रूर देखें।
| कंपनी | ट्रेनिंग | सर्च | यूज़र-ट्रिगर्ड |
|---|---|---|---|
| OpenAI | GPTBot | OAI-SearchBot | ChatGPT-User |
| Anthropic | ClaudeBot | Claude-SearchBot | Claude-User |
| Perplexity | — | PerplexityBot | Perplexity-User |
Google-Extended | Googlebot | — |
दो बातें जिन्हें लोग अक्सर गलत समझते हैं:
Google-Extendedकोई अलग क्रॉलर नहीं है जो आपकी साइट पर आता हो। यह robots.txt में एक स्विच है जो तय करता है कि Google ने जो सामग्री क्रॉल की है, उसे Gemini से जुड़े कामों के लिए इस्तेमाल किया जा सकता है या नहीं। इससे इस पर कोई असर नहीं पड़ता कि आप Google Search में इंडेक्स होते हैं या नहीं। Google Search के नतीजों में दिखने वाले AI सारांश वही इस्तेमाल करते हैं जो सामान्यGooglebotक्रॉल करता है।- यूज़र-ट्रिगर्ड फ़ेचिंग किसी ख़ास यूज़र की ओर से पेज खोलती है, और यह robots.txt का पालन करती है या नहीं, इस पर सभी कंपनियाँ एक जैसी बात नहीं कहतीं। यह मानकर न चलें कि robots.txt इस प्रकार को हमेशा नियंत्रित करेगा।
एक आम संतुलन
अगर आपका लक्ष्य है “मैं नहीं चाहता कि मेरी सामग्री ट्रेनिंग में इस्तेमाल हो, पर मैं चाहता हूँ कि AI सर्च मेरी सिफ़ारिश करे,” तो आप सिर्फ़ ट्रेनिंग क्रॉलरों को ब्लॉक कर सकते हैं और सर्च क्रॉलरों को अनुमति दे सकते हैं:
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: OAI-SearchBot
Allow: /
User-agent: Claude-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: /
अगर आपको ट्रेनिंग से कोई आपत्ति नहीं है और आप बस जितना हो सके उतना दिखना चाहते हैं, तो आपको AI के लिए अलग से कोई Disallow नियम नहीं चाहिए। बस यह पक्का करें कि वाइल्डकार्ड नियम User-agent: * आपकी पूरी साइट को ब्लॉक न कर रहा हो।
robots.txt के अलावा क्या जाँचें
robots.txt में क्रॉलरों को अनुमति देने का मतलब यह नहीं कि वे सच में अंदर आ पाते हैं। दो और जगहें भी उन्हें रोक सकती हैं:
- आपके CDN या फ़ायरवॉल में “AI बॉट ब्लॉक करें” वाली सेटिंग। कुछ सेवाएँ इसे डिफ़ॉल्ट रूप से चालू रखती हैं, या किसी अपडेट के बाद अपने आप चालू कर देती हैं।
- आपके वेब होस्ट या किसी सिक्योरिटी प्लगइन द्वारा User-Agent या IP रेंज के आधार पर ब्लॉकिंग।
जाँचने के लिए, अपने सर्वर के एक्सेस लॉग में इन क्रॉलरों की रिक्वेस्ट देखें, और देखें कि उन्हें 200 मिला या 403 स्टेटस कोड।
संबंधित लेख
जानना चाहते हैं कि आपका robots.txt अभी AI क्रॉलरों को अनुमति देता है या ब्लॉक करता है? मुफ़्त जाँच चार क्रॉलरों में से हर एक का नतीजा बताती है: GPTBot, OAI-SearchBot, PerplexityBot और ClaudeBot।
मुफ़्त जाँच के लिए आवेदन करें