robots.txt AI क्रॉलर को कैसे ब्लॉक करता है, और अपनी फ़ाइल कैसे जाँचें
किसी सवाल का जवाब देने से पहले AI सर्च को आम तौर पर उन पेजों को क्रॉल करना पड़ता है जिनसे वह जानकारी लेता है। अगर आपका robots.txt सही क्रॉलर को बाहर रोक देता है, तो हो सकता है AI आपका पेज कभी देखे ही नहीं, चाहे वह कितना भी अच्छा हो। यह बात आसानी से छूट जाती है, क्योंकि कई साइटों का robots.txt सालों पहले लिखा गया था, जब ये क्रॉलर थे ही नहीं।
आम AI क्रॉलर
यहाँ बड़ी AI सेवाओं के क्रॉलरों के नाम दिए गए हैं। सटीक नामों के लिए हर कंपनी के आधिकारिक दस्तावेज़ ही अंतिम स्रोत हैं, इसलिए कोई भी नियम लिखने से पहले उन्हें ज़रूर देखें।
GPTBot: ट्रेनिंग डेटा के लिए OpenAI का क्रॉलर।OAI-SearchBot: ChatGPT के सर्च नतीजों के लिए OpenAI का क्रॉलर।PerplexityBot: अपने सर्च इंडेक्स के लिए Perplexity का क्रॉलर।ClaudeBot: Anthropic का क्रॉलर।
ट्रेनिंग और सर्च का काम आम तौर पर दो अलग-अलग क्रॉलर करते हैं। अगर आप चाहते हैं कि AI आपके पेज उद्धृत करे, तो सर्च क्रॉलर ज़्यादा मायने रखता है; ट्रेनिंग क्रॉलर को ब्लॉक करने से ज़रूरी नहीं कि उद्धरणों पर असर पड़े।
एक वाइल्डकार्ड नियम सबको ब्लॉक कर देता है
User-agent: * Disallow: /
ये दो लाइनें हर उस क्रॉलर को ब्लॉक कर देती हैं जिसका अपना कोई नियम नहीं है, ऊपर वाले सभी क्रॉलरों समेत। कई साइटों ने फ़ालतू ट्रैफ़िक रोकने के लिए ये लाइनें जोड़ीं और अनजाने में AI सर्च को भी बाहर कर दिया।
नाम वाले नियम पहले लागू होते हैं
ज़्यादातर क्रॉलर उस नियम-समूह का पालन करते हैं जिसमें उनका नाम हो, और ऐसा कोई समूह न होने पर ही * वाले नियम पर जाते हैं। इसलिए नीचे दिए गए नियम ClaudeBot को अनुमति देते हैं और बाकी सबको ब्लॉक करते हैं:
User-agent: * Disallow: / User-agent: ClaudeBot Allow: /
अगर आप हर AI सर्च क्रॉलर को अनुमति देना चाहते हैं, तो वाइल्डकार्ड नियम पर निर्भर रहने की बजाय हर नाम को Allow: / के साथ उसका अपना समूह दें।
कैसे जाँचें
yourdomain/robots.txtखोलें और पक्का करें कि फ़ाइल मौजूद है और 200 लौटाती है।- हर AI क्रॉलर का नियम-समूह ढूँढें और देखें कि उसके
Disallowमें/है या नहीं। - पाथ पर ध्यान दें:
Disallow: /privateसिर्फ़ उन पेजों को ब्लॉक करता है जो/privateसे शुरू होते हैं, रूट को नहीं। - अगर फ़ाइल 404 लौटाती है, तो डिफ़ॉल्ट रूप से सभी क्रॉलरों को अनुमति होती है। अगर फ़ाइल तक पहुँचा ही न जा सके, तो जाँचते समय इसे “पहुँच से बाहर” मानें।
CiteRev की मुफ़्त जाँच ये चरण अपने आप पूरे करती है और हर क्रॉलर का नतीजा बताती है।
संबंधित लेख
जानना चाहते हैं कि आपका robots.txt अभी AI क्रॉलरों को अंदर आने देता है या बाहर रोकता है? मुफ़्त जाँच हर क्रॉलर का नतीजा बताती है।
मुफ़्त जाँच के लिए आवेदन करें