CiteRev
CiteRev · लेख

robots.txt AI क्रॉलर को कैसे ब्लॉक करता है, और अपनी फ़ाइल कैसे जाँचें

प्रकाशित: 20 नवंबर 2026

किसी सवाल का जवाब देने से पहले AI सर्च को आम तौर पर उन पेजों को क्रॉल करना पड़ता है जिनसे वह जानकारी लेता है। अगर आपका robots.txt सही क्रॉलर को बाहर रोक देता है, तो हो सकता है AI आपका पेज कभी देखे ही नहीं, चाहे वह कितना भी अच्छा हो। यह बात आसानी से छूट जाती है, क्योंकि कई साइटों का robots.txt सालों पहले लिखा गया था, जब ये क्रॉलर थे ही नहीं।

आम AI क्रॉलर

यहाँ बड़ी AI सेवाओं के क्रॉलरों के नाम दिए गए हैं। सटीक नामों के लिए हर कंपनी के आधिकारिक दस्तावेज़ ही अंतिम स्रोत हैं, इसलिए कोई भी नियम लिखने से पहले उन्हें ज़रूर देखें।

ट्रेनिंग और सर्च का काम आम तौर पर दो अलग-अलग क्रॉलर करते हैं। अगर आप चाहते हैं कि AI आपके पेज उद्धृत करे, तो सर्च क्रॉलर ज़्यादा मायने रखता है; ट्रेनिंग क्रॉलर को ब्लॉक करने से ज़रूरी नहीं कि उद्धरणों पर असर पड़े।

एक वाइल्डकार्ड नियम सबको ब्लॉक कर देता है

User-agent: *
Disallow: /

ये दो लाइनें हर उस क्रॉलर को ब्लॉक कर देती हैं जिसका अपना कोई नियम नहीं है, ऊपर वाले सभी क्रॉलरों समेत। कई साइटों ने फ़ालतू ट्रैफ़िक रोकने के लिए ये लाइनें जोड़ीं और अनजाने में AI सर्च को भी बाहर कर दिया।

नाम वाले नियम पहले लागू होते हैं

ज़्यादातर क्रॉलर उस नियम-समूह का पालन करते हैं जिसमें उनका नाम हो, और ऐसा कोई समूह न होने पर ही * वाले नियम पर जाते हैं। इसलिए नीचे दिए गए नियम ClaudeBot को अनुमति देते हैं और बाकी सबको ब्लॉक करते हैं:

User-agent: *
Disallow: /

User-agent: ClaudeBot
Allow: /

अगर आप हर AI सर्च क्रॉलर को अनुमति देना चाहते हैं, तो वाइल्डकार्ड नियम पर निर्भर रहने की बजाय हर नाम को Allow: / के साथ उसका अपना समूह दें।

कैसे जाँचें

  1. yourdomain/robots.txt खोलें और पक्का करें कि फ़ाइल मौजूद है और 200 लौटाती है।
  2. हर AI क्रॉलर का नियम-समूह ढूँढें और देखें कि उसके Disallow में / है या नहीं।
  3. पाथ पर ध्यान दें: Disallow: /private सिर्फ़ उन पेजों को ब्लॉक करता है जो /private से शुरू होते हैं, रूट को नहीं।
  4. अगर फ़ाइल 404 लौटाती है, तो डिफ़ॉल्ट रूप से सभी क्रॉलरों को अनुमति होती है। अगर फ़ाइल तक पहुँचा ही न जा सके, तो जाँचते समय इसे “पहुँच से बाहर” मानें।

CiteRev की मुफ़्त जाँच ये चरण अपने आप पूरे करती है और हर क्रॉलर का नतीजा बताती है।

यह लेख सिर्फ़ यह समझाता है कि नियम कैसे काम करते हैं और उन्हें कैसे जाँचें। यह वादा नहीं करता कि robots.txt के क्रॉलरों को अंदर आने देने पर AI आपको उद्धृत करेगा। उद्धरण कई बातों पर निर्भर करते हैं, और यह जानने का एकमात्र तरीका है कि AI असल में क्या जवाब देता है, उसे देखा जाए।

संबंधित लेख

जानना चाहते हैं कि आपका robots.txt अभी AI क्रॉलरों को अंदर आने देता है या बाहर रोकता है? मुफ़्त जाँच हर क्रॉलर का नतीजा बताती है।

मुफ़्त जाँच के लिए आवेदन करें