Paste your robots.txt file to check for errors, understand all directives, and test whether specific URLs are allowed or blocked for any bot.
⌨️ Ctrl+Enter to analyze
This tool parses your robots.txt file and shows you every rule, grouped by User-agent. Use the URL tester to check if any specific URL would be crawled or blocked for a given bot.
Disallow: /यह tool आपकी robots.txt file को analyze करता है और सभी rules को समझकर बताता है। URL Tester से आप check कर सकते हैं कि कोई specific URL allow है या block।
Disallow: / — सभी pages block हो जाते हैं! बहुत common गलती।This Robots.txt Analyzer reads the robots.txt text you paste in, breaks it down rule by rule, and flags syntax problems before they cause a crawling disaster on your live site. It groups every directive under its User-agent block, checks for common mistakes, and lets you test whether a specific URL would be allowed or blocked for any given bot — all without ever sending your content anywhere. | यह Robots.txt Analyzer आपके paste किए गए robots.txt text को पढ़ता है, उसे rule-by-rule तोड़कर समझता है, और किसी live site पर crawling disaster होने से पहले syntax problems को flag करता है। यह हर directive को उसके User-agent block के अंतर्गत group करता है, common mistakes check करता है, और आपको यह test करने देता है कि कोई specific URL किसी bot के लिए allowed है या blocked — यह सब बिना आपका content कहीं भेजे।
Search engines apply robots.txt rules using a "longest match wins" principle — when multiple Allow/Disallow rules could apply to the same URL, the one with the longest matching path takes priority, regardless of the order it appears in the file. This tool's URL tester implements exactly this logic, so the Allowed/Blocked verdict you see here reflects how Googlebot and most modern crawlers actually interpret your rules, not a simplified first-match approximation. | Search engines robots.txt rules को "longest match wins" principle से apply करते हैं — जब कई Allow/Disallow rules एक ही URL पर लागू हो सकते हैं, तो file में उनकी order चाहे जो भी हो, सबसे longest matching path वाला rule priority लेता है। इस टूल का URL tester ठीक इसी logic को implement करता है, इसलिए यहाँ दिखने वाला Allowed/Blocked verdict बताता है कि Googlebot और ज़्यादातर modern crawlers आपके rules को actually कैसे interpret करते हैं, न कि किसी simplified first-match approximation को।
One of the most misunderstood points about robots.txt is that it controls crawling, not indexing. A URL disallowed in robots.txt can still appear in Google's search results (often with no description) if other pages link to it — robots.txt only stops the crawler from fetching that URL's content, it does not guarantee the URL stays out of the index. To reliably keep a page out of search results, a noindex meta tag or header is required on that page itself. | Robots.txt के बारे में सबसे ज़्यादा misunderstood बात यह है कि यह crawling को control करता है, indexing को नहीं। Robots.txt में disallowed कोई URL फिर भी Google के search results में दिख सकता है (अक्सर बिना description के) अगर दूसरे pages उससे link करते हैं — robots.txt केवल crawler को उस URL का content fetch करने से रोकता है, यह guarantee नहीं देता कि URL index से बाहर रहेगा। किसी page को reliably search results से बाहर रखने के लिए उस page पर noindex meta tag या header ज़रूरी है।
This analyzer specifically watches for the mistakes that most often cause real SEO damage: an accidental "Disallow: /" that blocks an entire site, disallowed CSS/JS paths that prevent Google from rendering the page correctly for mobile-friendliness and layout scoring, and a missing Sitemap directive that leaves crawlers to discover your URLs purely through links. Each flagged issue links back to the exact line number in your pasted text so you can locate and fix it quickly in your actual file. | यह analyzer खासतौर पर उन mistakes पर ध्यान देता है जो अक्सर real SEO damage करती हैं: गलती से "Disallow: /" जो पूरी site block कर देता है, disallowed CSS/JS paths जो Google को page को mobile-friendliness और layout scoring के लिए सही तरीके से render करने से रोकते हैं, और missing Sitemap directive जो crawlers को आपके URLs सिर्फ़ links के ज़रिए discover करने पर छोड़ देता है। हर flag किया गया issue आपके pasted text में exact line number से जुड़ा होता है ताकि आप इसे अपनी actual file में जल्दी ढूंढ और ठीक कर सकें।
This tool analyzes whatever text you paste in — it does not fetch your live site's robots.txt automatically, so you must copy the current content yourself (for example, by visiting yoursite.com/robots.txt). It also cannot simulate every edge case of every search engine's crawler, since some engines interpret wildcards or ambiguous directives slightly differently; always confirm critical changes using Google Search Console's own robots.txt testing tools before relying solely on this analysis. | यह टूल उसी text को analyze करता है जो आप paste करते हैं — यह आपकी live site का robots.txt अपने आप fetch नहीं करता, इसलिए आपको current content खुद copy करना होगा (जैसे yoursite.com/robots.txt पर जाकर)। यह हर search engine के crawler के हर edge case को भी simulate नहीं कर सकता, क्योंकि कुछ engines wildcards या ambiguous directives को थोड़ा अलग तरीके से interpret करते हैं; critical changes के लिए हमेशा Google Search Console के अपने robots.txt testing tools से पुष्टि करें, सिर्फ़ इस analysis पर निर्भर न रहें।
Everything you paste is parsed entirely inside your browser using JavaScript — no robots.txt content, URL, or bot name is ever uploaded to a server, and this tool does not use any AI-powered features. | आपके द्वारा paste किया गया सब कुछ पूरी तरह आपके browser के भीतर JavaScript का उपयोग करके parse होता है — कोई robots.txt content, URL, या bot name कभी किसी server पर upload नहीं होता, और यह टूल किसी भी AI-आधारित सुविधा का उपयोग नहीं करता।
Q. Does this tool fetch my website's robots.txt automatically? | क्या यह टूल मेरी website की robots.txt को अपने आप fetch करता है?
No — you need to paste the content yourself, for example by copying it from yoursite.com/robots.txt. | नहीं — आपको content खुद paste करना होगा, जैसे yoursite.com/robots.txt से copy करके।
Q. Does robots.txt stop a page from being indexed? | क्या robots.txt किसी page को indexed होने से रोकता है?
Not reliably — it blocks crawling, not indexing; a disallowed URL can still appear in search results if other pages link to it. Use a noindex tag to prevent indexing. | पूरी तरह नहीं — यह crawling को रोकता है, indexing को नहीं; disallowed URL फिर भी search results में दिख सकता है अगर दूसरे pages उससे link करें। Indexing रोकने के लिए noindex tag उपयोग करें।
Q. What does "Disallow: /" mean for my whole site? | मेरी पूरी site के लिए "Disallow: /" का क्या मतलब है?
It blocks every page on the site from that User-agent's crawler — this is almost always accidental and the tool flags it as a critical error. | यह उस User-agent के crawler को site के हर page को block करने के लिए कहता है — यह almost always गलती से होता है और यह टूल इसे critical error के रूप में flag करता है।
Q. Why does blocking CSS and JS files cause problems? | CSS और JS files को block करने से समस्या क्यों होती है?
Google needs to load your CSS and JS to render the page the way a real visitor sees it; blocking them can hurt how your page is understood and ranked. | Google को page को उस तरह render करने के लिए आपकी CSS और JS load करने की ज़रूरत होती है जैसे एक real visitor देखता है; उन्हें block करने से page को समझने और rank करने के तरीके को नुकसान पहुँच सकता है।
Q. How does the "longest match wins" rule work? | "Longest match wins" rule कैसे काम करता है?
When both an Allow and a Disallow rule could match a URL, the rule with the longer, more specific path takes priority, regardless of which line appears first. | जब कोई Allow और Disallow rule दोनों किसी URL पर match हो सकते हैं, तो जो rule का path लंबा और अधिक specific होता है वह priority लेता है, चाहे कौन सी line पहले आती हो।
Q. What bots can I test against? | मैं किन bots के खिलाफ test कर सकता हूँ?
After analyzing, the bot dropdown fills with every User-agent found in your file plus "All Bots (*)", so you can test any of them specifically. | Analyze करने के बाद, bot dropdown आपकी file में मिले हर User-agent और "All Bots (*)" से भर जाता है, ताकि आप उनमें से किसी को भी specifically test कर सकें।
Q. Is a missing Sitemap directive a serious error? | क्या missing Sitemap directive एक serious error है?
It's a warning, not a fatal error — your site can still be crawled, but adding a Sitemap line helps search engines discover your URLs faster. | यह एक warning है, fatal error नहीं — आपकी site फिर भी crawl हो सकती है, लेकिन Sitemap line add करने से search engines को आपके URLs तेज़ी से discover करने में मदद मिलती है।
Q. Are robots.txt paths case-sensitive? | क्या robots.txt paths case-sensitive होते हैं?
Yes — "/Admin/" and "/admin/" are treated as different paths, which is a common source of rules that silently don't work as expected. | हाँ — "/Admin/" और "/admin/" को अलग paths माना जाता है, जो rules के silently expected तरीके से काम न करने का एक common कारण है।
Q. Can this tool test URLs for a specific crawler like Googlebot? | क्या यह टूल Googlebot जैसे किसी specific crawler के लिए URLs test कर सकता है?
Yes — select that bot's User-agent in the dropdown before clicking "Test URL" to see rules specific to that crawler. | हाँ — "Test URL" क्लिक करने से पहले dropdown में उस bot का User-agent select करें ताकि उस crawler के लिए specific rules दिखें।
Q. Is my pasted robots.txt content uploaded anywhere? | क्या मेरा paste किया robots.txt content कहीं upload होता है?
No — parsing happens entirely in your browser; nothing is sent to a server. | नहीं — parsing पूरी तरह आपके browser में होती है; कुछ भी server पर नहीं भेजा जाता।
Q. Does this tool use any AI to analyze my file? | क्या यह टूल मेरी file analyze करने के लिए कोई AI उपयोग करता है?
No — it uses fixed, deterministic parsing rules; no AI or cloud service is involved. | नहीं — यह fixed, deterministic parsing rules उपयोग करता है; कोई AI या cloud service शामिल नहीं है।
Q. Is this a substitute for Google Search Console's robots.txt tester? | क्या यह Google Search Console के robots.txt tester का विकल्प है?
No — treat it as a quick first check; for mission-critical changes, verify with Google Search Console as well. | नहीं — इसे एक quick first check के रूप में इस्तेमाल करें; mission-critical changes के लिए, Google Search Console से भी पुष्टि करें।
Q. Is this analyzer free to use? | क्या यह analyzer उपयोग करने के लिए मुफ़्त है?
Yes — completely free, with no signup or login required. | हाँ — पूरी तरह मुफ़्त, किसी signup या login की ज़रूरत नहीं।