llms.txt क्या है, और आपकी साइट को इसकी ज़रूरत क्यों है
llms.txt AI-युग का robots.txt है: एक सादा-टेक्स्ट नक्शा जो मॉडलों को बताता है कि आपकी साइट क्या है और अच्छा कंटेंट कहाँ रहता है। यहाँ बताया गया है कि यह क्या है और इसे कैसे जोड़ें।
AI असिस्टेंट अब सवालों के जवाब देने के लिए तेज़ी से आपकी साइट को सीधे पढ़ने लगे हैं। लेकिन आपके पेज ब्राउज़र के लिए बने होते हैं — नैव बार, स्क्रिप्ट, कुकी बैनर — न कि किसी ऐसे मॉडल के लिए जो असली सार ढूँढने की कोशिश कर रहा हो। llms.txt इसी को ठीक करता है: आपकी साइट रूट पर मौजूद एक अकेली सादा-टेक्स्ट फ़ाइल जो साफ़ भाषा में बताती है कि आपकी साइट क्या है और ज़रूरी कंटेंट कहाँ रहता है।
यह कैसे काम करता है
आप एक फ़ाइल /llms.txt पर रखते हैं। यह एक H1 (आपकी साइट का नाम) से शुरू होती है, फिर एक छोटा सारांश, और उसके बाद उन पेजों के चुनिंदा लिंक जो वाकई मायने रखते हैं — डॉक्स, अहम आर्टिकल, प्रोडक्ट पेज। कुछ साइटें llms-full.txt भी भेजती हैं जिसमें पूरा टेक्स्ट इनलाइन होता है, ताकि किसी मॉडल को क्रॉल करने की ज़रूरत ही न पड़े।
# Acme Docs
> The developer platform for X.
## Guides
- Quickstart: https://acme.dev/docs/quickstart
- API reference: https://acme.dev/docs/apiयह रैंकिंग के लिए क्यों मायने रखता है
- मॉडल उन्हीं स्रोतों का हवाला देते हैं जिन्हें वे साफ़-साफ़ पार्स कर सकते हैं — llms.txt आपके सबसे अच्छे पेजों को सुपाठ्य बना देता है।
- यह robots.txt और sitemap.xml की जगह नहीं लेता, बल्कि उनका पूरक बनता है।
- यह सस्ता बीमा है: चंद पंक्तियाँ जो तय करती हैं कि AI आपको कैसे बयान करता है।
पेच यह है कि जैसे-जैसे आपकी साइट बदलती है, इसे सही बनाए रखना पड़ता है। यही वह झंझट है जिसे AI Crawlability स्किल अपने-आप निपटा देती है — यह आपके असली रूट पढ़ती है और llms.txt, llms-full.txt और एक जुड़ा हुआ sitemap सीधे आपके रेपो में लिख देती है।