$ sha256sum chunks.jsonl ✓ मैनिफ़ेस्ट से मैच करता है
RAG-रेडी डेटा। प्रोवेनेंस जो वेरिफ़ाई हो सके।
प्राइमरी सोर्स से आया, क्रिप्टोग्राफ़िक रूप से वेरिफ़ाई-योग्य और AI के लिए लाइसेंस्ड डेटा। हर रेकॉर्ड हैश्ड, हर रिलीज़ पर एक Merkle root, हर ID रिलीज़ के आर-पार स्थिर — ताकि आपकी रिट्रीवल लेयर उस डेटा पर खड़ी हो जिसका आप बचाव कर सकें।
हर रेकॉर्ड अपना सोर्स URL, फ़ेच टाइमस्टैम्प और SHA-256 साथ लेकर चलता है। हर रिलीज़ में एक मैनिफ़ेस्ट आता है जिसमें हर चंक हैश पर बना Merkle root होता है — डाउनलोड की गई फ़ाइलों से उसे दोबारा निकालें और किसी भी रेकॉर्ड को खुद जाँच लें।
source_url · fetched_at · sha256
RAG के लिए लाइसेंस्ड
ग्रे एरिया की जगह RAG/एम्बेडिंग उपयोग का स्पष्ट लाइसेंस, Pro और Enterprise पर इंडेम्निफ़िकेशन के साथ। आपका लीगल रिव्यू एक पेज का है, चालीस पेज का नहीं।
embedding_use: permitted
रिलीज़ के आर-पार स्थिर ID
record_id डेटासेट और नैचुरल की से बना UUID v5 है; chunk_id एक कंटेंट एड्रेस है। दो रिलीज़ में मौजूद वही चंक वही ID और वही हैश रखता है, इसलिए आप रिलीज़ खुद आपस में मिला सकते हैं और सिर्फ़ बदले हिस्से को दोबारा एम्बेड कर सकते हैं।
record_id · chunk_id · stable across releases
दो कॉर्पस लाइव, नक़्शे पर पाँच निच
US फ़ेडरल प्रोक्योरमेंट और रेगुलेटरी आज उपलब्ध हैं; कोर्ट, SEC फ़ाइलिंग और ई-कॉमर्स रोडमैप पर हैं। सब प्राइमरी सोर्स से इकट्ठा — री-सेल किए वेंडर फ़ीड से कभी नहीं।
सरकारी बल्क फ़ाइलें और सार्वजनिक API — आज SAM.gov और Federal Register। हर रॉ रिस्पॉन्स अपने अलग एविडेंस रेकॉर्ड के रूप में रखा जाता है और फ़ेच के समय ही हैश कर दिया जाता है।
→
02normalize
हम स्थिर ID के साथ नॉर्मलाइज़ और चंक करते हैं
साफ़, स्ट्रक्चर्ड, रिट्रीवल के लिए चंक किया हुआ। चंक ID कंटेंट एड्रेस हैं, इसलिए जो चंक नहीं बदला उसका ID रिलीज़ बदलने पर भी वही रहता है।
→
03release
आप API से वर्शन्ड रिलीज़ खींचते हैं
हर रिलीज़ पर JSONL और एक मैनिफ़ेस्ट, जिसमें हर फ़ाइल का SHA-256 और Merkle root होता है। अपने इंडेक्स में एक बाइट जाने से पहले रूट दोबारा निकालें।
क्या मैं कानूनी रूप से इस डेटा पर एम्बेडिंग और रिट्रीवल कर सकता हूँ?
हाँ — पूरी बात ही यही है। हर डेटासेट एक स्पष्ट लाइसेंस के साथ आता है जो RAG, एम्बेडिंग और रिट्रीवल उपयोग की अनुमति देता है। Pro और Enterprise लाइसेंस में इंडेम्निफ़िकेशन शामिल है। स्क्रैपिंग का कोई ग्रे ज़ोन नहीं: हम प्राइमरी सोर्स से इकट्ठा करते हैं, robots.txt और ऑप्ट-आउट का पालन करते हैं, और हर रेकॉर्ड से निजी डेटा उसका हैश बनने से पहले छाँट देते हैं।
प्रोवेनेंस कैसे वेरिफ़ाई करूँ?
हर रेकॉर्ड अपना सोर्स URL, फ़ेच टाइमस्टैम्प और रॉ रिस्पॉन्स का SHA-256 साथ लेकर चलता है। हर रिलीज़ में एक मैनिफ़ेस्ट आता है जिसमें हर फ़ाइल का SHA-256 और क्रम में लगे चंक हैश पर बना Merkle root होता है। फ़ाइल हैश दोबारा निकालें, chunks.jsonl से रूट फिर बनाएँ, और मिलाएँ — आपके अपने कोड की कुछ पंक्तियाँ, हमारे कोड की एक भी नहीं। हमने पूरे इतिहास वाले एक रिलीज़ पर यही काम एक अलग इम्प्लीमेंटेशन से किया, और दोनों रूट मिल गए।
डेटासेट कितनी बार अपडेट होते हैं?
कैडेंस हर डेटासेट और हर प्लान पर तय होता है: Starter साप्ताहिक रिलीज़ देता है, Pro रोज़। हर रिलीज़ वर्शन्ड है, और चूँकि रेकॉर्ड और चंक ID रिलीज़ के आर-पार स्थिर रहते हैं, आप किसी भी दो रिलीज़ को खुद मिलाकर ठीक-ठीक देख सकते हैं कि क्या हिला।
आप कौन-कौन से फ़ॉर्मैट देते हैं?
रेकॉर्ड और रिट्रीवल-रेडी चंक के लिए JSONL, साथ में हर रिलीज़ पर एक manifest.json जिसमें हर फ़ाइल का SHA-256 और बाइट काउंट, रेकॉर्ड और चंक की गिनती, क्वालिटी मेट्रिक, और क्रम में लगे चंक हैश पर बना Merkle root होता है।
भुगतान से पहले आज़मा सकता हूँ?
अभी सैंपल डेटासेट से नहीं — कॉर्पस बढ़ने तक सैंपल एक्सेस बंद है और जल्द खुलेगा। तब तक बताइए आप कौन सा कॉर्पस परख रहे हैं: हम आपको एक असली रिलीज़ दिखाएँगे — मैनिफ़ेस्ट, हर फ़ाइल का SHA-256 और Merkle root — और पैसे देने से पहले आप अपने कोड से रूट दोबारा गिन सकते हैं।
क्या आप कस्टम निच बनाते हैं?
Enterprise प्लान पर हम आपकी सोर्स लिस्ट के हिसाब से कस्टम निच और कनेक्टर बनाते हैं, और फ़्रेशनेस की शर्तें कॉन्ट्रैक्ट में तय होती हैं। कॉन्टैक्ट फ़ॉर्म से बताइए कि आपकी रिट्रीवल लेयर में क्या कमी है।