$ sha256sum chunks.jsonl ✓ manifest ile eşleşiyor
Birincil kaynaklardan toplanan, kriptografik olarak doğrulanabilir ve AI kullanımı için lisanslı veri setleri. Her kayıt hash'lenir, her sürümün bir Merkle root'u vardır, her ID sürümler arasında sabit kalır — böylece retrieval katmanınız savunabileceğiniz bir verinin üzerinde durur.
örnek erişimi yakında açılıyor · her kayıtta eksiksiz köken zinciri · yalnızca birincil kaynaklar
9f2c41ab…c135e41a✓ doğrulanabilir sürüm"why_merkleset":
Her kayıt kendi kaynak URL'sini, çekilme zamanını ve SHA-256 değerini taşır. Her sürüm, her chunk hash'i üzerinde bir Merkle root içeren bir manifest ile gelir — indirdiğiniz dosyalardan kökü yeniden hesaplayın ve istediğiniz kaydı kendiniz kontrol edin.
source_url · fetched_at · sha256
Gri alan yerine açık bir RAG/embedding kullanım lisansı; Pro ve Enterprise'da tazminat teminatı da var. Hukuk incelemeniz kırk sayfa değil, bir sayfa.
embedding_use: permitted
record_id, veri seti ile doğal anahtardan üretilen bir UUID v5'tir; chunk_id ise bir içerik adresidir. İki sürümdeki aynı chunk aynı ID'yi ve aynı hash'i taşır; böylece sürümleri kendiniz karşılaştırıp yalnızca değişeni yeniden embed edersiniz.
record_id · chunk_id · stable across releases
ABD federal tedariki ve mevzuat bugün yayında; mahkemeler, SEC dosyalamaları ve e-ticaret yol haritasında. Tümü birincil kaynaklardan toplanır — asla yeniden satılan sağlayıcı beslemelerinden değil.
procurement ✓ regulatory ✓ courts · sec · ecommerce
"how_it_works":
01 collect
Resmî toplu dosyalar ve kamuya açık API'ler — bugün SAM.gov ve Federal Register. Her ham yanıt kendi kanıt kaydı olarak saklanır ve çekildiği anda hash'lenir.
02 normalize
Temizlenmiş, yapılandırılmış, retrieval için chunk'lanmış. Chunk ID'leri içerik adresidir; değişmeyen bir chunk sürümler boyunca ID'sini korur.
03 release
Her sürüm için JSONL ve her dosyanın SHA-256 değerini ve Merkle root'u taşıyan bir manifest. Index'inize tek bir byte girmeden önce kökü yeniden hesaplayın.
"catalog":
SAM.gov'un günlük toplu çıktısından RFP'ler, normalize edilmiş NAICS/PSC metadatasıyla. FPDS'ten ihale geçmişi ve RFP ekleri sırada.
sam.govgünlük
Bugün Federal Register, yol haritasında EUR-Lex. Sabit ID'li numaralı sürümler; aralarında neyin değiştiğini görebilirsiniz.
federalregister.govgünlük
Planlanan: parçalı portallardan toplanıp tek biçime getirilmiş eyalet ilk derece mahkemesi kayıtları; kişisel veriler hash'lenmeden önce ayıklanır.
state court portalsyol haritası
Planlanan: EDGAR dosyalamaları ve finansal sonuç materyalleri, sabit bölüm çıpalarıyla retrieval için chunk'lanmış.
sec.gov / edgaryol haritası
Planlanan: agentic ticaret için yapılandırılmış ürün verileri — nitelikler ve stok durumu, kopyalanmış metin asla.
public product feedsyol haritası
Aradığınız korpus yok mu? Enterprise planında özel alanlar ve konnektörler geliştiriyoruz.
bize ulaşın
"pricing":
demo
$0
örnek erişimi yakında
starter
$99/ay
veri seti başına / ay
pro
$299/ay
veri seti başına / ay
enterprise
Özel
özel sözleşme
"faq":
Evet — bütün amaç bu. Her veri seti, RAG, embedding ve retrieval kullanımına açıkça izin veren bir lisansla gelir. Pro ve Enterprise lisansları tazminat teminatı içerir. Scraping'in gri bölgesi yok: birincil kaynaklardan toplarız, robots.txt ve opt-out'lara uyarız ve kişisel veriyi hash'lenmeden önce her kayıttan ayıklarız.
Her kayıt kaynak URL'sini, çekilme zamanını ve ham yanıtın SHA-256 değerini taşır. Her sürüm, her dosya için bir SHA-256 ve sıralı chunk hash'leri üzerinde bir Merkle root içeren bir manifest ile gelir. Dosya hash'lerini yeniden hesaplayın, kökü chunks.jsonl'den yeniden kurun, karşılaştırın — kendi kodunuzdan birkaç satır, bizim kodumuzdan hiç. Bunu tam geçmişi içeren bir sürüm üzerinde ayrı bir implementasyonla birebir çalıştırdık ve kökler eşleşti.
Sıklık veri setine ve plana göre değişir: Starter haftalık sürümler yayınlar, Pro günlük. Her sürüm numaralıdır ve kayıt ile chunk ID'leri sürümler arasında sabit olduğu için istediğiniz iki sürümü kendiniz karşılaştırıp neyin oynadığını tam olarak görebilirsiniz.
Kayıtlar ve retrieval'a hazır chunk'lar için JSONL; ayrıca her sürüm için her dosyanın SHA-256 değerini ve byte sayısını, kayıt ve chunk sayılarını, kalite metriklerini ve sıralı chunk hash'leri üzerindeki Merkle root'u taşıyan bir manifest.json.
Bugün örnek bir veri seti üzerinden değil — derlem büyürken örnek erişimi kapalı ve yakında açılıyor. Bu arada hangi derlemi değerlendirdiğinizi yazın: gerçek bir sürümü birlikte gezelim — manifest, dosya başına SHA-256 ve Merkle root — kökü kendi kodunuzla, tek kuruş ödemeden yeniden hesaplayın.
Enterprise planında, sizin kaynak listenize göre özel alanlar ve konnektörler geliştiriyoruz; tazelik koşulları sözleşmede belirlenir. Retrieval katmanınızda neyin eksik olduğunu iletişim formundan yazın.