$ sha256sum chunks.jsonl ✓ coincide con el manifiesto
Datos listos para RAG. Procedencia verificable.
Conjuntos de datos criptográficamente verificables y con licencia para IA, obtenidos de fuentes primarias. Cada registro con su hash, cada versión con su Merkle root, cada ID estable entre versiones — para que la capa de recuperación se apoye en datos defendibles.
Cada registro incluye su URL de origen, la marca de tiempo de la descarga y su SHA-256. Cada versión se publica con un manifiesto que contiene un Merkle root sobre cada hash de chunk — recalcúlelo a partir de los archivos descargados y compruebe cualquier registro por su cuenta.
source_url · fetched_at · sha256
Con licencia para RAG
Una licencia explícita de uso en RAG y embeddings en lugar de una zona gris, con indemnización en Pro y Enterprise. La revisión legal ocupa una página, no cuarenta.
embedding_use: permitted
IDs estables entre versiones
record_id es un UUID v5 del conjunto de datos más la clave natural; chunk_id es una dirección de contenido. El mismo chunk en dos versiones lleva el mismo ID y el mismo hash, así que usted puede comparar versiones por su cuenta y recalcular los embeddings solo de lo que cambió.
record_id · chunk_id · stable across releases
Dos corpus activos, cinco en el mapa
La contratación pública federal de EE. UU. y la normativa ya se entregan; tribunales, informes SEC y comercio electrónico están en la hoja de ruta. Todo recopilado de fuentes primarias — nunca feeds revendidos por proveedores.
Archivos oficiales en bloque y APIs públicas — SAM.gov y Federal Register hoy. Cada respuesta en bruto se guarda como su propio registro de evidencia y se hashea en el momento de la descarga.
→
02normalize
Normalizamos y dividimos en chunks con IDs estables
Limpio, estructurado y dividido en chunks para recuperación. Los chunk IDs son direcciones de contenido, así que un chunk que no cambia conserva su ID entre versiones.
→
03release
Las versiones se descargan a través de la API
JSONL más un manifiesto por versión, con el SHA-256 de cada archivo y el Merkle root. Recalcule la raíz antes de que un solo byte entre en el índice.
"catalog":
Dos nichos activos, tres previstos. Un mismo contrato.
¿Es legal generar embeddings y hacer recuperación sobre estos datos?
Sí — de eso se trata. Cada conjunto de datos se entrega con una licencia explícita que permite su uso en RAG, embeddings y recuperación. Las licencias Pro y Enterprise incluyen indemnización. Sin zonas grises de scraping: recopilamos de fuentes primarias, respetamos robots.txt y las exclusiones de uso, y filtramos los datos personales de cada registro antes de calcular su hash.
¿Cómo se verifica la procedencia?
Cada registro incluye su URL de origen, la marca de tiempo de la descarga y el SHA-256 de la respuesta en bruto. Cada versión se publica con un manifiesto que contiene el SHA-256 de cada archivo y un Merkle root sobre los hashes de chunk ordenados. Recalcule los hashes de los archivos, reconstruya la raíz a partir de chunks.jsonl y compare — unas pocas líneas de código propio, ninguna nuestra. Nosotros hicimos exactamente eso contra una versión con el historial completo, con una implementación independiente, y las raíces coincidieron.
¿Con qué frecuencia se actualizan los conjuntos de datos?
La cadencia depende del conjunto de datos y del plan: Starter publica versiones semanales y Pro publica a diario. Cada versión se numera y, como los IDs de registro y de chunk se mantienen estables entre versiones, puede comparar dos cualesquiera por su cuenta y ver exactamente qué cambió.
¿En qué formatos se entregan los datos?
JSONL para registros y chunks listos para recuperación, más un manifest.json por versión con el SHA-256 y el tamaño en bytes de cada archivo, los recuentos de registros y de chunks, las métricas de calidad y el Merkle root sobre los hashes de chunk ordenados.
¿Se puede probar antes de pagar?
Hoy no con un conjunto de datos de muestra — el acceso a las muestras está cerrado mientras crece el corpus, y abre pronto. Mientras tanto, díganos qué corpus está evaluando: le mostramos una versión real — el manifiesto, el SHA-256 por archivo y el Merkle root — y usted puede recalcular la raíz con su propio código antes de pagar nada.
¿Construyen nichos a medida?
En el plan Enterprise construimos nichos y conectores a medida sobre su lista de fuentes, con las condiciones de frescura acordadas en el contrato. Cuéntenos desde el formulario de contacto qué le falta a su capa de recuperación.