검증 가능한 출처 이력
모든 레코드는 소스 URL, 수집 시각, SHA-256을 함께 담습니다. 모든 릴리스에는 모든 청크 해시를 덮는 Merkle root가 담긴 매니페스트가 포함됩니다 — 내려받은 파일로 루트를 다시 계산해, 어떤 레코드든 직접 확인하십시오.
source_url · fetched_at · sha256
$ sha256sum chunks.jsonl ✓ 매니페스트와 일치
RAG에 바로 쓰는 데이터.
검증 가능한 출처.
1차 출처에서 수집하고, 암호학적으로 검증 가능하며, AI 사용이 허가된 데이터셋입니다. 모든 레코드를 해시하고, 모든 릴리스에 Merkle root를 붙이고, 모든 ID를 릴리스 간에 안정적으로 유지합니다 — 검색 계층이 방어할 수 있는 데이터 위에 서도록 합니다.
샘플 액세스 곧 공개 · 모든 레코드에 완전한 출처 이력 체인 · 1차 출처만 사용
merkle_root
9f2c41ab…c135e41a✓ 검증 가능한 릴리스"why_merkleset":
법무팀에 그대로 내놓을 수 있는 데이터
RAG 사용이 허가된 데이터
회색지대가 아니라 RAG/임베딩 사용을 명시적으로 허가하는 라이선스이며, Pro와 Enterprise에는 면책까지 포함됩니다. 법무 검토는 마흔 페이지가 아니라 한 페이지입니다.
embedding_use: permitted
릴리스 간에 안정적인 ID
record_id는 데이터셋과 자연 키로 만든 UUID v5이고, chunk_id는 콘텐츠 주소입니다. 두 릴리스에 있는 같은 청크는 같은 ID와 같은 해시를 가지므로, 릴리스를 직접 비교해 변경된 부분만 다시 임베딩할 수 있습니다.
record_id · chunk_id · stable across releases
코퍼스 두 개 운영 중, 로드맵은 다섯 개
미국 연방 조달과 규제는 오늘 제공하고, 법원, SEC 공시, 이커머스는 로드맵에 있습니다. 모두 1차 출처에서 직접 수집하며, 벤더 피드를 재판매하지 않습니다.
procurement ✓ regulatory ✓ courts · sec · ecommerce
"how_it_works":
약속이 아니라 파이프라인
01 collect
1차 출처에서 수집합니다
공식 벌크 파일과 공개 API — 현재는 SAM.gov과 Federal Register입니다. 모든 원본 응답은 각각 별도의 증거 레코드로 저장하고 수집 시점에 해시합니다.
02 normalize
정규화하고 안정적인 ID로 청크합니다
정제하고 구조화해 검색에 맞게 청크합니다. 청크 ID는 콘텐츠 주소이므로, 변경되지 않은 청크는 릴리스가 바뀌어도 같은 ID를 유지합니다.
03 release
버전별 릴리스를 API로 받습니다
릴리스마다 JSONL과, 모든 파일의 SHA-256과 Merkle root를 담은 매니페스트를 제공합니다. 단 1바이트라도 인덱스에 들어가기 전에 루트를 다시 계산하십시오.
"catalog":
분야 두 개 운영 중, 세 개 예정. 계약은 하나.
미국 연방 조달
SAM.gov의 일일 벌크 추출에서 가져온 입찰 공고와 정규화된 NAICS/PSC 메타데이터. FPDS 낙찰 이력과 입찰 첨부 문서는 다음 단계입니다.
sam.gov매일
규제 및 컴플라이언스
현재는 Federal Register, EUR-Lex는 로드맵에 있습니다. 안정적인 ID가 붙는 버전별 릴리스이므로 릴리스 사이에 무엇이 바뀌었는지 확인할 수 있습니다.
federalregister.gov매일
법원 기록
예정: 파편화된 포털을 넘나들며 정규화한 주 1심 법원 기록. 해시하기 전에 개인정보를 선별해 제거합니다.
state court portals로드맵
SEC 공시
예정: EDGAR 공시와 실적 자료를 안정적인 섹션 앵커와 함께 검색용으로 청크합니다.
sec.gov / edgar로드맵
이커머스 상품
예정: 에이전트 커머스를 위한 구조화된 상품 사실 — 속성과 재고 상태이며, 문장은 복제하지 않습니다.
public product feeds로드맵
당신의 분야
찾는 코퍼스가 없습니까? Enterprise 플랜에서 맞춤 분야와 커넥터를 만들어 드립니다.
문의하기
"faq":
구매자가 실제로 묻는 질문
이 데이터를 합법적으로 임베딩하고 검색에 쓸 수 있습니까?
그렇습니다 — 그것이 핵심입니다. 모든 데이터셋은 RAG, 임베딩, 검색 사용을 허가하는 명시적 라이선스로 제공됩니다. Pro와 Enterprise 라이선스에는 면책이 포함됩니다. 스크래핑 회색지대는 없습니다. 1차 출처에서 수집하고, robots.txt와 옵트아웃을 준수하며, 해시하기 전에 모든 레코드에서 개인정보를 선별해 제거합니다.
출처 이력은 어떻게 검증합니까?
모든 레코드는 소스 URL, 수집 시각, 원본 응답의 SHA-256을 담습니다. 모든 릴리스에는 모든 파일의 SHA-256과, 순서가 정해진 청크 해시를 덮는 Merkle root가 담긴 매니페스트가 포함됩니다. 파일 해시를 다시 계산하고, chunks.jsonl로 루트를 다시 만들어 비교하십시오 — 직접 작성한 코드 몇 줄이면 되고, 우리 코드는 전혀 쓰지 않습니다. 우리도 전체 이력 릴리스를 대상으로 별도 구현으로 같은 재계산을 돌렸고, 두 루트가 일치했습니다.
데이터셋은 얼마나 자주 갱신됩니까?
갱신 주기는 데이터셋마다, 플랜마다 다릅니다. Starter는 주간 릴리스, Pro는 일일 릴리스를 제공합니다. 모든 릴리스에는 버전이 붙고, 레코드 ID와 청크 ID가 릴리스 간에 안정적이므로 어느 두 릴리스든 직접 비교해 무엇이 달라졌는지 정확히 확인할 수 있습니다.
어떤 형식으로 제공합니까?
레코드와 검색용 청크는 JSONL로 제공하고, 릴리스마다 모든 파일의 SHA-256과 바이트 수, 레코드와 청크 건수, 품질 지표, 그리고 순서가 정해진 청크 해시를 덮는 Merkle root를 담은 manifest.json을 함께 제공합니다.
지불하기 전에 써 볼 수 있습니까?
지금은 샘플 데이터셋으로는 어렵습니다 — 코퍼스를 키우는 동안 샘플 액세스를 닫아 두었고, 곧 공개합니다. 그때까지는 어떤 코퍼스를 검토 중인지 알려 주십시오. 실제 릴리스를 함께 살펴 드립니다 — 매니페스트, 파일별 SHA-256, Merkle root — 대금을 치르기 전에 직접 작성한 코드로 루트를 다시 계산해 보실 수 있습니다.
맞춤 분야도 만들어 줍니까?
Enterprise 플랜에서는 고객이 제시한 출처 목록에 맞춰 맞춤 분야와 커넥터를 만들고, 신선도 조건은 계약으로 합의합니다. 검색 계층에 무엇이 부족한지 문의 양식으로 알려 주십시오.