RAG に使えるデータ。
来歴は検証できます。

はい — それが狙いです。すべてのデータセットは、RAG、埋め込み、検索での利用を明示的に許諾するライセンスで提供されます。Pro と Enterprise のライセンスには補償が含まれます。スクレイピングのグレーゾーンはありません。一次情報源から収集し、robots.txt とオプトアウトを尊重し、ハッシュ化の前に各レコードから個人データをスクリーニングして除きます。

各レコードはソース URL、取得時刻、生レスポンスの SHA-256 を保持します。各リリースには、全ファイルの SHA-256 と、順序付きチャンクハッシュを覆う Merkle root を含むマニフェストが付きます。ファイルハッシュを再計算し、chunks.jsonl から root を組み直して比較してください — 必要なのはご自身のコード数行で、私たちのコードは一切使いません。全履歴リリースに対して別実装で同じ再計算を実行し、root は一致しました。

更新頻度はデータセットごと、プランごとです。Starter は週次リリース、Pro は日次リリースです。各リリースにはバージョンが付き、レコード ID とチャンク ID はリリースをまたいで安定しているため、任意の 2 つをご自身で比較して、何が動いたかを正確に確認できます。

レコードと検索向けチャンクは JSONL、加えてリリースごとに manifest.json を提供し、全ファイルの SHA-256 とバイト数、レコード数とチャンク数、品質指標、そして順序付きチャンクハッシュを覆う Merkle root を収めています。

現時点ではサンプルデータセットの提供はしていません — コーパスを育てている間はサンプル提供を止めており、まもなく開始します。それまでは、評価中のコーパスをお知らせください。実際のリリース — マニフェスト、ファイルごとの SHA-256、Merkle root — をご案内します。支払いの前に、ご自身のコードでルートを再計算していただけます。

Enterprise プランでは、お客様のソースリストに合わせてカスタムの領域とコネクタを構築し、鮮度の条件は契約で合意します。検索レイヤーに何が足りないか、お問い合わせフォームからお知らせください。