クロスリンガルRAG実装（日英混在ドキュメントをセマンティック統合検索する）
🔍 抽出済み ｜ 技術 ｜ 優先度：🟠 高
シリーズ: AI・IT実践シリーズ
目的（ゴール）
日本語の質問で英語の原文ドキュメントを正確にヒットさせ、その逆も可能にするクロスリンガル埋め込み技術を実装・評価する。GitHub（英語）とScrapbox（日本語）のような言語が異なる複数ソースを同一のベクトル空間にマッピングし、言語の壁なく横断検索できるRAG基盤を確立する。Plurality RAGをはじめ、英語論文×日本語解説・英語コード×日本語ドキュメントなど汎用的に適用できる手法として体系化する。
アクター
- 著者（Manabazu）
- Node3 RTX4060Ti（16GB / CUDA）——多言語Embeddingモデル稼働
- Node3 RX7900XTX（24GB / ROCm）——Vector DB（Qdrant）・大規模インデックス保持
- Node3 RTX5070Ti（16GB / CUDA）——リランカー・回答生成LLM
- 多言語Embeddingモデル（BAAI/bge-m3 / intfloat/multilingual-e5-large）
- 評価用テストセット（日本語クエリ→英語正解ドキュメントのペア）
検証シナリオ
S1：モデル比較評価
bge-m3 vs multilingual-e5-large vs text-embedding-ada-002（API比較ベースライン）を用いて、「日本語クエリ→英語ドキュメント検索」の精度（MRR@10・NDCG@10）を定量比較。
S2：同一ベクトル空間への統合
日本語テキスト（Scrapbox）と英語テキスト（GitHub）を同一Qdrantコレクションに格納し、コサイン類似度の閾値チューニングを実施。言語バイアス（英語同士が常に高スコアになる問題）の測定と補正。
S3：ハイブリッド検索との組み合わせ
クロスリンガルベクトル検索 + BM25全文検索を組み合わせたハイブリッド検索を実装。専門用語・固有名詞（“Quadratic Funding”等）への耐性を単独ベクトル検索と比較。
S4：リランクによる精度向上
BGE-Rerankerをクロスリンガル設定で動作させ、検索結果の第2段階フィルタリングにおける日英混在時の精度影響を評価。
S5：汎用性の検証
Plurality以外のドメイン（英語技術論文×日本語解説ブログ）でも同一パイプラインが機能するかを確認し、手法の汎用性を実証。
対応リスク
期待成果
- 「日本語で問いかけ、英語の一次ソースから根拠を引く」RAGフローを確立
- UC260506-005（NotebookLMクローン）・UC260506-008（Plurality RAG）の中核技術として機能
- CBFラボが英語圏の最新研究を日本語UIで利用できる知識アクセス基盤を確立