Retrieval-augmented generation
公式の IBM i ドキュメントを使用して、RAG により Bob の応答精度を向上させます。
IBM Bob Premium Package for i には、retrieval-augmented generation (RAG) によるドキュメント検索機能が含まれており、質問に回答する際に IBM i ドキュメントの包括的な corpus を意味的に検索できます。
RAG とは
Retrieval-augmented generation (RAG) は、大規模言語モデル（LLM）の生成能力と、厳選された検索可能なナレッジベースを組み合わせる手法です。IBM Bob Premium Package for i は、索引化された IBM i ドキュメント、IBM Redbooks、その他の IBM i 参考マニュアルの vector database にアクセスできます。これらは、単なるテキスト上の類似ではなく、質問に意味的に関連する内容を Bob がすばやく見つけられるような形で構成されています。
モデルがもともと知っている内容だけに頼るのではなく、Bob は公式の IBM i ドキュメントから文脈に関連する抜粋を取得し、それをもとに検証済みで最新の内容に基づいた回答を生成できます。これにより、Bob の応答は古い学習データや hallucination に基づく可能性が低くなり、正確で IBM 提供のガイダンスを反映しやすくなります。
仕組み
Bob は次の手順で処理します。
IBM i Developer mode と IBM i Database mode には、それぞれ search_ibm_i_docs_with_rag tool が用意されています。この tool は自然言語クエリーを受け取り、意味的類似性に基づいて順位付けされた、文脈に関連するドキュメント抜粋を返します。
Bob は、意味的理解が役立つ概念的またはオープンエンドな IBM i の質問に答える際に、この tool を使用します。たとえば、ILE programming（RPG、CL、DDS、COBOL、C、C++）、Db2 for i SQL、IFS と QSYS file systems、system operations、security、performance、networking、storage、troubleshooting などの IBM i トピックをさらに理解するために使用されます。
Bob は、返されたドキュメント抜粋を応答に取り込みます。最初の結果で質問に十分答えられない場合、最終回答を作成する前にクエリーを調整して再検索します。
Bob は通常、IBM i の Q&A 形式の質問に遭遇したときや、反復的なサイクルにはまっていると判断したとき（たとえば、コンパイル問題の解決を何度も試みた後など）に RAG を使用します。ただし、次のような場合は、ドキュメントを直接検索するよういつでも Bob に依頼できます。
- Bob の回答が古い、または不完全に見えるのに、まだ tool を使っていない場合
- 特定の RPG や SQL の概念など、あるトピックを深く調べたい場合
- ドキュメントを参照せずに、Bob が不正確な前提を繰り返している場合
たとえば、"Search the IBM i docs for what SQL techniques exist to clear messages from a data queue." のように明示的に依頼したり、単に "Check the documentation before answering..." と伝えたりできます。