검색 증강 생성
RAG를 사용하여 공식 IBM i 문서로 Bob의 응답 정확도를 높여요.
IBM Bob Premium Package for i는 검색 증강 생성(RAG) 문서 검색 기능을 포함하고 있어, Bob이 질문에 답변할 때 방대한 IBM i 문서 말뭉치를 의미론적으로 검색할 수 있어요.
RAG란 무엇인가요
검색 증강 생성(RAG)은 대규모 언어 모델(LLM)의 생성 능력과 선별된 검색 가능한 지식 베이스를 결합하는 기법이에요. IBM Bob Premium Package for i는 인덱싱된 IBM i 문서, IBM Redbooks, 그리고 기타 IBM i 참조 매뉴얼로 구성된 벡터 데이터베이스에 접근할 수 있어요 — 이는 Bob이 단순히 텍스트 유사성이 아닌, 질문과 의미론적으로 관련된 콘텐츠를 빠르게 찾을 수 있도록 구조화되어 있어요.
모델이 알고 있는 것에만 의존하는 대신, Bob은 공식 IBM i 문서에서 문맥적으로 관련된 발췌문을 가져와 검증된 최신 콘텐츠에 기반한 답변을 제공할 수 있어요. 이는 Bob의 응답이 오래된 학습 데이터나 환각된 사실에 기반할 가능성을 줄이고, 정확하고 IBM 출처의 안내를 반영할 가능성을 높여요.
작동 방식
Bob은 다음 단계를 따라요:
IBM i Developer 및 IBM i Database 모드는 각각 자연어 쿼리를 받아 의미론적 유사성 순으로 관련 문서 발췌문을 반환하는 search_ibm_i_docs_with_rag 도구를 갖추고 있어요.
Bob은 의미론적 이해가 필요한 개념적 또는 개방형 IBM i 질문에 답변할 때 해당 도구를 트리거해요. 이는 ILE 프로그래밍(RPG, CL, DDS, COBOL, C, C++), Db2 for i SQL, IFS 및 QSYS 파일 시스템, 시스템 운영, 보안, 성능, 네트워킹, 스토리지, 문제 해결을 포함한 IBM i 주제를 더 잘 이해하기 위한 것이에요.
Bob은 반환된 문서 발췌문을 응답에 통합해요. 초기 결과가 질문을 완전히 다루지 못하면, Bob은 최종 답변을 형성하기 전에 쿼리를 다듬어 다시 검색해요.
Bob은 일반적으로 IBM i Q&A 형식의 질문을 만나거나 반복적인 사이클에 갇혀 있다고 판단할 때(예: 컴파일 문제를 반복적으로 해결 시도한 후) RAG를 트리거해요. 하지만 다음과 같은 경우에는 Bob에게 직접 문서를 검색하도록 요청할 수 있어요:
- Bob의 답변이 오래되거나 불완전해 보이는데 아직 도구를 사용하지 않은 경우
- 특정 RPG 또는 SQL 개념과 같은 주제를 깊이 탐구하고 싶은 경우
- Bob이 문서를 참조하지 않고 반복적으로 부정확한 가정을 하는 경우
예를 들어, 다음과 같이 명시적으로 말할 수 있어요: "데이터 큐에서 메시지를 지우는 SQL 기법이 무엇인지 IBM i 문서를 검색해 줘." 또는 간단히 "답변하기 전에 문서를 확인해 줘...".