RAG (Retrieval Augmented Generation)

I.  할루시네이션 극복, RAG의 정의

- 생성형 AI 이용 시 외부 지식을 검색, 추출하여 입력 컨텍스트로 결합하는 생성 강화 기법

 

II. RAG의 매커니즘과 기술요소

가. RAG의 매커니즘

Hand made

나. RAG의 기술요소

구분	기술요소	특징
질의 처리	Tokenization	- 텍스트를 단어, 문장, 서브워드 등 최소 단위로 분리하는 과정
	Embedding	- 텍스트, 이미지 등의 데이터를 고차원 벡터로 변환하여 모델이 이해할 수 있도록 표현
검색기반 강화	Vector DB	- 데이터를 벡터 형태로 저장하고 유사도 검색을 수행하는 데이터베이스
	DPR	- 텍스트를 벡터로 변환하여 높은 정확도로 문서를 검색하는 기법 (Dense Passsage Retrieval)
생성기반 모델	Transformer	- Attention 메커니즘을 활용해 문맥을 이해하고 처리하는 딥러닝 모델 아키텍처
	Seq2Seq	- 입력 시퀀스를 다른 형태의 출력 시퀀스로 변환하는 모델
지식 연결	Knowledge Graph	- 데이터 간의 관계를 그래프 형태로 표현하여 지식을 시각화하고 검색할 수 있는 구조
	NoSQL	- 정형화된 스키마 없이 비구조화 데이터를 저장 및 처리하는 데이터베이스

 

III. RAG와 파인튜닝 비교

비교	RAG	파인튜닝
사용 데이터	외부 데이터 검색	추가 학습 데이터
할루시네이션	적음	발생 가능
변동성	동적 데이터	정적 데이터
투명성	검색 문서 확인 가능	블랙박스

 

- 파인튜닝과 달리 최신 정보를 제공하기 용이하며, 출처가 확실한 데이터를 기반으로 답변을 생성하기 때문에 품질 유지와 비용 측면에서 각광받고 있음.

 

---

참고자료

• (IGLOO) RAG(Retrieval-Augmented Generation): LLM의 한계와 보완 방법