Knowledge Graph는 RAG 과정에서 어떤 역할을 수행할까?

2020년부터 2024년까지 Knowledge Graph는 Retrieval-Augmented Generation(RAG) 과정에서 중요한 역할을 수행하며, 그 활용 방식이 진화해 왔습니다. 초기에는 Knowledge Graph를 통해 RAG 모델이 더 많은 배경 지식을 활용하고, 정보 보강과 추론 지원을 받았습니다. 2021년에는 엔티티와 관계의 구조화된 표현을 통해 자연어 이해와 질문 응답 시스템에서 성능을 향상시켰습니다. 2022년에는 Knowledge Graph Embeddings를 사용하여 불완전한 정보를 보완하고, 구조적 정보와 텍스트 정보를 통합하여 새로운 지식을 예측하는 데 집중했습니다. 2023년에는 대형 언어 모델과 결합하여 정확한 정보 검색과 지식의 보완을 통해 LLM의 답변 생성 능력을 강화했습니다. 2024년에는 GraphRAG와 같은 접근법을 통해 구조적 정보를 활용한 정밀 검색과 응답 생성에 초점을 맞추며, Knowledge Graph와 웹 검색의 통합을 통해 RAG의 성능을 극대화했습니다. 전체적으로 Knowledge Graph는 RAG 과정에서 지식의 구조화, 정보 검색, 지식 보완 및 확장에 핵심적인 역할을 수행하고 있습니다.

위의 그림은 arxiv(https://arxiv.org/)의 Computation and Language 분야에 업로드된 논문들 중에서 “Knowledge Graph는 RAG 과정에서 어떤 역할을 수행할까?”와 관련된 내용을 담고 있는 것들의 비중의 흐름을 표현하고 있습니다. 전체적으로 볼 때, 비중이 계속 감소하고 있는 추세를 확인할 수 있습니다.

2020년

Knowledge Graph는 RAG(Retrieval-Augmented Generation) 과정에서 중요한 역할을 수행합니다. RAG는 정보 검색과 생성 모델을 결합하여 더 정확하고 풍부한 정보를 제공하는 방법론입니다. Knowledge Graph는 이러한 RAG 과정에서 다음과 같은 역할을 수행합니다:

1. 정보 보강: Knowledge Graph는 구조화된 데이터로서, RAG 모델이 더 많은 배경 지식을 활용할 수 있도록 도와줍니다. 이는 특히 질문 응답 시스템이나 정보 검색 시스템에서 중요한 역할을 합니다. Knowledge Graph는 엔티티와 관계에 대한 정보를 제공하여 모델이 더 나은 예측을 할 수 있도록 지원합니다. [1]
2. 추론 지원: Knowledge Graph는 다양한 추론 작업을 지원합니다. 예를 들어, Multi-hop Question-Answering 시스템에서 Knowledge Graph는 문장 간의 의미적 연결을 학습하고, 사실과 답변을 찾는 과정에서 활용됩니다. [5]
3. 불완전성 극복: Knowledge Graph는 종종 불완전한 정보를 포함하고 있지만, 이를 보완하기 위해 Knowledge Graph Completion 기술이 사용됩니다. 이는 Knowledge Graph의 누락된 관계를 예측하여 RAG 모델이 더 완전한 정보를 활용할 수 있도록 합니다. [3][4]
4. 설명 가능성 제공: Knowledge Graph는 RAG 모델의 예측에 대한 설명 가능성을 제공합니다. 이는 모델이 어떤 정보를 기반으로 예측을 했는지를 이해하는 데 도움을 줍니다. [2]

2021년

1. Knowledge Graph는 다양한 엔티티와 그들 간의 관계를 구조화된 형태로 저장하여, 기계가 단순한 토큰의 수준을 넘어 더 깊은 이해를 할 수 있도록 돕습니다. 이는 웹 검색, 추천 시스템, 자연어 이해 등 다양한 분야에서 응용 프로그램의 기능을 향상시키는 데 기여합니다. [6]
2. Knowledge Graph는 또한 엔티티 인식, 검색, 질문 응답과 같은 분야에서 필수적이고 트렌디한 기술로 자리 잡고 있습니다. 특히, 도메인 특정 텍스트를 트리플로 변환하여 Knowledge Graph로 시각화하고 추가적인 응용에 사용할 수 있는 시스템 개발이 이루어지고 있습니다. [7]
3. Knowledge Graph는 RAG 과정에서 정보가 풍부하고 간결한 답변을 생성하는 데 사용됩니다. 이는 대화의 특정한 바이어스를 계산하여 가장 관련성이 높은 구문을 식별함으로써 이루어집니다. 실험 결과, 제안된 접근 방식은 대화 전반에 걸쳐 엔티티 지식을 성공적으로 활용하여 검색-답변 생성 작업에서 여러 기준을 능가하는 성과를 보였습니다. [8]

2022년

1. Knowledge Graph는 사실적 지식을 개념 간의 관계로 표현하여, 다양한 AI 응용 프로그램에서 지능적인 의사 결정을 지원합니다. Knowledge Graph는 구조화된 데이터의 저장소로서, 정보 검색 및 질문-응답 시스템에서 중요한 역할을 합니다. [9][10]
2. Knowledge Graph는 RAG 과정에서 주로 두 가지 방식으로 활용됩니다. 첫째, Knowledge Graph Embeddings(KGE)를 통해 개념과 관계를 저차원 벡터로 표현하여, 새로운 지식을 추론하는 데 사용됩니다. 이는 특히 의료, 금융, 교육과 같은 고영향 분야에서 예측 성능을 향상시키는 데 기여합니다. (2022-09-30) 둘째, Knowledge Graph는 불완전한 정보를 보완하기 위해 Knowledge Graph Completion 작업에서 사용되며, 이는 기존 지식을 바탕으로 새로운 지식을 추론하는 데 도움을 줍니다. [10]
3. 또한, Knowledge Graph는 RAG 과정에서 언어 모델과 결합하여, 구조적 및 텍스트 정보를 통합하여 새로운 지식을 예측하는 데 사용됩니다. 이는 특히 구조적 정보와 텍스트 정보가 상호 보완적이라는 점에서 중요합니다. [11]

2023년

RAG는 대규모 언어 모델(LLM)과 외부 지식 소스를 결합하여 더 정확하고 풍부한 정보를 제공하는 방법론입니다. Knowledge Graph는 이러한 외부 지식 소스로서, 구조화된 정보와 관계를 제공하여 LLM이 더 나은 답변을 생성할 수 있도록 돕습니다.

1. 지식의 구조화 및 표현: Knowledge Graph는 실제 세계의 정보를 구조화된 방식으로 표현하며, 이는 RAG 과정에서 LLM이 이해하고 활용할 수 있는 형태로 지식을 제공합니다. 이를 통해 LLM은 더 정확한 정보를 바탕으로 답변을 생성할 수 있습니다. [12]
2. 정보 검색 및 증강: Knowledge Graph는 RAG에서 정보 검색의 역할을 수행합니다. LLM이 질문에 대한 답변을 생성할 때, Knowledge Graph에서 관련 정보를 검색하여 답변의 정확성과 신뢰성을 높입니다. [13]
3. 지식의 보완 및 확장: Knowledge Graph는 LLM이 자체적으로 보유한 지식을 보완하고 확장하는 데 사용됩니다. 이는 특히 LLM이 학습하지 않은 새로운 정보나 관계를 이해하는 데 유용합니다. [14]
4. 효율적인 컨텍스트 추출: 최근 연구에서는 Knowledge Graph를 활용하여 최소한의 그래프 스키마로 컨텍스트를 추출하고, 임베딩 방법을 사용하여 컨텍스트를 정리함으로써 RAG의 효율성을 높이는 방법이 제안되었습니다. 이는 토큰 소비를 줄이면서도 정확성을 유지하는 데 기여합니다. [15]

2024년

1. RAG는 대형 언어 모델(LLM)의 응답 정확성과 신뢰성을 향상시키기 위해 Knowledge Graph의 구조화된 표현을 밀집 벡터 검색의 유연성과 결합합니다. 이를 통해 다양한 쿼리와 도메인에 대한 성능을 개선하며, 사실 정보와 복잡한 추론 작업에서 더 나은 결과를 제공합니다. 특히, WeKnow-RAG라는 접근법은 웹 검색과 Knowledge Graph를 통합하여 다단계 웹 페이지 검색 기술을 사용함으로써 이러한 성능을 극대화합니다. [16]
2. GraphRAG는 엔티티 간의 구조적 정보를 활용하여 보다 정밀하고 포괄적인 검색을 가능하게 하며, 관계적 지식을 포착하여 더 정확하고 맥락에 맞는 응답을 제공합니다. GraphRAG의 워크플로우는 Graph-Based Indexing, Graph-Guided Retrieval, Graph-Enhanced Generation을 포함하며, 각 단계에서 핵심 기술과 훈련 방법을 체계적으로 설명합니다. [17]

논문 출처

• [1] 2020-04-15: Knowledge graphs as a resource for question answering and decision support
• [2] 2020-04-25: Knowledge graph as a rationale for decision making
• [3] 2020-06-29: Knowledge graph completion and embedding methods
• [4] 2020-09-16: RDF2Vec Light: Lightweight embedding approach
• [5] 2020-10-07: Graph reasoning network for multi-hop question answering
• [6] 2021-03-29:Knowledge is captured in the form of entities and their relationships and stored in knowledge graphs
• [7] 2021-11-20:A knowledge graph is an essential and trending technology with great applications in entity recognition, search, or question answering
• [8] 2021-04-14:The entities knowledge-graph is then used to bias a search-answer generator Transformer towards information rich and concise answers
• [9] 2022-09-30: Knowledge graphs represent factual knowledge about the world as relationships between concepts and are critical for intelligent decision making in enterprise applications
• [10] 2022-11-04: The ability of knowledge graphs to represent complex relationships at scale has led to their adoption for various needs including knowledge representation, question-answering, and recommendation systems
• [11] 2022-08-21: Knowledge graph (KG) embedding seeks to learn vector representations for entities and relations
• [12] 2023-05-15: Knowledge graphs can represent information about the real-world using entities and their relations in a structured and semantically rich manner and they enable a variety of downstream applications such as question-answering , recommendation systems , semantic search , and advanced analytics .
• [13] 2023-10-30: We show how this can be addressed using retrieval-augmented Ontological Knowledge Graph strategies that discern how the model understands what concepts are important and how they are related .
• [14] 2023-06-05: In contrast to large text corpora , knowledge graphs ( KG ) provide dense and structured representations of factual information .
• [15] 2023-11-29: Compared to the existing RAG technique for Knowledge Graphs , the proposed method utilizes minimal graph schema for context extraction and uses embedding methods for context pruning .
• [16] 2024-08-14: WeKnow-RAG: 웹 검색과 Knowledge Graph를 통합한 RAG 시스템
• [17] 2024-08-15: GraphRAG: 구조적 정보를 활용한 정밀 검색