일할맛 판교 3월 세미나

2025.03.27.

Flavor for Work

이번에는 "일할맛 판교"라고 하는 세미나를 다녀왔다. 사실 퇴근 후 판교까지 가는데 약 1시간이 넘게 걸리는 입장에선 쉽사리 오고가기가 어려운데, 이번에 진행하는 세미나의 경우 관심있는 주제가 많아서 다녀오게되었다.

이번 행사에서 다룬 큰 주제는 아래와 같다.

• From RAG to GraphRAG

• Multi-modal RAG 트렌드 살펴보기

자료는 공개가 불가능하니 아래에 필기한 내용을 첨부하겠다.

세미나 1부 : From RAG to Graph RAG

GraphRAG

• Hard Prompting

• Soft Prompting

History of GraphRAG

• GraphRAG (MS) (Hard Prompting)

• G-Retriever - Path Filtering (Hard Prompting & Soft Prompting)

• HybridRAG (Hard Prompting)

• Graph RAG Autotuning (Hard Prompting)

• G-Retrieval Module with PyG (Hard Prompting)

• LightRAG Keyword & Entity Extraction (Hard Prompting)

• GraphRAG Dynamic Community Selection (Hard Prompting)

• GraphRAG - LazyGraphRAG (Hard Prompting)

• GFM-RAG - Foundation Module (Soft Prompting)

• PathRAG - Path Filtering (Hard Prompting)

어떻게 Graph를 만드는가?

• Graph를 왜 사용해야 하는가? 데이터에 도메인의 성격을 입혀야 함.

• Multi-hop reasoning

• Common Knowledge

GraphRAG

• ( Public Domain )

  • Prompt Engineering

  • Unstructure data

• ( Enterprise Domain )

  • Entity Resolution

  • GDBMS

  • Document Relationship

  • Re-ranking

  • Graph Schema

• ( Public Domain )

  • Graph CI/CD

  • Ontology

  • Evaluation Data

표를 그래프로 표현하는 방식

• 메타 데이터를 통합이 필요

  • 다수의 DB를 통합해야하는 케이스가 발생 => Scalability & Heterogeneous graph 데이터 관리를 위해 적절한 GDBMS 필요.

  • 각 node의 property를 전부 활용하자 (keyword, vector)

  • table의 column, row별 메타데이터를 활용해야함.

  • Prompt 추상화 수준에 따라 답변 품질 또한 달라진다.

    • Task Routing

      • e.g. general, specific

    • Prompt Hooking

      • Select of prompt

그래프를 조회하는 방식

• Text2Cypher (https://graphrag.com)

  • Prompt Engineering

    • LLM이 나의 Schema를 인지하지 못함.

    • Graph-CoT Prompt

    • Langchain의 graphqachain

  • Multi-Hop Search

    • Subgraph Extraction, Scalability

      • Single-Hop 답변들만 가져올거였으면, vector여도 충분했을 텐데..?

    • hop을 거듭할수록 조회 cost가 배로 증가한다.

그래프를 평가하는 방식

• 그래프를 평가하는 기준

  • Vector RAG랑 비교하는 방법?

  • 평가 데이터셋은 어떻게 만들지?

    • Graph chain-of-thought : Augmenting large language models by reasoning on graphs

    • COSMO : a large-scale e-commerce common sense knowledge generation and serving system at Amazon

  • Reranker 기준은 어떻게 만들지?

    • meta data 관리 오픈소스 툴

    • opik RAG CI/CD 툴

    • llm orchestration : hydra

개인 Insight

• 최초 기획 및 정의가 가장 중요하다.

• 결국 도메인의 암묵지를 전달(추출, 발견)받는것이 중요하다.

• Prompt Engineering이 구석구석 들어가고 품질을 받춰줘야 한다.

• Text2SQL

  • SQL Logs를 메타 데이터로 활용하자, pinterest의 text2sql medium과 github(query book)을 참조하자.

• 대부분의 방식이 llm을 활용한 작업으로 수행됨

• Graph 구조가 용이한 데이터가 아니면 추천하지 않는다.

• Multi-Turn Retrieval Iterative 방식도 좋음!

Q&A Q : entity/resolution 추출을 위한 prompt engineering부분에서 기법적인 연사님만의 팁이 있는지? A : 학계가 아닌 산업계에서 작성한 prompt 템플릿을 마주한 도메인 및 상황에 맞게 적용해보고 유효하면 그대로 차용하는 편

세미나 2부 : Multi-modal RAG 트렌드 살펴보기

MultiModal RAG가 핫해진 이유?

• MultiModal Agent가 떠올랐기 때문

여러 modality를 가지는 데이터를 multi modal 데이터라고 함. Vision Language Model

• CLIP, DALLE, Stable Diffusion, ImageBind, ColPali

• 서로 다른 유형과 modality의 데이터가 의미가비슷하다면 유사한 embedding space에 위치하길 바란다.

RAG의 목적은 "유저의 질문과 연관된 정보를 잘 찾는것"이 핵심!

• 이것을 잘하려면 무슨 방법이 있을까?

  • 유저에게 책임을 던지는 밥법

    • 질문을 잘 줘라.

      • e.g. 요즘 reasoning model의 경우 애매한 질문인 경우 해당 질문이 맞는지 처리

Multi Modal Embedding

• 가장 많이 사용하는 것이 Contrastive Learning

Trends

1. Shared Embedding Space

   1. UniVL-DR

      1. query, text, image triple-set을 학습

      2. Verbalize : Image에 대한 captioning

      3. Contrastive Learning

      4. OpenCLIP

2. Domain-Specified

   1. FactMM-RAG

      1. F1RadGraph (Factual Report Pairs Mining)

3. Multi-document Understanding

   1. M3DocRAG 1. Many document의 경우 image로 처리하는게 더 좋다.

      1. M3DocVQA Benchmark

4. Benchmark dataset

   1. UniIR

      1. MBeir

5. Approximate Nearest Neighbor Search

   1. KNN의 퀄리티는 embedding model이 중요함.

   2. text domain에서 HNSW는 성능 굿

      1. Big ANN Competition

      2. roar graph

개인 Insight

• Dataset 제작이 필수적으로 동반된다.

• Billion Size의 RAG에서는 Dense Retrieval을 할 수가 없다. 거의 Sparse Retrieval을 선호하는 편

  • 대규모 트래픽이 있는 경우에는 Single-Turn은 무조건 한다.

  • 검색엔진은 Multi-hop을 상정하지 않을 수 있다.

Q&A Q : Multimodal embedding model을 학습할 때 Contrastive Learning을 수행하는데, 데이터셋도 구축하여 사용해야하는데, 일반적으로 hard negative sample을 어떠한 방식으로 만드시나요? A : 휴리스틱하게 데이터셋을 구축한다. Hard Negative Sample의 Hard한 정도의 범주가 많이 확장된다고 이해하면 될 것 같다.