로컬에서 무료로 사용할 수 있는 Ollama-Geama2 기반의 RAG

알림

빌리박 221.♡.193.133

2024.07.18 22:05

634

PDF 파일을 읽고 Sqlite에 넣어서 RAG로 요약 & 검색을 할수 있는 파이썬 소스입니다.

RAG는 OpenAI(ChatGPT) 기반으로 대부분 작업을 하는데 Input token과 Embadding에서 계속 비용이 나가기 때문에 무료로 사용할 방법을 좀 찾아 봤습니다. 로컬에 Ollama - Gamma2를 깔면 속도는 GPT에 비해 조금 느리지만 그런대로 GPT4o와 비슷한 결과물을 만들어 줍니다.

MacBook M2에서 꽤 잘 돌아갑니다. 그래도 공짜로 할수 있으니 대박입니다. ^^

https://github.com/bipark/Ollama-Gemma2-PDF-RAG