로컬에서 무료로 사용할 수 있는 Ollama-Geama2 기반의 RAG
빌
빌리박 (221.♡.193.133)
2024년 7월 18일 PM 10:05 · 수정됨(22:22)
조회 920 공감 0
PDF 파일을 읽고 Sqlite에 넣어서 RAG로 요약 & 검색을 할수 있는 파이썬 소스입니다.
RAG는 OpenAI(ChatGPT) 기반으로 대부분 작업을 하는데 Input token과 Embadding에서 계속 비용이 나가기 때문에 무료로 사용할 방법을 좀 찾아 봤습니다. 로컬에 Ollama - Gamma2를 깔면 속도는 GPT에 비해 조금 느리지만 그런대로 GPT4o와 비슷한 결과물을 만들어 줍니다.
댓글 (2)
-
가가랑비
24.07.18 · 111.♡.60.210
-
날날씨는어때
24.07.18 · 95.♡.77.176
좋은 소식 감사합니다! 앞으로 이런 류의 프로그램이 이제 점점 더 많이 나올것 같습니다.
댓글을 작성하려면 이 필요합니다.
언젠가.... 개인 하드에 있는 프로그램 코드를 학습시킬 수 있다면, 개인 스타일의 코드를 학습시키면 어떤 아웃풋을 보여줄지 많이 궁금하네요.