로컬에서 무료로 사용할 수 있는 Ollama-Geama2 기반의 RAG
알림
|
페이지 정보
작성일
2024.07.18 22:05
본문
PDF 파일을 읽고 Sqlite에 넣어서 RAG로 요약 & 검색을 할수 있는 파이썬 소스입니다.
RAG는 OpenAI(ChatGPT) 기반으로 대부분 작업을 하는데 Input token과 Embadding에서 계속 비용이 나가기 때문에 무료로 사용할 방법을 좀 찾아 봤습니다. 로컬에 Ollama - Gamma2를 깔면 속도는 GPT에 비해 조금 느리지만 그런대로 GPT4o와 비슷한 결과물을 만들어 줍니다.
댓글 2
날씨는어때님의 댓글
좋은 소식 감사합니다! 앞으로 이런 류의 프로그램이 이제 점점 더 많이 나올것 같습니다.
가랑비님의 댓글
언젠가.... 개인 하드에 있는 프로그램 코드를 학습시킬 수 있다면, 개인 스타일의 코드를 학습시키면 어떤 아웃풋을 보여줄지 많이 궁금하네요.