ollama + gemma3 는 쓸모가 많네요
S
SassyBrain (115.♡.24.164)
2025년 3월 21일 PM 07:47 · 수정됨(04. 06. 11:09)
조회 1,709 공감 0
데스크탑에 RTX 4070ti 를 사용 하고 있는데요..
WSL 환경에 ollama 를 설치하고 gemma3:12b 를 다운로드 받아서 돌려보니 꽤 부드럽게 잘 돌아 갑니다.
vscode 에 continue 라는 extension 설치해서 ollama 연동하니 vscode 에서 코드 생성, 편집, 분석까지 다 해주네요?? @.@
Cursor 를 아직 안써봤는데 뭔가 이런 비슷한 느낌일 것 같은 느낌이 들긴합니다.
ollama webui 를 설치하니 chatgpt 못지 않는 훌륭한 편의성과 속도, 결과물을 보여 줍니다.
이러면 점점 왠만한건 로컬에서 다 처리 할 수 있는 시대가 올지도 모르겠네요
댓글 (7)
-
EEcridor
25.03.21 · 37.♡.176.156
open webui에 rag까지는 붙이겠는데 web search를 추가하려니 api가 필요해서 결국은 돈을 써야 하나 싶어요. - 드
드라마중독
→ Ecridor
25.03.25 · 125.♡.218.17
brave web search api 2000/월 무료입니다 https://brave.com/search/api/ -
EEcridor
→ 드라마중독
25.03.25 · 91.♡.196.218
정보 감사합니다. 1000토큰/월 무료는 찾았었는데 https://www.linkup.so 브레이브가 통이 크네요. -
멤멤피스
25.03.22 · 223.♡.55.20
12b도 쓸만한 가보네요.
맥북프로를 사려는데 12b 모델의 성능이 얼마나 되는 지 몰라서 메모리를 48GB로 늘려야 하나 고민 중이라 이런 글을 보면 아주 반갑네요 -
빅빅데이트
25.04.05 · 112.♡.148.44
12B 가 4070 에서 돌아가는지 궁금합니다. Q4 수준으로 양자화 해야 돌아가지 않나요 ? - S
SassyBrain
→ 빅데이트 작성자
25.04.06 · 115.♡.24.164
4bit 양자화 버전 입니다. ollama pull gemma3:12b 로 땡기면 요게 내려 오더군요. -
빅빅데이트
→ SassyBrain
25.04.06 · 112.♡.148.44
4bit 양자화로도 충분히 쓸만한가 보네요. 감사합니다.
댓글을 작성하려면 이 필요합니다.