ollama + gemma3 는 쓸모가 많네요
S

Lv.1 SassyBrain (115.♡.24.164)

2025년 3월 21일 PM 07:47 · 수정됨(04. 06. 11:09)

조회 1,709 공감 0

데스크탑에 RTX 4070ti 를 사용 하고 있는데요..

WSL 환경에 ollama 를 설치하고 gemma3:12b 를 다운로드 받아서 돌려보니 꽤 부드럽게 잘 돌아 갑니다.

vscode 에 continue 라는 extension 설치해서 ollama 연동하니 vscode 에서 코드 생성, 편집, 분석까지 다 해주네요?? @.@

Cursor 를 아직 안써봤는데 뭔가 이런 비슷한 느낌일 것 같은 느낌이 들긴합니다.


ollama webui 를 설치하니 chatgpt 못지 않는 훌륭한 편의성과 속도, 결과물을 보여 줍니다.


이러면 점점 왠만한건 로컬에서 다 처리 할 수 있는 시대가 올지도 모르겠네요 


  


댓글 (7)

  • Ecridor

    Ecridor Lv.1

    25.03.21 · 37.♡.176.156

    open webui에 rag까지는 붙이겠는데 web search를 추가하려니 api가 필요해서 결국은 돈을 써야 하나 싶어요.
  • 드라마중독 Lv.1 → Ecridor

    25.03.25 · 125.♡.218.17

    brave web search api 2000/월 무료입니다 https://brave.com/search/api/
  • Ecridor

    Ecridor Lv.1 → 드라마중독

    25.03.25 · 91.♡.196.218

    정보 감사합니다. 1000토큰/월 무료는 찾았었는데 https://www.linkup.so 브레이브가 통이 크네요.
  • 멤피스

    멤피스 Lv.1

    25.03.22 · 223.♡.55.20

    12b도 쓸만한 가보네요.
    맥북프로를 사려는데 12b 모델의 성능이 얼마나 되는 지 몰라서 메모리를 48GB로 늘려야 하나 고민 중이라 이런 글을 보면 아주 반갑네요
  • 빅데이트

    빅데이트 Lv.1

    25.04.05 · 112.♡.148.44

    12B 가 4070 에서 돌아가는지 궁금합니다. Q4 수준으로 양자화 해야 돌아가지 않나요 ?
  • S

    SassyBrain Lv.1 → 빅데이트 작성자

    25.04.06 · 115.♡.24.164

    4bit 양자화 버전 입니다. ollama pull gemma3:12b 로 땡기면 요게 내려 오더군요.
  • 빅데이트

    빅데이트 Lv.1 → SassyBrain

    25.04.06 · 112.♡.148.44

    4bit 양자화로도 충분히 쓸만한가 보네요. 감사합니다.

댓글을 작성하려면 이 필요합니다.