GPU 2대 올렸습니다. (feat AI)
알림
|
페이지 정보
작성일
2025.01.12 00:10
본문
메인은 4090이고 3090은 케이스내에 자리가 없어서
oculink 연결로 외부케이스에 egpu로 설치했습니다.
48GB의 vram이 되니까...오오오...
C:\Users\kalst>ollama ps
NAME ID SIZE PROCESSOR UNTIL
llama3.3:latest a6eb4748fd29 46 GB 100% GPU 4 minutes from now
llama 3.2 70b 4비트 양자화 모델이 한번에 올라가는군요!!
이젠 좀 고품질 ai모델들 올려볼수 있겠습니다.
4090 하나로는 3-4GB씩 모잘라서 못올리는 것들이 은근히 많더라구요.
양자화 너무 많이한거는 올려봤자 헛소리만 하는게 많아서;;;
댓글 2
/ 1 페이지
A350님의 댓글