메인은 4090이고 3090은 케이스내에 자리가 없어서 

oculink 연결로 외부케이스에 egpu로 설치했습니다.

48GB의 vram이 되니까...오오오...

C:\Users\kalst>ollama ps

NAME ID SIZE PROCESSOR UNTIL

llama3.3:latest a6eb4748fd29 46 GB 100% GPU 4 minutes from now

llama 3.2 70b 4비트 양자화 모델이 한번에 올라가는군요!!

이젠 좀 고품질 ai모델들 올려볼수 있겠습니다.

4090 하나로는 3-4GB씩 모잘라서 못올리는 것들이 은근히 많더라구요.

양자화 너무 많이한거는 올려봤자 헛소리만 하는게 많아서;;;