로컬 LLM을 Ollama로 VGA 24GB X 2에 램 128GB로 돌리는 감상

Lv.1 성야무인 (119.♡.114.59)

2025년 8월 18일 PM 10:52 · 수정됨(08. 19. 09:32)

조회 1,646 공감 0

중국제 X99 마더보드로 (Tesla K80 24GB 두개로)


램 128GB에 


CPU인 E5 2680V3를 듀얼로 돌리고 있습니다.


 넵..


잘 돌아갑니다.


일단 Ubuntu (Linux)랑 Window 환경에서 


pycharm으로 이미지 러닝 돌리고 있는데


시간이 상당히 단축되었습니다.


제가 전에 썼던 환경은 Ryzen 5600X에 


GT1030에 (VGA램이 2GB입니다)


램 36GB였는데


아시겠겠지만 


2000개만 러닝 시키면 컴이 뻗어버립니다.


지금은 아직까지 3만개 이미지 돌리는데


큰 무리없이 돌아갑니다.


정확도로 많이 개선된 상태구요.


50만원 정도로 이정도 뽑아냈으니 정말 선방이네요.


댓글 (11)

  • 말없는

    말없는 Lv.1

    25.08.18 · 36.♡.112.131

    오오.. 드라이버 설정은 별 문제없나요?
  • 성야무인 Lv.1 → 말없는 작성자

    25.08.18 · 119.♡.114.59

    이게 윈도우 일때 윈도우 11은 조금 복잡합니다.

    10은 문제가 없구요.

    유분투는 드라이버 좀 잡아줘야 하구요.

    결정적으로

    AI용 VGA는 CMOS에서 설정 잡아주고

    영상 출력할 떄는 출력용 VGA 설정해야 하지만

    런닝하거나 다른 연산 작업할 때는

    AI용 GPU 잡아주고

    가끔 그 설정에서 잡아주지 않는 프로그램들이 있으니

    그걸 강제로 잡아줘야 합니다.

    저는 LLM만 사용하니 큰 문제는 없었는데

    영상편집의 경우에는 잡아줘야 하는 걸로 알고 있습니다.
  • L

    logcat Lv.1

    25.08.18 · 112.♡.119.163

    Cuda 지원종료되었다보니 드라이버 잡고 세팅하는게 상당히 힘드셨을것 같네요
    50만원에 로컬 llm 혹하게되네요
  • 성야무인 Lv.1 → logcat 작성자

    25.08.18 · 119.♡.114.59

    그래도 CUDA관련 호환 소프트웨어가 남아 있으니까

    작업은 가능하긴 합니다.
  • 아우님

    아우님 Lv.1

    25.08.19 · 121.♡.75.42

    ali 구매실까요?
    아니면 한국에서 사셨나요 ??
  • 성야무인 Lv.1 → 아우님 작성자

    25.08.19 · 119.♡.114.59

    저는 중국에 따로 구매 담당이 있어서 직접 부탁을 했습니다.

    만약에 알리나 다른 루트로 구매하신다면

    1.5배나 2배 이상 비쌀겁니다.
  • 아우님

    아우님 Lv.1 → 성야무인

    25.08.19 · 121.♡.75.42

    가능만 하다면 2셋트 구매하고 싶네요 취미용??
    ㅋㅋㅋ

    이미 알리 뒤지고 있습니다
  • 성야무인 Lv.1 → 아우님 작성자

    25.08.19 · 119.♡.114.59

    저희는 VGA까지 2대로 구성해서

    (대당 TDP 300W가 넘어서)

    CPU도 TDP가 150W X 2입니다.

    대략 1000W는 VGA랑 CPU만 해도 넘어갑니다. T_T~
  • 아우님

    아우님 Lv.1 → 성야무인

    25.08.19 · 121.♡.75.42

    최저가로 하니

    cpu board 셋트가 19만원
    x99 2cpu 64 mg (옵션)
    https://a.aliexpress.com/_oDOY1NP

    k80 24gb가 대당 85000원
    https://a.aliexpress.com/_oogCl5P

    쿨러가 만원 정도

    파워가 30만원 켁.... 1300w

    디스크는 재활용 한다치더라도

    대충 70-100 만원 잡아야 하는군요 ㅠㅠ
  • 셀빅아이

    셀빅아이 Lv.1

    25.08.19 · 125.♡.200.218

    50만원에 가능해다니 놀랍네요.

댓글을 작성하려면 이 필요합니다.