로컬 AI챗봇 사용하시는 분들, 데스크탑 GPU는 어떤 제품 사용하시나요?

알림

blast 112.♡.34.62

2024.08.06 15:29

쓰기

데스크탑 하나 맞춰볼까 보고 있는데

가능한 낮은 급으로 맞추려고 보고 있습니다. (4060Ti 16 정도...)

어느 급이어야 사용할 수준이 될까요. (챗봇 모델은 가장 가벼운 걸 사용하려고 합니다)

p.s

CPU는 7500F 보고 있습니다.

댓글 5 / 1 페이지

junja91 (192.♡.96.218)

08.07 01:23

인퍼런스만 하는 거면 그냥 적당한 것으로 하면 되지 싶은데요. 제 경우는 적당한 싸구려 엔비디아 콰드로를 쓰고 있기도 하고, 맥에서도 쓰고 있습니다.

blast (112.♡.34.62)

08.07 08:34

@junja91님에게 답글 답변 감사합니다.

와싸다 (110.♡.98.240)

08.07 07:17

3090 중고도 괜찮습니다 vram이 커야 되어서요. 학습 안하고 추론만 하실거면 맥도 하나의 선택지입니다.

blast (112.♡.34.62)

08.07 08:35

@와싸다님에게 답글 M2에 램만 챙기면 어느 정도 되겠죠?

와싸다 (110.♡.98.240)

08.07 09:10

@blast님에게 답글 다다익램입니다 ㅎ

쓰기

질문과 답변