로컬 LLM 돌리는데 A770은 별로일까요?
셀
셀빅아이 (223.♡.78.55)
2025년 8월 20일 PM 12:37 · 수정됨(08. 24. 22:41)
조회 846 공감 0
VRAM 16G면 작은거 왠만한건 돌릴 수 있을것 같은데
다른 그래픽카드는 가격이 사악하네요.
그나마 인텔 A770이 제가 부담 덜하게 구할 수 있을것 같은데 어떨까요?
어짜피 게임은 롤만해서 사양은 넘칩니다.
로컬LLM도 장난감 식으로 이것저것 가끔 둘려보는 수준입니다.
댓글 (10)
-
아아찌
25.08.20 · 211.♡.128.34
- 셀
셀빅아이
→ 아찌 작성자 25.08.20 · 125.♡.200.218
감사합니다.
단순하게 LM스튜디오로 돌릴예정 입니다. -
DDINKIssTyle
25.08.20 · 61.♡.73.102
cuda가 없으므로.. 겪는 에로가 많죠..
LM Studio가 GUI 환경에 사용자가 환경을 구성할 필요없이 최신 LLM을 빠르게 지원해서 여러 LLM 경험이 좋아서 인기가 좋은데... 인텔은 그냥 vulkan으로 돌아갈거 같아요. - 셀
셀빅아이
→ DINKIssTyle 작성자 25.08.20 · 125.♡.200.218
LM스튜디오에서 벌칸으로 돌아가는것 같은데 느릴려나요? - D
DINKIssTyle
→ 셀빅아이 25.08.21 · 61.♡.73.102
케바케 입니다. 일반적으로 CPU보다는 빨라도 각자 자기들이 잘 할수 있다고 홍보하는 환경에 비하면 느립니다.
AMD의 경우 ROCm 환경을 구성하면 Vulkan보다 빨라야 하는데 그래픽칩셋마다 차이가 크다고 합니다.
현재 제가 쓰고 있는 Ai 360의 경우 LM Studio에서 ROCm 구성해도 Vulkan보다 느리다는 이야기가 있어서 안하고 있습니다.
ROCm 환경을 구축하기에도 쉽지 않고요 ㅠㅠㅠㅠ - 셀
셀빅아이
→ DINKIssTyle 작성자 25.08.22 · 223.♡.78.74
괜한 욕심을 접어야 겠네요.
감사합니다. :) -
분분노의다운힐
25.08.22 · 122.♡.248.27
제가 A770 쓰고 있습니다. 게임 거의 하지 않고 CPU가 5500GT라서 사실 반드시 필요한 것도 아니었는데, 그냥 카드가 예뻐서 하나 사봤습니다. 다른 GPU를 사용해보질 않아서 비교가 안되기는 합니다. 새로 구입하기 위해 비교하는게 아니라 이미 가지고 있는 입장에서.. LM Studio에서 요즘은 gpt-oss 20B 모델을 쓰고 있는데, 나쁘지 않습니다. 16GB 메모리라 확실히 큰 모델들이 올라가고, Vulkan으로 사용하는 건 맞는데, 그렇다고 뭐 못 쓸만큼 느린지는 모르겠네요. 저는 코드를 달라고 한다든지.. 어떤 대량의 정보를 요청하는 경우는 거의 없고, 어떤 내용에 대해 짧게 정리해달라는 경우가 많은데.. 대체로 거의 모든 내용을 다 읽어야 합니다. 근데 내용이 출력되는 속도가 제가 읽을 수 있는 속도보다는 훨씬 빨라서 성능이 부족하다고 느끼지는 않아요. 첫 토큰이 나오는 시간도 그렇게 길게 느껴지지 않네요. - 셀
셀빅아이
→ 분노의다운힐 작성자 25.08.23 · 125.♡.200.218
답변 감사합니다.
현재 사양으로는 gpt-oss 20B로 한참 추론 후 출력시 천천히 읽으면서 쫒아갈 수 있는 속도로만 나오네요. :)
비교해 주셔서 바로 이해가 갔습니다. - 셀
셀빅아이
→ 분노의다운힐 작성자 25.08.24 · 125.♡.200.218
결국 구입했습니다.
기존 RX580 8G 보다 체감상 3배이상 느껴지네요.
간단한거나 유튜브 요약 같은건 빨라서 자체적으로 해도 충분하네요.
풀로딩까지 안가니 전기도 더 적게 먹습니다. :) - 분
분노의다운힐
→ 셀빅아이 25.08.24 · 122.♡.248.27
만족하신다니 다행이네요~ 저는 게임을 거의 안하다보니 예전엔 엔트리급 쿼드로를 썼었는데 인텔도 괜찮은것 같습니다.
댓글을 작성하려면 이 필요합니다.
(호환 안되는 모델이 꽤나 있을거라는 뜻으로 보시면 됩니다..)