셀빅아이 (125.♡.200.218)
2025년 8월 24일 PM 07:50 · 수정됨(08. 27. 22:03)
AMD RX580 8G에서 Intel A770 16G로 업글했습니다.
로컬LLM (LMStudio) 돌리려구요.
결과적으로 만족이네요.
기존엔 Gemma3 E4B 3.95GB 짜리 출력이 느리게 읽어도 쫓아갈 수 있을만한 속도인데
업글 후에는 읽어도 못쫓아 갑니다.
GPT-OSS 20B 11.28G 짜리 추론도 훨씬 빠르고 (체감상 5배 이상?)
출력도 빠른 편이라 좋네요.
유튜브 간단한 요약이나, 간단한것들은 그전엔 느려서 잘 안돌렸는데,
이제는 그럭저럭 빠른편이라 이것저것 해보고 있습니다. 재밌네요.
전력소비도 풀로드를 거의 안하니 더 적게 먹습니다.
RX580
- LOL GAME 173.7W
- LMStudio 280W
A770
- LOL GAME 139.5W
- LMStudio 246.3W, 291.8W등등
개인적으론 만족스럽네요.
CUDA 들어간 16G 짜리 그래픽카드는 너무 비싸서 포기했습니다. :)
댓글 (15)
-
매매일두유
25.08.24 · 219.♡.171.27
혹시 성함이 리누스 토발즈분 ㅌㅌ~ -
별별멍
25.08.24 · 118.♡.6.130
추억의 580 590...ㅎㅎㅎ egpu붙여 쓰던 추억이네요
언제 llm 강좌 한번 부탁 드려요 컴맹이라서 넘 어려워요 ㅠㅠ - 셀
셀빅아이
→ 별멍 작성자 25.08.24 · 125.♡.200.218
https://damoang.net/lecture/8930?sfl=wr_subject&stx=llm&sop=and
맥버전이긴 한데, 윈도우에서도 LM Studio 그냥 설치하면 쓸 수 있습니다.
너무 간단합니다. :) - 별
별멍
→ 셀빅아이 25.08.24 · 118.♡.6.130
오 이런 간단한 거군요 4080m인데 충분하겠...죠? ㅋㅋㅋ - 셀
셀빅아이
→ 별멍 작성자 25.08.24 · 125.♡.200.218
그정도면 훨씬 빠를꺼니 간단한건 그냥 내부로 돌리세요. :) -
기기적
25.08.24 · 211.♡.43.130
a770 중고 30만원 정도면 고민해볼만 하네요.
https://m.bunjang.co.kr/products/352207976?q=A770
이제 ComfyUI도 공식 지원한다고 하니 괜찮은 선택인 듯 합니다.
https://blog.comfy.org/p/intel-openvino-joins-forces-with - 셀
셀빅아이
→ 기적 작성자 25.08.24 · 125.♡.200.218
중고나라에선 25만원 전후로 풀립니다.
제 생전 제일 비싸게 산 그래픽카드 입니다. :) -
DDINKIssTyle
25.08.24 · 14.♡.7.140
Gemma3 E4B 답변 완료 후 아래 뜨는 초당 토큰 수를 적어주시면 많은 분들께 도움이 될듯 합니다! - 셀
셀빅아이
→ DINKIssTyle 작성자 25.08.24 · 125.♡.200.218
GPT-OSS 20B는 초당 18.43토큰 • 1078개 토큰 • 첫 토큰까지 8.57초
Gemma3 E4B는 초당 27.48토큰 • 933개 토큰 • 첫 토큰까지 0.60초
같은 내용으로 이렇게 나오네요. - D
DINKIssTyle
→ 셀빅아이 25.08.24 · 118.♡.12.100
감사합니다! 인텔 외장 지피유 얼마나 나오는지 많이 궁금했었는데 대략 속도 감이 오는군요! 인텔이 미친척 꼴지의 발악으로 VRAM 128GB 짜리 저렴하게 하나 내주면 좋겠습니다 ㅎㅎ 그럼 단숨에 라뎅을..??
댓글을 작성하려면 이 필요합니다.