11

추가 메뉴

AD
다모앙 마을 만들기 ♡ 다모앙 후원하기
♡ 후원하기 · 벽돌한장 · 광고 제거
업무용 PC로 local LLM 돌리니 답답하네요.
세

Lv.1 세온 (175.♡.146.37)

2025년 8월 20일 AM 11:12 · 수정됨(12:13)

조회 1,175 공감 0

챗지피티 구독 끊은 김에 PC로 한번 해보자 싶어서

5700G 내장그래픽 PC로 LLM 돌려보는데....

Qwen3 14B 모델이 1토큰/초 나오네요.

지시해놓고 다모앙 보다 보면 완료되어 있습니다.


한동안 이런저런 모델 올려봐야겠네요.

목표는 10토큰/초 되는 모델로 노는 것입니다

댓글 (10)

  • Gesserit

    Gesserit Lv.1

    25.08.20 · 125.♡.123.52

    그래픽카드 램 용량이 중요하다고 하던데, 내장 그래픽 PC로도 일단 돌리는 것이 가능하긴 하군요.
  • 세

    세온 Lv.1 → Gesserit 작성자

    25.08.20 · 175.♡.146.37

    램 용량만 충분해서 모델 로딩만 하면 느리더라도 돌아는 가네요.
    qwen3 4B 모델이 5-6토큰/초 나오니 이정도 타협해볼까 합니다.

    qwen3 30B 모델이 프롬프트 읽는 건 느린데, 출력은 빠르네요? 4토큰/초는 되는군요.
  • 달짝지근

    달짝지근 Lv.1

    25.08.20 · 49.♡.149.207

    라이젠 AI MAX+ 395 같은거 잘 팔린다데요
    다 이유가 있죠 ㅎㅎ
  • 세

    세온 Lv.1 → 달짝지근 작성자

    25.08.20 · 175.♡.146.37

    전체 시스템을 업그레이드 해볼까, 아니면 rtx5050 정도나 추가해볼까(내부 공간이 되려나) 상상만 해봅니다 ㅎㅎ
  • 달짝지근

    달짝지근 Lv.1 → 세온

    25.08.20 · 49.♡.149.207

    최근 하드웨어 발전 방향과 시장 분위기를 보니까 중소규모 기업체나 개인들에게 로컬LLM이 꽤 각광 받을것 같은데 저 시장이 꽤 커질것 같더라구요
    수백만원 하는 엔비디아 GPU는 감당이 안되어서 iGPU를 선택하는 기업체가 꽤 있을듯 해요
    몇년 지나면 가정용 통합 서버로 NAS에 LLM도 올리고 쓰는 시대가 곧 올것 같네요
  • 세

    세온 Lv.1 → 달짝지근 작성자

    25.08.20 · 175.♡.146.37

    써보니, 결국 속도의 문제 같네요.
    iGPU로 1-2토큰/초 쓸지, 외장GPU로 100토큰/초 쓸지 등이요.

    그런데 VRAM 작으면 속도 메리트가 떨어지는 것도 있어서...
    답은 맥스튜디오 일까요 ㅎㅎ
  • 홍천브람스

    홍천브람스 Lv.1

    25.08.20 · 39.♡.230.25

    저희는 7B도 못돌립니다 ㅋㅋ
  • 세

    세온 Lv.1 → 홍천브람스 작성자

    25.08.20 · 175.♡.146.37

    0.6B도 있더군요. 30토큰/초 매우 쾌적합니다
  • 이런저런

    이런저런 Lv.1

    25.08.20 · 39.♡.28.10

    그런데 써 보니 27B~30B 정도 되는 모델들 아니면 실제 쓸만한 값이 안 나오는 경우가 많더라구요.. 일단 4B나 이런건 한국어로 질문해도 중국어가 섞인 외계어들이 나오더라구요
  • 세

    세온 Lv.1 → 이런저런 작성자

    25.08.20 · 175.♡.146.37

    한국어 답변은 포기하고 영어로 답변시킵니다.
    질문은 한국어로 해도 알아듣더군요.

    생산성은 기대 안 하고 그냥 심심풀이 대화 정도로 쓰기엔 괜찮네요.

댓글을 작성하려면 이 필요합니다.