요새 local LLM (ollama) 에 대해서 자주 검색했더니..
칼쓰뎅

Lv.1 칼쓰뎅 (119.♡.210.192)

2024년 11월 22일 PM 12:25 · 수정됨(19:59)

조회 672 공감 0

유투브에도 알고리즘이 몇개 점지해주셨는데 ㅋㅋ

그중에 '70b 모델을 집에서 저렴한 기기로 돌릴수있다!' 는 외국 유투브가 뜨더군요.


다 보고나니... '...어 그래 되긴되네' ㅋㅋ

뭐 내용은 인텔 cpu내부에 있는 arc gpu를 이용해서 돌릴수있다!

물론 초당 처리 토큰수는 1.x ... 저러면 그냥 한글자씩 나옵니다.

(램용량만 되면 사실 엄청 느리지만 쓸순있어요. 근데 실사용은 못합니다.)


댓글을 한참 보다보니 역시나. 

'그냥 cpu로 돌려도 속도 비슷함.'

'AMD cpu로 돌리면 더 빠름' 



파닥파닥 낚였던 기분이었네요. ㅎㅎㅎ

댓글 (2)

  • B

    B739 Lv.1

    24.11.22 · 222.♡.231.180

    누군지 알것 같네요 ㅎㅎㅎ

    맥북에서 LLM 을 주로 돌리시는 분이죠?
  • 칼쓰뎅

    칼쓰뎅 Lv.1 → B739 작성자

    24.11.22 · 119.♡.210.192

    연관으로 있긴하더라구요 ㅎㅎ 근데 뭐... 아직 보진않았습니다.
    맥은 전혀 안써서;;; (llm만을 위해서 살 이유는 없다보니;)

댓글을 작성하려면 이 필요합니다.