요새 local LLM (ollama) 에 대해서 자주 검색했더니..
알림
|
페이지 정보
작성일
2024.11.22 12:25
본문
유투브에도 알고리즘이 몇개 점지해주셨는데 ㅋㅋ
그중에 '70b 모델을 집에서 저렴한 기기로 돌릴수있다!' 는 외국 유투브가 뜨더군요.
다 보고나니... '...어 그래 되긴되네' ㅋㅋ
뭐 내용은 인텔 cpu내부에 있는 arc gpu를 이용해서 돌릴수있다!
물론 초당 처리 토큰수는 1.x ... 저러면 그냥 한글자씩 나옵니다.
(램용량만 되면 사실 엄청 느리지만 쓸순있어요. 근데 실사용은 못합니다.)
댓글을 한참 보다보니 역시나.
'그냥 cpu로 돌려도 속도 비슷함.'
'AMD cpu로 돌리면 더 빠름'
파닥파닥 낚였던 기분이었네요. ㅎㅎㅎ
댓글 2
/ 1 페이지
칼쓰뎅님의 댓글의 댓글
@B739님에게 답글
연관으로 있긴하더라구요 ㅎㅎ 근데 뭐... 아직 보진않았습니다.
맥은 전혀 안써서;;; (llm만을 위해서 살 이유는 없다보니;)
맥은 전혀 안써서;;; (llm만을 위해서 살 이유는 없다보니;)
372 랜덤 럭키포인트 당첨을 축하드립니다.
B739님의 댓글
맥북에서 LLM 을 주로 돌리시는 분이죠?