로컬에서 LLM 이리저리 돌려본 후기입니다.

알림
|
X

페이지 정보

작성자 칼쓰뎅 119.♡.210.192
작성일 2024.11.12 00:28
2,027 조회
6 추천
글쓰기

본문

집에 gpu는 4090입니다.

24gb가 커보이지만 어지간한건 안올라갑니다 ㅡㅡ;;;

이리저리 돌려보니 그나마 쓸만한건 llama3.1 8b 모델이었습니다.

grog사이트 통해서 파라미터별로 동일 질문 던져봤는데요...

확실히 70b가 낫더라구요. 8b는 디테일한부분이 좀 떨어졌습니다.


애플이 하도 ai에 좋다길래 스펙 좀 둘러봤는데요. 273GB/s 라네요.

PC쪽은 ddr5가 듀얼채널하면 100GB/s 정도 나올꺼 같습니다.

다만 애플의 경우, npu,gpu등으로 저 큰 메모리를 사용할수 있습니다.

일반pc의 경우엔 cpu로만 돌려야되므로 좀 느립니다.

(최근 cpu에 npu들이 내장되어서...사용할수 있을지도 모르겠습니다만.)

가정집에서 굉장히 좋게 ai를 굴려보겠다하면...

애플 ram 64GB 기기에다가 llama3.1 70b 모델을 돌리면 될성 싶네요.



물론. 유료로 ai서비스 사용하는게 백배싸고 똑똑합니다? ㅎㅎㅎㅎㅎ

그래서 chatgpt 지금 유료로 한달 사용중입니다;

  • 게시물이 없습니다.
댓글 15 / 1 페이지

B739님의 댓글

작성자 B739 (222.♡.231.180)
작성일 11.12 00:30
Quantization 모델은 어느정도 올라갈텐데요? 안될려나요?!

칼쓰뎅님의 댓글의 댓글

대댓글 작성자 칼쓰뎅 (119.♡.210.192)
작성일 11.12 01:24
@B739님에게 답글 그게...좀 애매하더라구요. 8b 이상부터는 막 엄청 올려서요 ;;;
40b,70b이렇게 올라가버리니 양자화해도 로딩이 불가능하더라구요.

kamziki님의 댓글의 댓글

대댓글 작성자 no_profile kamziki (106.♡.192.39)
작성일 11.12 08:05
@B739님에게 답글 4bit quantization하면 모델 파라메타 크기 나누기 2 하면 됩니다. 7 b면 3.5 giga실제론 약간 더 큽니다. 24 gb면 35b까지는 무난히 돌리는데 70b는 조금 느리지요. 일부 레이어는 cpu에서 돌리는 방식을 쓰기 때문에..

eou4님의 댓글

작성자 eou4 (175.♡.143.81)
작성일 11.12 00:31
앞으로 하드웨어 시장이 또 활황이겠네요

TallFescue님의 댓글

작성자 no_profile TallFescue (73.♡.73.59)
작성일 11.12 01:07
잘 몰라서 그러는데 이게 집에 텃밭키우는거 같은거죠?

칼쓰뎅님의 댓글의 댓글

대댓글 작성자 칼쓰뎅 (119.♡.210.192)
작성일 11.12 01:24
@TallFescue님에게 답글 뭐... 그런셈이죠 ㅎㅎ

야댕선생님의 댓글

작성자 야댕선생 (211.♡.181.212)
작성일 11.12 01:36
말 만드는 건 부족해도 의도분류에 집중하면 생각보다 활용 분야가 많아요

잉여다님의 댓글

작성자 no_profile 잉여다 (211.♡.194.79)
작성일 11.12 02:59
LMstdio가 가장편하고 극한으로 메모리뽑아내려면 oobabooga 쓰는편입니다. 3090 2장으로 70b 4비트 양자화까지는 돌려봤네요 ㅎㅎ
Qwen 2.5도 요즘 쓸만한편입니다.

실제사용은 chatgpt/claude로 유료로 하고..  로컬은 장난감/연구용이네요 ㅎㅎ

칼쓰뎅님의 댓글의 댓글

대댓글 작성자 칼쓰뎅 (119.♡.210.192)
작성일 11.12 09:13
@잉여다님에게 답글 qwen2.5도 써봤는데요.. 희안하게 조금 더 깊이 들어가면 갑자기 중국어들이 나오더라구요? ㅡㅡ;;

kamziki님의 댓글의 댓글

대댓글 작성자 no_profile kamziki (106.♡.192.39)
작성일 11.12 09:16
@칼쓰뎅님에게 답글 알리바바 그룹에서 만들었으니... ㅋㅋ

잉여다님의 댓글의 댓글

대댓글 작성자 no_profile 잉여다 (211.♡.199.46)
작성일 11.12 17:23
@칼쓰뎅님에게 답글 그건 어쩔수 없는것 같습니다 ㅠㅠ 잘 만든 한국어 모델 있었으면..ㅠㅠ

그녀는애교쟁이님의 댓글

작성자 no_profile 그녀는애교쟁이 (223.♡.79.28)
작성일 11.12 08:02
전기세 생각하면 구독료가 싸다는 결론이신거죠?

칼쓰뎅님의 댓글의 댓글

대댓글 작성자 칼쓰뎅 (119.♡.210.192)
작성일 11.12 09:14
@그녀는애교쟁이님에게 답글 가성비가 구독하는게 좋다는 얘기입니다 ㅎㅎ
'성능'이 너무 차이나서요.

kamziki님의 댓글

작성자 no_profile kamziki (106.♡.192.39)
작성일 11.12 08:10
구독료는 다시 인상되고 있는 추세고 agent 개념으로 지속적으로 돌린다면 로컬 LLM도 고려할만 합니다. 특히 데이터 보안이 필요한 연구소 같은 곳에선...

칼쓰뎅님의 댓글의 댓글

대댓글 작성자 칼쓰뎅 (119.♡.210.192)
작성일 11.12 09:15
@kamziki님에게 답글 네 나쁘진않은데.. 제대로 하고싶다면 애플64gb 모델을 사용하는게 좋을꺼 같다는 생각입니다.
물론 뭐 gpu 24gb 2개 사도 되긴하겠지만요. 가격이....음;
글쓰기
홈으로 전체메뉴 마이메뉴 새글/새댓글
전체 검색