칼쓰뎅 (119.♡.210.192)
2024년 11월 12일 AM 12:28 · 수정됨(17:23)
집에 gpu는 4090입니다.
24gb가 커보이지만 어지간한건 안올라갑니다 ㅡㅡ;;;
이리저리 돌려보니 그나마 쓸만한건 llama3.1 8b 모델이었습니다.
grog사이트 통해서 파라미터별로 동일 질문 던져봤는데요...
확실히 70b가 낫더라구요. 8b는 디테일한부분이 좀 떨어졌습니다.
애플이 하도 ai에 좋다길래 스펙 좀 둘러봤는데요. 273GB/s 라네요.
PC쪽은 ddr5가 듀얼채널하면 100GB/s 정도 나올꺼 같습니다.
다만 애플의 경우, npu,gpu등으로 저 큰 메모리를 사용할수 있습니다.
일반pc의 경우엔 cpu로만 돌려야되므로 좀 느립니다.
(최근 cpu에 npu들이 내장되어서...사용할수 있을지도 모르겠습니다만.)
가정집에서 굉장히 좋게 ai를 굴려보겠다하면...
애플 ram 64GB 기기에다가 llama3.1 70b 모델을 돌리면 될성 싶네요.
물론. 유료로 ai서비스 사용하는게 백배싸고 똑똑합니다? ㅎㅎㅎㅎㅎ
그래서 chatgpt 지금 유료로 한달 사용중입니다;
댓글 (15)
- B
B739
24.11.12 · 222.♡.231.180
Quantization 모델은 어느정도 올라갈텐데요? 안될려나요?! - 칼
칼쓰뎅
→ B739 작성자 24.11.12 · 119.♡.210.192
그게...좀 애매하더라구요. 8b 이상부터는 막 엄청 올려서요 ;;;
40b,70b이렇게 올라가버리니 양자화해도 로딩이 불가능하더라구요. -
Kkamziki
→ B739 24.11.12 · 106.♡.192.39
4bit quantization하면 모델 파라메타 크기 나누기 2 하면 됩니다. 7 b면 3.5 giga실제론 약간 더 큽니다. 24 gb면 35b까지는 무난히 돌리는데 70b는 조금 느리지요. 일부 레이어는 cpu에서 돌리는 방식을 쓰기 때문에.. -
Eeou4
24.11.12 · 175.♡.143.81
앞으로 하드웨어 시장이 또 활황이겠네요 - T
TallFescue
24.11.12 · 73.♡.73.59
잘 몰라서 그러는데 이게 집에 텃밭키우는거 같은거죠? - 칼
칼쓰뎅
→ TallFescue 작성자 24.11.12 · 119.♡.210.192
뭐... 그런셈이죠 ㅎㅎ -
야야댕선생
24.11.12 · 211.♡.181.212
말 만드는 건 부족해도 의도분류에 집중하면 생각보다 활용 분야가 많아요 - 잉
잉여다
24.11.12 · 211.♡.194.79
LMstdio가 가장편하고 극한으로 메모리뽑아내려면 oobabooga 쓰는편입니다. 3090 2장으로 70b 4비트 양자화까지는 돌려봤네요 ㅎㅎ
Qwen 2.5도 요즘 쓸만한편입니다.
실제사용은 chatgpt/claude로 유료로 하고.. 로컬은 장난감/연구용이네요 ㅎㅎ - 칼
칼쓰뎅
→ 잉여다 작성자 24.11.12 · 119.♡.210.192
qwen2.5도 써봤는데요.. 희안하게 조금 더 깊이 들어가면 갑자기 중국어들이 나오더라구요? ㅡㅡ;; - K
kamziki
→ 칼쓰뎅 24.11.12 · 106.♡.192.39
알리바바 그룹에서 만들었으니... ㅋㅋ
댓글을 작성하려면 이 필요합니다.