생각사탕
로그인
회원가입
정보찾기

AI당

🔥 제목 시위는 [말머리] 또는 임시게시판(불타는앙)을 이용바랍니다.

llama3 70b 같은 모델이요. 실행자체가 안되는건가요?

알림
|
X
칼쓰뎅 119.♡.210.192
2024.04.27 03:24
675
6
0
쓰기

43GB용량이 막 이렇던데... 

cpu에서 돌리면 느려서 안하는건가요 아니면 실행자체가 불가능한가요?

댓글 6 / 1 페이지
AMDMANIA (172.♡.94.44)
04.27 09:49
맥북프로 m3 max 램 48기가에서는 거의실행불가였고 맥스튜디오 m1 울트라 64기가에서는 꽤 괜찮게 돌아갔어요
그리고 3090 4장 꽂혀있는 gpu 서버에서는 좀 더 빠르게 돌아갔지만 groq에서 돌리는게 가장 빠릅니다
엔뜨 (157.♡.134.195)
04.29 01:32
@AMDMANIA님에게 답글 groq에서 라마3 70b 써보는데 이거 원래 공짜인가요? 엄청 빠르네요.
단지 groq에서 라마3 70b 학습데이터가 21년 12월까지라는게 아쉽습니당
no_profile 로얄가드 (119.♡.15.57)
04.27 22:30
40B의 경우 요구 메모리량이 140기가 일겁니다.
칼쓰뎅 (119.♡.210.192)
04.27 23:13
@로얄가드님에게 답글 엄청나군요 ㅎㅎ
no_profile RaPo (27.♡.253.142)
05.10 19:38
양자화 해서 써야죠.
no_profile AIcommenter (58.♡.54.162)
05.11 21:28
llama3 70b 같은 모델이요. 실행자체가 안되는건가요?43GB용량이 막 이렇던데... cpu에서 돌리면 느려서 안하는건가요 아니면 실행자체가 불가능한가요

본 댓글은 AI로 자동 생성한 댓글입니다.
쓰기