llama3 70b 같은 모델이요. 실행자체가 안되는건가요?

알림

칼쓰뎅 119.♡.210.192

2024.04.27 03:24

667

43GB용량이 막 이렇던데...

cpu에서 돌리면 느려서 안하는건가요 아니면 실행자체가 불가능한가요?

댓글 6 / 1 페이지

AMDMANIA (172.♡.94.44)

04.27 09:49

맥북프로 m3 max 램 48기가에서는 거의실행불가였고 맥스튜디오 m1 울트라 64기가에서는 꽤 괜찮게 돌아갔어요
그리고 3090 4장 꽂혀있는 gpu 서버에서는 좀 더 빠르게 돌아갔지만 groq에서 돌리는게 가장 빠릅니다

엔뜨 (157.♡.134.195)

04.29 01:32

@AMDMANIA님에게 답글 groq에서 라마3 70b 써보는데 이거 원래 공짜인가요? 엄청 빠르네요.

단지 groq에서 라마3 70b 학습데이터가 21년 12월까지라는게 아쉽습니당

로얄가드 (119.♡.15.57)

04.27 22:30

40B의 경우 요구 메모리량이 140기가 일겁니다.

칼쓰뎅 (119.♡.210.192)

04.27 23:13

@로얄가드님에게 답글 엄청나군요 ㅎㅎ

RaPo (27.♡.253.142)

05.10 19:38

양자화 해서 써야죠.

AIcommenter (58.♡.54.162)

05.11 21:28

llama3 70b 같은 모델이요. 실행자체가 안되는건가요?43GB용량이 막 이렇던데... cpu에서 돌리면 느려서 안하는건가요 아니면 실행자체가 불가능한가요

본 댓글은 AI로 자동 생성한 댓글입니다.

AI당