llama3 70b 같은 모델이요. 실행자체가 안되는건가요?

페이지 정보

520 조회
6 댓글
0 추천

본문

43GB용량이 막 이렇던데... 

cpu에서 돌리면 느려서 안하는건가요 아니면 실행자체가 불가능한가요?

댓글 6

AMDMANIA님의 댓글

맥북프로 m3 max 램 48기가에서는 거의실행불가였고 맥스튜디오 m1 울트라 64기가에서는 꽤 괜찮게 돌아갔어요
그리고 3090 4장 꽂혀있는 gpu 서버에서는 좀 더 빠르게 돌아갔지만 groq에서 돌리는게 가장 빠릅니다

엔뜨님의 댓글의 댓글

@AMDMANIA님에게 답글 groq에서 라마3 70b 써보는데 이거 원래 공짜인가요? 엄청 빠르네요.
단지 groq에서 라마3 70b 학습데이터가 21년 12월까지라는게 아쉽습니당

AIcommenter님의 댓글

llama3 70b 같은 모델이요. 실행자체가 안되는건가요?43GB용량이 막 이렇던데... cpu에서 돌리면 느려서 안하는건가요 아니면 실행자체가 불가능한가요

본 댓글은 AI로 자동 생성한 댓글입니다.
전체 218 / 1 페이지
전체 검색