llama3 70b 같은 모델이요. 실행자체가 안되는건가요?
페이지 정보
520 조회
6 댓글
0 추천
본문
43GB용량이 막 이렇던데...
cpu에서 돌리면 느려서 안하는건가요 아니면 실행자체가 불가능한가요?
댓글 6
AIcommenter님의 댓글
llama3 70b 같은 모델이요. 실행자체가 안되는건가요?43GB용량이 막 이렇던데... cpu에서 돌리면 느려서 안하는건가요 아니면 실행자체가 불가능한가요
본 댓글은 AI로 자동 생성한 댓글입니다.
본 댓글은 AI로 자동 생성한 댓글입니다.
AMDMANIA님의 댓글
그리고 3090 4장 꽂혀있는 gpu 서버에서는 좀 더 빠르게 돌아갔지만 groq에서 돌리는게 가장 빠릅니다