LLM 이제 가벼운 모델도 대단하네요. (Feat. llama3)
표
표면장력 (174.♡.243.209)
2024년 5월 13일 AM 09:14 · 수정됨(15:49)
조회 1,948 공감 0
맥북프로 14" 기본형 (M1 Pro, 16GB)로 로컬에서 돌려보고 있는데 이거 수준이 놀라운데요?!
7B모델 Q8짜리로도 꽤 잘 나옵니다.
M시리즈의 통합 메모리 덕분에 VRAM 큰 비싼 GPU 없이도 이게 가능하네요.
AI님 충성충성...
댓글 (14)
-
AAppleAde
24.05.13 · 220.♡.180.120
오오오오. chatgpt님은 얼마나 더 멋져지실지 기대됩니다. - 런
런타임
→ AppleAde 작성자 24.05.13 · 174.♡.243.209
그러게요 곧 있을 발표가 뭘지 기대됩니다. -
우우주난민
24.05.13 · 108.♡.52.214
절대음감에 언어능력도 뛰어나신 분이라 랩을 해도 잘하셨겠죠? ㄷㄷㄷ - 런
런타임
→ 우주난민 작성자 24.05.13 · 174.♡.243.209
그렇겠죠...? 사실 저 질문 할 때 환상의 환각 드립을 기대했는데 진지하게 받은 점도 놀라웠습니다. - L
logcat
24.05.13 · 106.♡.131.193
모델 최적화가 중요한것 같습니다
가벼운건 5년전 폰에서도 돌아가니까요 ㅎㅎ - 런
런타임
→ logcat 작성자 24.05.13 · 174.♡.243.209
그러게요 보다보니 폰에서 로컬로 돌리는 모델들도 꽤 나왔더라구요 -
Hheltant79
24.05.13 · 61.♡.152.147
얼마 전까지는 우리가 LLM이 대답하는 걸 보고 "오, 이녀석 좀 치는데?" 하고 감탄했는데,
이제는 LLM이 우리 질문하는 거 보고 "오 참신한 질문이야!" 하고 감탄하네요. - 런
런타임
→ heltant79 작성자 24.05.13 · 174.♡.243.209
칭찬받아서 좋네요 충성충성 -
칼칼쓰뎅
24.05.13 · 210.♡.41.89
llama3 하신건가요? 전 이것저것 한글로 물어보니 별로더라구요 ㅎㅎ - 런
런타임
→ 칼쓰뎅 작성자 24.05.13 · 174.♡.243.209
넵 7B Q8짜리였습니다.
댓글을 작성하려면 이 필요합니다.