IT
:-)
엉
엉클머리 (211.♡.237.157)
2024년 6월 28일 AM 10:11 · 수정됨(17:29)
조회 4,267 공감 0
:-)
댓글 (14)
- 엉
엉클머리
작성자 24.06.28 · 211.♡.237.157
:-) -
가가사라
24.06.28 · 112.♡.211.243
마침 ollama 에도 쓸 수 있다는 노티가 왔더군요.
LMSYS leaderboard 에 보니 Gemma 2 27b 가 Llama 3 70b 보다 점수가 더 좋네요.
Gemini 1.5 Flash 보다 살짝 떨어지는 정도입니다.
파인튜닝 모델들도 나오기 시작했고요.
연말에 Llama 3 400b 도 나온다고 하고, 오픈소스 LLM 들이 계속 흥하겠네요. - 엉
엉클머리
작성자 24.06.28 · 220.♡.180.115
- 엉
엉클머리
→ 엉클머리 작성자 24.06.28 · 211.♡.237.157
:-) -
Pplaintext
24.06.28 · 121.♡.185.98
오픈소스 llm 도 계속 흥미진진해지네요..
돌려볼 스펙이 안되는게 아쉽지만요 ㅎㅎ - 동
동탄토깽이
24.06.28 · 223.♡.91.216
오전에 설치해서 이것저것 해보는데.. 한국어 기준으로는 9b가 27b보다 낫네요. knowlede distillation을 사용해서인지.. - 지
지켜줄게
→ 동탄토깽이 24.06.28 · 122.♡.196.158
llm모델을 로컬에서 돌리려면, 어느 정도의 스펙이 필요한지 의견 부탁드릴 수 있을까요? - 동
동탄토깽이
→ 지켜줄게 24.06.28 · 223.♡.91.82
양자화없이는 9b도 약 40기가의 gpu 메모리가 필요합니다. 4비트 양자화하시면 15기가 이내의 메모리를 가진 gpu로도 돌리실수있어요 - 지
지켜줄게
→ 동탄토깽이 24.06.28 · 122.♡.196.158
회신 감사합니다. 저는 맥북에서, 학습용으로, 돌려보려는데요, cpu 언급은 없으신 걸 보면 연산능력이 몇 tops냐 하는 것보다 메모리 크기가 중요한 것 같네요. - 동
동탄토깽이
→ 지켜줄게 24.06.28 · 223.♡.90.56
ollama 로 실리콘 맥에서 구동됩니다! 매우 쉬워요
댓글을 작성하려면 이 필요합니다.