알리바바의 Qwen 모델 돌려본 후기
알림
|
페이지 정보
작성일
2024.11.12 18:21
본문
Qwen 이라고 Alibaba 에서 개발한
오픈소스 LLM 모델이 있습니다.
많은 회사들이 오픈 LLM 모델을
만들어 공유하고 있는데
대표적으론 Meta 에서 개발한
LLaMA 같은 친구들이 있고,
Google (인가 Deepmind) 에서 개발한
Gemma (점마) 모델이 있죠.
Qwen 도 그 중 하나입니다.
라이선스도 기본으로 Apache-2.0 라이선스로
널널하게 배포합니다.
다만 주로 모델 파라메터 크기가 크거나, 전략적으로
내놓는 모델들은 Apache-2.0 라이선스가 아니라
알리바바 자사 라이선스로 배포를 합니다.
(월간 총 유저수가 엄청 커지면 빠뜨너쉽 맺자,
혹은 위안화 내놔라 빼곤 별거 없습니다.)
(알리바바 클라우드 에서 사용해볼 수도 있는데
다른 LLM 사업자와는 다르게 쓰고 돈내는
방식이라 얼마나 낼지 모르겠어서
사용안하고 있습니다.)
`gguf` 모델도 지원해서, VRAM 이 딸리는 GPU
에서도 어느정도 성능 패널티는 있겠습니다만,
그래도 잘 굴러 갑니다.
3B 로 `gguf` 4Bit 양자화된 모델
사용해서 굴려봤습니다.
한국어로 대화하는데는 크게 어려움 없이 대화
가능했습니다.
다만 이 친구는 실크로드 출신에 교역을 열심히
하다 보니 한자도 가끔 쓰고, 영어를 가끔 쓸 때도
있습니다만 ... 그래도 Acceptable 가능한 정도
였습니다...
3B 가 이정도로 된다니.
개인적으로 놀랐습니다.
GPU VRAM 딸리는 녀석으론 이게 젤 좋아
보이네요 ㅎㅎ
댓글 4
/ 1 페이지
河己失音官頭登可님의 댓글
저는 tool_calling 안되서 포기유.. ㅎㅎ
ollama는 공식 된다고 했지만.. 진짜 되기만 하고.. 어흑...
llama 3.1만 되서(심지어 llama 3.2도 안됨) openai랑 왔다갔다 해야 해서 포기해씸더 ㅎㅎ
ollama는 공식 된다고 했지만.. 진짜 되기만 하고.. 어흑...
llama 3.1만 되서(심지어 llama 3.2도 안됨) openai랑 왔다갔다 해야 해서 포기해씸더 ㅎㅎ
트라팔가야님의 댓글
준비가 안됐다구요” ♫