Qwen 이라고 Alibaba 에서 개발한 

오픈소스 LLM 모델이 있습니다.

많은 회사들이 오픈 LLM 모델을

만들어 공유하고 있는데

대표적으론 Meta 에서 개발한

LLaMA 같은 친구들이 있고,

Google (인가 Deepmind) 에서 개발한

Gemma (점마) 모델이 있죠. 

Qwen 도 그 중 하나입니다. 

라이선스도 기본으로 Apache-2.0 라이선스로

널널하게 배포합니다.

다만 주로 모델 파라메터 크기가 크거나, 전략적으로

내놓는 모델들은 Apache-2.0 라이선스가 아니라

알리바바 자사 라이선스로 배포를 합니다.

(월간 총 유저수가 엄청 커지면 빠뜨너쉽 맺자,

혹은 위안화 내놔라 빼곤 별거 없습니다.)

(알리바바 클라우드 에서 사용해볼 수도 있는데

다른 LLM 사업자와는 다르게 쓰고 돈내는

방식이라 얼마나 낼지 모르겠어서 

사용안하고 있습니다.)

`gguf` 모델도 지원해서, VRAM 이 딸리는 GPU

에서도 어느정도 성능 패널티는 있겠습니다만,

그래도 잘 굴러 갑니다.

3B 로 `gguf` 4Bit 양자화된 모델

사용해서 굴려봤습니다.

한국어로 대화하는데는 크게 어려움 없이 대화

가능했습니다.

다만 이 친구는 실크로드 출신에 교역을 열심히

하다 보니 한자도 가끔 쓰고, 영어를 가끔 쓸 때도

있습니다만 ... 그래도 Acceptable 가능한 정도

였습니다... 

3B 가 이정도로 된다니.

개인적으로 놀랐습니다.

GPU VRAM 딸리는 녀석으론 이게 젤 좋아 

보이네요 ㅎㅎ