저번주에 간단하게 제 맥북에어에서 3개 모델 올라마 테스트 해보았습니다.

맥북에어 M4, 32GB ram 입니다.

다만 로컬 모델이 그렇듯이

일반적인 질문의 답변은 품질이 상대적으로 떨어질 것이라 생각하고,

품질이 만족스러운지 평가하기도 어려워서

간단한 코드 작성과 발표자료 요약을 시켜보았습니다.

context length만 32k로 설정하였습니다.

1. gemma3:4b

정말 빠르게 작동합니다.

코드 자체를 써먹는데 큰 문제는 없습니다.

발표자료 정리도 생각보다 깔끔하게 됩니다.

2. gemma3:12b

4b보다는 확실히 속도가 떨어지는 것이 보입니다.

다만 품질 자체는 4b 보다 조금 더 괜찮아 보입니다.

발표자료 정리도 깔끔하게 됩니다.

(추가. 코드 설명이 좀 더 디테일 합니다.)

3. gemma3:27b

느립니다.

더불어 메모리 압력도 치솟습니다.

코딩 결과는 조금 더 괜찮아 보이기는 하지만 12b와 대동소이해 보입니다.

복잡한 코딩이 가능할 지도 모르겠습니다만,

제 사용 용도에는 불필요 한 듯 합니다.

맥북에어로는 조금 벅차서 요약정리는 테스트하지 않았습니다.

(추가. 코드 설명이 좀 더 디테일 합니다.)

4. One more thing

다른 맥북에어에서도 테스트를 했습니다.

M1, 8GB에서는 gemma3:4b 모델도 버거워 실사용은 불가능해 보입니다.

M3(M4?), 16GB 모델에서는 gemma3:4b 가 쌩쌩 잘 돌아갑니다.

다만 상위 모델은 테스트 못하였습니다.

일단 단순 코딩 용도로는 맥북에어에서도 실행가능하여

굳이 코딩을 위한 구독은 필요없을 듯 합니다.

복잡한 것은 ChatGPT 무료버전에서 지원하는 고급모델을 이용하면 충분할 듯 합니다.

그리고 발표요약이 생각보다 잘 되어서 

미팅 정리할 때 쏠쏠히 써먹을 수 있을 듯 합니다.

로컬 버전이라 데이터 보안 문제도 없으니 퍼팩트!

평소에는 그냥 4b 모델을 쓰다 뭔가 아니다 싶으면 12b를 사용해 볼까 합니다.

아!!! 그리고 씽크패드 라이젠 8840U, 32GB 윈도우에서도 테스트 했는데

라이젠 NPU를 인식하지 못하고 쌩 CPU로 돌리네요...