구글이 3일전(?) 즈음에 Gemma4 모델을 발표했습니다.

Gemma4-E2B, Gemma4-E4B, Gemma4-26B-A4B, Gemma4-31B 요렇게 4개 입니다.

Gemma4-E2B와 E4B는 핸드폰에서도 구동 가능하도록 만들었습니다.

핸드폰에서 구동해 보고 싶으면 스토어에서 Googl AI edge gallery를 다운 받으셔서 설치하시면 됩니다.

이 앱을 다운 받으면 다음 단계로 모델을 선택할수 있는데 Gemma4-E2B나 Gemma4-E4B를 설치할수 있습니다. 저는 핸드폰 메모리의 압박으로(갤럭시 S20FE. 6기가 램) Gemma4-E2B를 선택했습니다.

써보시면 놀라울정도로 온라인 버전의 Gemini나 chatGPT수준에 근접한 대화가 가능합니다. 물론 파라미터의 한계가 있어서 완전 대체는 불가능하지만 써보실만 합니다. 내 핸드폰에 깔렸기 때문에 토큰 제한 이딴 제약사항이 없습니다.

이거보다 큰 모델을 구동하려면 PC가 필요합니다.

Gemma4-26B-A4B 나 Gemma4-31B는 비디오카드 VRAM에 로딩되기 때문에 거대한 VRAM이 필요합니다.

저는 3070ti(8GB)를 가지고 있는데, 이걸로는 구동이 거의 불가능하기에, 집에서 놀고 있는 1660ti를 세컨드 gpu로 내컴에 단 후에 옵션 조절을 해서, Gemma4-26B-A4B를 구동해 냈습니다.

지금 보니 3070ti의 VRAM은 6.8GB/8GB, 1660ti의 VRAM은 3.7GB/6GB, 메인메모리는 28GB/32GB를 쓰고 있습니다. 돌리는거 자체가 참 힘겹내요.

하지만 대화해보면 응답은 훌륭합니다. 온라인 버전의 Gemini나 chatGPT에 필적하는 성능입니다. 쓸만합니다.

Gemma4-31B는 시도해 보지 않았습니다. 보나마나 안됩니다. 5090정도 되면 구동될거라 생각합니다.

아 그리고 이 AI 모델을 돌리는 tool은 LM studio를 쓰고 있습니다. 처음에는 Ollama라는걸 써볼려고 했었는데, SAC(Smart App Control)이라는 윈도우 보호 프로그램이 Ollama를 자꾸 막아서 못쓰고 LM Studio로 왔습니다. multi GPU 지원도 합니다.

Gemma4-E4B는 PC 에서 구동할시에 번개같은 응답속도를 보여줍니다. 답변도 상당히 깔끔하고요.