생각사탕
로그인
회원가입
정보찾기
Site Menu

자유게시판

다모앙 커뮤니티 운영 규칙을 확인하세요.
X

[오프라인 AI] gemma-3-27b-it 체감속도

no_profile 따끈따끈
2025.03.18 02:53
1,599
14
9

제 맥북프로 14인치(M1 Pro + 32GB RAM)에 LM Studio 를 깔고 gemma-3-27b-it 를 올려서 갈궈보고 있는 따끈君입니다.

https://damoang.net/free/3367377

https://damoang.net/free/3367831


이 모델의 체감속도를 공유하고 싶어서 동영상으로 스크린샷을 찍어보았습니다.

상단의 전력미터가 평소에는 10W 내외인데, 모델이 움직이기 시작하면 50W 이상으로 확 뛰는게 인상적입니다.


M4가 더 빠르겠지만, 현재 이 정도도 혼자 쓰기에는 큰 문제는 없을 듯 싶습니다.

(다만 이미지를 넣으면 첫 반응시간이 30초~1분 이상까지 늘어지기 시작한다는건 함정.)

9명
댓글 14 / 1 페이지
맛스타오렌지
03.18 03:04
27b 모델이 노트북에서 저렇게 빠르게 되는 게 놀랍습니다. 👍
M1 칩은 vram 도 따로 없군요.
몇년안에 모든 노트북에 개인 맞춤 AI 기본 내장이겠네요.
no_profile MarginJOA
03.18 07:13
@맛스타오렌지님에게 답글 쉽지 않을겁니다.. 기술도 기술이고 기껏 만든다 해도 단가가 문제라.. ㅋㅋ
어머
03.18 03:34
이걸로 구글의 확실한 방향이 나타난거 같습니다. 대형 모델을 계속 만들긴 하겠지만 목표는 클라우드에서 도는 인공지능이 아닌 핸드폰과 노트북에서 도는 인공지능인데 매우 재미있는 관전 포인트가 이게 원래 애플이 하려던 건데 애플이 구글과 손을 잡는 날이 오나 궁금 하네요 ㅎㅎ
달짝지근
03.18 03:58
인텔이나 AMD에서 쓸만한 GPU와 메모리를 통합하는게 더욱 시급해지겠네요
아예 MS에서 자체적으로 칩을 디자인할지도 모르겠습니다
내장 GPU 성능이 매인스트림급 정도만 나와줘도 랩탑이나 GPU없이 돌아가는 시스템에서는 상당히 좋은 대안처가 되겠죠
그래야 엔비디아도 데탑용 GPU 어머님 없는 가격으로 팔지 않을테고 ㅡㅡ
Sinamehico
03.18 06:23
@달짝지근님에게 답글
레딧 포스트 로딩중


AMD aimax는 128g로 시스템 메모리와 GPU에 메모리 할당 가능한것 같군요
GPU성능도 상당한것 같아서 LLM올리려는 시도들이 많은가 봅니다.
Saracen
03.18 04:19
진지댓글을 달자면, 애플은 모바일에서 접근했기에 메모리와 CPU를 통합한다는 생각을 쉽게 했습니다. 그게 모바일 칩 스냅드래곤이 십수년간 써온 방식이거든요. 근데 아시다시피 메모리 확장을 못 합니다. 기존 PC시장에서 팔아먹으려면, AMD는 그런 방식으론 칩 못 만들어요. 확장도 어렵고 패키징도 어렵고. AMD가 어느 시장에 중점을 두느냐에 따라 메모리 내장하는 방식으로 변할순 있을텐데, 현재까지도 AMD의 제조와 유통 관리가 인텔에게 밀리는 것을 보면 (제조를 외주주기 때문에) 이번에 노트북 CPU에 집중하는 것도 꽤나 걱정이 되는 모양이던데요.

MS는 정말 오랫동안 칩 만드는거 하고 있는데, 별 실적이 없어 보이고, 아마존은 자체 칩은 있지만 모델은 포기했고, OpenAI에서 잘 만드는게 나올려나요? CEO가 잘 밀어붙이는 것 같고, 돈도 많고, 모델도 자체 모델 가지고 있으니 말입니다.

베이에서는 돈 있고, 목적 있으면, 칩은 나옵니다. 워낙 쟁쟁한 사람들이 널려 있다보니 (짐 켈리같은 언론에 알려진 사람 말고도 넘쳐납니다), 의지만 있다면 되는데, 실제로 그렇게 심각하게 할까는 잘 모르겠습니다. 이런 칩 만드는건 조 단위로 돈 들어갑니다.
멤피스
03.18 06:27
@Saracen님에게 답글 “아마존은 자체 칩은 있지만 모델은 포기했고”
아마존 자체 모델이 Nova로 알고 있는데 포기했나요?
Saracen
03.18 06:58
@멤피스님에게 답글 댓글이 약간 과장되거나 Overstated된 면이 있는데, 아마존은 원래 AWS에서 타사의 유명 소프트웨어뿐만 아니라, 대체 소프트웨어를 제공해서 결국 자신의 에코시스템으로 정착하도록 (그 프로그램은 저렴한 대신 AWS에서만 돌아가므로), 유도하는 전략을 사용합니다. 대형 웹사이트는 그럼에도 AWS에서만 제공되는 프로그램은 선택하지 않습니다. MS로 옮길수도 있으니 말이죠.

AI에서도 마찬가지인데, 이 경우, AWS에서 저렴하게 돌아가는 대체 모델 정도로 예측하는 사람들이 있었습니다. 하지만 아마존은 OpenAI나 Anthropic과 실질적인 성능에서도 경쟁하려고 시작을 했습니다. 하지만 NOVA가 나오고, 전략이 아직 활실하진 않지만 방향 자체가 경쟁사 대비 75%저렴한 모델 이런식으로 빠지고 있는 것 같아 보여요.
 
https://www.carbon6.io/blog/amazon-nova-latest-ai-models/

AWS에서 사용할 저렴한 AI정도는 되겠으나, Anthropic(AWS에서 제공되고 많은 유저들이 사용하고 있다는군요) 이나 다른 저렴한 모델들이 공급되기 시작한다면, 그 자리를 차지할수 있을지 확실하지 않은거죠.
멤피스
03.18 07:38
@Saracen님에게 답글 네. 아마존의 전략은 잘(?) 알고 있습니다. 가능한 어느쪽에도 치우치지 않고 가능한 시장 크기를 키워서 매출을 극대화하려는.

개인적으로 nova는 bedrock의 가치를 높이려는 노력이 아닌가 싶습니다. Bedrock의 가치가 특정 Llm model에 의존하지 않는 중립적인 api를 제공해서 사용자가 특정 llm vendor에 종속되지 않게 하려는 건데 거기에 반찬 하나를 추가해서 식탁을 더 풍성하게 보이려는. 시간이 지나서 충분히 bedrock 사용자가 많아졌는데 nova 사용자가 적으면 deprecate 시킬 수도 있구요. 다만 웬만한 빅테크 업체가 (아직까지는) 그런 것처럼 어떤 이유로든 자체 LLM을 보유해야 한다고 생각하는 듯 하네요.
시골길농부
03.18 06:51
M4 Max 64G면 잘 돌아갈까요???
멤피스
03.18 07:32
@시골길농부님에게 답글 27b는 차고 넘치지 않을까요?
시골길농부
03.18 07:52
@멤피스님에게 답글 다행이네요~ 감사합니다.
마이너스아이
03.18 07:19
제가 어제 gemma 27b 를 M4 Max 128 에서 돌렸는데 토큰이 15 ~ 20 사이에서 나오네요.
동영상 보니까 6 ~ 8 토큰 정도 나오는 것 같습니다.
멤피스
03.18 07:31
@마이너스아이님에게 답글 M1 Pro외 m4 max의 메모리 대역폭 차이인가 보내요.