제가 보유중인 m4맥스튜디오48g와 m4맥미니16g에 각각 ai모델을 운영했었슴미다

클라우드모델을 사용하다가 어느순간 사용량을 감당 못해서 이번주 사용량을 다 사용해서 할 수 없이 로컬 모델로 전환을 하는데...

맥스튜디오는 양자화된 35b 모델까지 어케 돌리는데 맥미니는 오픈클로에 텔레그램까지 돌려야 하니 4b모델이 아니면 실사용 하기엔 애로사항이 펼져 짐미다 그런데 4b모델을 사용하면 오픈클로에 텔레그램 붙이면 금방 컨텍스가 가득 참미다

그러다 인터넷 찾다가 문뜩 맥os의 클러스터링을 사용해 보면 어떨까??? 하는 생각이 들어서 제미나이에게 물어보니 된다고 해서 시도 했슴미다

그런데 맥스튜디오는 썬더볼트5 맥미니는 썬더볼트4라서 대역폭이 썬더볼트4에 맞춰 짐미다

일단 연결해서 속도 측정 해 보니 37기가 정도 나오니 이론상 최대치인 40기가에서 조금 모자른 속도가 나와서 만족함미다

그리고 EXO라는 뭔가를 세팅해야 하는데 제미나이에게 다 맏겼슴미다

한참을 권한을 줘가며 기다리니 양쪽다 잘 되서 연결이 되는데

맥스튜디오 램 표시가 48g이 아니라 256g로 찍혀 있슴미다

ai한테 물어보니 오류라고 하는데 기부니는 좋네요

대충 좀 더 큰 모델도 돌릴 수는 있지만 속도는 많이 느려질거 같은 느낌이가 듬미다