나름 프라이빗LLM 구축해서 사용해본답시고 맥스튜디오32G 샀다가 팔고 RTX3090 24G 두번이나 샀다가 팔고, 다시 맥스튜디오 64G 사서 나름 재미나게 사용하고 있었는데...

이게 좀 속도가 느립니다.

64기가 메모리에 LLM 모델 32b 나 70b 정도까지는 그냥 저냥 올라갑니다.

근데 속도가 엠뱅입니다.......

개인적으로 하는 프로젝트를 진행하는데 대충 계산을 해보니 18개월이 걸린다고 계산이 되네요........18........

그러다 ollama cloud를 본적이 있어서 일단 무료토큰을 물려봤었습니다.

속도는....헐......빠....빠릅니다....ㄷ ㄷ ㄷ ㄷ 

무료토큰은 리소스를 다른 유저들과 공유를 하는 방식이라 좀 느리다고 했는데도 쫌 빠릅니다...

그래서 장고의 고민끝에 유투브 구독을 중단하고 ollama cloud 한달치를 구독합니다. 대략 3만2천원 정도 하는듯 합니다.

이게 매일 한정된 토큰이 있고, 다시 일주일 단위 무료 토큰량이 있나 봅니다.

그런데....제가 개인적으로 진행하는 프로젝트에서 사용하는 토큰을 다 사용도 못해보고 계속 허용 토큰량이 리셋이 됩니다. ㅋㅋㅋㅋ

그러니까 토큰이 전혀 부족하지 않다는 것이죠...

작업 속도는요????

18개월 걸릴 작업이 최소 20일....이 상태로 별 탈없이 가면 25일 정도안에는 종료될것 같습니다.....

ㅋㅋㅋㅋ

그냥 맥스튜디오 18개월 동안 켜놓는데 들어가는 전기세랑도 비견되겠네요....

맥스튜디오 팔아서 꼬기 사먹을랍니다. ㅋㅋㅋㅋ

엥간한 LLM 필요하신분들 그냥 ollama cloud 사용하세요.

저는 개인적으로 oss128b 로 토큰 제한 없을 정도로 사용중입니다. ^^//