대기업 아니면 힘들거 같습니다. 근데 대기업이 이걸 쓸까 싶구요. 비용 때문에 온프레미스 구성한다?

저는 dual rtx3090사용중인데 가능하면 하나 만 더 있으면 좋겠다는 생각이 들 때도 있습니다. local에서 쓸 때 qwen과 gemma dense 모델을 양쪽에 하나씩 놓고 (똑똑한)qwen 먼저 작업하고, (말잘하고 똘똘한)gemma가 review하고 그걸 다시 qwen이 종합하는 식으로 구현하고 있습니다. 두개만 해도 gpu가 거의 꽉 차버려서 다른 것을 넣을 곳이 마땅치 않아요.
개인적으로는 말로 풀어나가고 싶어서 음성인식 모듈도 gpu에 올리고 싶기도 하구요. data가 점 점 쌓이면서 이 데이터에 대한 상세하고 통찰력있는 검색 능력을 높이고 싶은데 이 검색을 하는 것도 전용 (embedding) gpu가 잘하더라구요. 적어도 qwen3 8b정도는 써야 검색이 좋아지는데 그러면 아무리 양자화를 해도 적어도 5-6gb는 vram을 차지하게 되버립니다.
하나만 포기하면 될 것 같긴한데 local로 cloud 수준의 결과를 얻으려하니 결국에는 gpu를 처발처발 해야 하는 상황이라고 볼 수 있죠... 3090이 딱 가성비가 제일 좋은 것 같아요. (물론 다른 것은 써본 적이 없습니다. 본적도 없습니다..ㅎㅎ)