요즘 A40이랑 Gemma4 31b로 LLM 금융 시장 모델을 만들고 있습니다.

하면 할수록 느끼는 건데, 이쪽은 진짜 GPU랑 VRAM이 깡패네요.

처음에는 모델 구조 잘 잡고, 프롬프트 다듬고, 데이터 전처리 잘하면 어느 정도 커버될 줄 알았습니다.

근데 실제로 돌려보면 병목은 결국 하드웨어에서 옵니다.

모델 조금만 키워도 VRAM 먹고, 컨텍스트 길게 잡아도 VRAM 먹고, 여러 버전 비교하려고 해도 VRAM 먹고, 검증 반복하려고 해도 시간이 너무 오래 걸립니다.

A40도 나쁜 장비는 아닌데, 요즘 LLM 기준으로 보면 한계가 꽤 빨리 옵니다.

결국 모델 아이디어를 고민하는 시간보다, “이걸 지금 장비에서 어떻게든 돌아가게 줄일 수 있나”를 고민하는 시간이 더 많아집니다.

회사에서는 A40 이상 장비를 안주다 보니, 구현 속도가 안 납니다.

실험해야 할 것도 명확하고, 검증할 것도 있는데, 장비가 못 따라오는 느낌입니다.

하드웨어가 부족하면 모델을 만드는 게 아니라, 제약을 피해서 우회하는 일을 계속 하게 되네요.

결국 AI도 아이디어 싸움인 줄 알았는데, 해보니 장비 싸움이기도 합니다. ㅠㅠ

어제는 답답해서 ollama + 터보퀀트도 해봤는데, 최대 필요 메모리 살짝 줄고 실행시간은 늘어나더라고요. 그렇다고 h100달라고 할수도 없는 일이고, 어떻게 해결해야하나 고민입니다.