요즘 회사 GPU 배분을 보면 좀 황당합니다.

투자 LLM 응용 모델 개발에는 A40 소수를 여러 부서가 나눠 쓰고 있습니다.

그런데 회사에는 H100 8장짜리 클러스터가 따로 있습니다. 보면 a40은 밤낮없이 풀로 돌고 있고, h100은 놉니다. ㅠㅠ

이 H100 자원이 투자 모델 개발/운용 업무에 쓰이는 게 아니라, 대부분 단순 보고서, 결재문서, 이메일 등의 번역,요약, 교정, 초안 작성 쪽에 모두 투입되고 있어요.

물론 그런 업무도 필요합니다. 그런데 H100이 풀로 그쪽으로 들어가야 하는 지는 모르겠어요.

저러면, 회사 전체에서는 인건비가 덜 들어갈려나요? 아랫글에 이어서 푸념입니다. GPU 더 주세요. ㅠㅠ