이글의 수정본은 다음 URL 에 있습니다 . : https://grip.news/archives/2958​

이것저것 할인을 받을 수 있는 기회 덕분에 오랜만에 새로운 컴퓨터를 교체할 수 있었습니다. 제품은 GMK사에서 판매한 K8이며, AP는 AMD 8845HS와 780M GPU로 구성된 제품입니다. 그런데, 슬프게도 회사 잔업이 쏟아지기 시작합니다. 현재 주 개발 업무가 LLM 응용 애플리케이션인데, LLM을 내재화 하고 있습니다.

대부분 동종 업계 개발이 그렇듯 nVIDIA 계열의 GPU는 반 필수입니다. CUDA를 사용하지 않는다면 모델 업로드 후 추론까지 많은 시간이 소요되기 때문입니다. 네 망했습니다. GMK K8 은 작고 귀여운 큐브 형태의 PC로 확장성은 귀여운 멍멍이한테 줘버린 상태입니다. 하지만, 집에서 잔업을 하지 않으면 매일 야근각이라..

​

모두가 하지 말라는 선택을 하게 됩니다. … eGPU … 어차피 게임이 주목적도 아니고 개발이 목적이기 때문에 손실률은 감내할 수 있다 생각했습니다. 마침 또 GPU를 비롯한 각종 컴퓨터 부품을 티x 에서 할인 판매를 하고 있어 중x나라보다 더 저렴한 가격에 신품을 구입할 수 있었습니다. 핵심 부품인 GPU의 경우 필요 조건을 따져봤을 때 RTX4070 Ti Super가 적절하다는 판단을 내렸는데, 제가 성인이 돼서 구입한 최 고가의 그래픽카드이기도 합니다. 하하하 :)

마침 GMK K8 에는 USB 4.0 이 탑재되어 있어 40 Gbps 대역폭을 사용할 수 있지만, 늘 그렇듯 USB는 시어머니가 많은 녀석이라 PCIe 직결을 원했습니다. 8840HS를 탑재한 미니 PC들 대부분이 2개의 NVME 슬롯을 탑재하고 있기 때문에 1개를 사용하기로 결정합니다. 이 NVME는 PCIe Gen4 규격이며, 4배속으로 연결되기 때문에 이론적으로 64 Gbps의 대역폭을 확보할 수 있습니다. 거기에 네이티브 연결이지요.

​

NVME to PCIe 제품을 찾아봤는데 연결성이 썩 좋지 않고 손이 많이 가는 걸 발견했습니다. 예를 들어 본체 전원을 켜기 전 eGPU 전원을 따로. 직접 켜야 한다거나, 품질도 썩 좋지 않다고. 그래서 저의 인터페이스 선택은 OCulink였습니다.

완제품을 찾아봤습니다. 대부분 RX7600MXT를 탑재하고 있었습니다. 문제는 K8 내장 GPU, RX780M 보다 성능이 크게 좋지 않으면서 가격도 비싸다는겁니다. RX7600MXT의 PassMark 자료를 단순 비교해 보면 RX780M 보다 65% 더 나은 성능을 보이지만, RTX4060의 60% 정도밖에 미치지 못합니다. 그리고 CUDA를 사용할 수 없어 선택할 수 없었구요.

RTX4070Ti Super를 선택한 이유는 16GB의 메모리가 필요했기 때문입니다. 7B 모델을 필요한 부분만 쓴다면 꾸역 꾸역 넣을 수 있거든요. (물론 7B 모델을 최대 정밀도로 사용하려면 28GB의 GPU 메모리가 필요합니다) 그리고 RX4070Ti Super의 성능은 RX780M 보다 무려 440% 이상 좋습니다. eGPU를 사용해 퍼포먼스 손실이 2/3 토막 나더라도 2배이상 빠릅니다.

​
그래서 케이스, 보드 그리고 GPU를 따로 구입해 조립하기로 결정했습니다. 서두가 길었습니다. 제가 위 내용을 길게 입력한 이유는 eGPU를 선택함에 있어 과정을 모두 담으려 했기 때문입니다. ^^;

이쁘고 귀여운 ITX 케이스가 많았지만 eGPU에 최적화된 케이스를 찾았습니다. 많은 분들이 TH3P4G3 케이스를 사용하시더군요. 이 케이스는 ATX 또는 ITX 용 모델이 존재합니다. 제가 사용하려 하는 GPU를 사용하려면 300mm 이상을 수납할 수 있어야 했습니다. 그래서 TH3P4G3의 풀 사이즈를 선택했습니다. 340mm GPU를 수납할 수 있고 ATX 파워를 사용합니다. 특히 옆 패널에 공간이 있어 나중에 케이블 확장에 이점이 있습니다. (라고 생각하고 구입한 것이 신의 한 수였습니다.)

eGPU 확장 보드는 OCuP4 V2를 선택했습니다. 위 케이스에 딱 맞는 제품으로 설치가 용이하고 PCIe Gen4를 지원하는 제품입니다. NVME to OCulink 보드가 포함된 풀셋 제품을 선택했습니다. 만듦새는 깔끔합니다. 쉴드 처리 되어 있어 쇼트 발생 확률이 낮다는 것이 장점입니다.

하지만, 제품 불량이 왔습니다. 불규칙하게 시스템이 리부팅되는 문제가 있었는데, 윈도의 덤프 파일을 분석하니 "DXGI call IDXGISwapChain::Present failed [0X887 A0005]" 등이 발생하는 걸 확인했고, 이는 eGPU 시스템 하드웨어 문제였습니다.

다행히 Aliexpress 무료 반품을 이용해 100% 환불을 받을 수 있었고, 동사 EXP GDC 제품을 구입했습니다. 이 녀석은 문제가 없더군요. 동일한 PCIe Gen4 4배속 제품입니다. 문제는 이 제품은 TH3P4G 3에 정확히 맞지 않습니만, 케이스가 열려 있는 타입이라 케이블을 밖으로 쉽게 빼낼 수 있었습니다.

마지막으로 파워서플라이는 티x 할인으로 저렴하게 에너지 옵티머스 700W 브론즈 모듈러 제품을 구입했습니다. 아무래도 케이블이 많이 필요 없기에. 자. 완성된 시스템 모습입니다.

GPU-Z를 통해 확인하면 다음과 같은 결과를 얻을 수 있습니다.

3DMark TimeSpy를 이용해 얻은 결과는 다음과 같습니다. PCIe 대역폭이 4x에 불과하기 때문에 성능 저하는 감내해야 하지만, 내장 GPU 대비 3배 가까운 스코어를 얻을 수 있었습니다.

여기까지입니다. LangChain으로 모델이 잘 올라가고 추론도 이상 없다는 것을 확인했습니다. 이제 잘 사용하면 될 것 같습니다. 참고로, 전원을 켜면 eGPU 가 같이 켜지고 전원이 꺼지면 같이 꺼집니다. 아이들 상태에서의 전력 소모는 정말 미소하기 때문에 큰 문제가 없더군요.

사실 회사에서 AWS 환경에서 진행 중이었고, 이 때는 큰 문제가 없었습니다. 컨테이너를 만들어 세이지메이커에 올려 점프스타트로 시작하면 됐는데, 현재의 프로젝트가 PoC 고 비용이 급격한 우상향이 되면서 워크스테이션을 구입, 인하우스에서 잔여 개발을 진행하다 보니 이렇게 되어 버렸습니다 (ㅠㅠ)

1. 케이스(TH3P4G3) : $42.38
2. OCulink 보드(GDC EXP) : $46.35
3. 파워서플라이(에너지옵티머스 EXCEL 클래식 700W 풀 모듈러 80P 브론즈) : 46,000원
4. GPU (MSI 4070Ti Super) : 1,060,000원

티x 의 기본할인+중복몬스터쿠폰+카카오페이10%추가할인 .. 덕분에 쿨럭 쿨럭 ;