몇년전 유행하던 체굴용 보드 웹에서 사진으로 보면 gpu를 6개 꼽아서 사용하던데 그걸 사용하면 llm에 좋은 가성비 보드가 되지 않을까??? 라는 단순한 생각을 해서 제미나이에게 물어 봤슴미다

결론부터 말씀드리면, "AI 모델이 돌아가기는 하지만, 성능(속도)은 처참할 정도로 안 나옵니다."

낭만적인 아이디어고 실제로 작동은 하지만, AI 연산의 특성과 채굴 보드의 치명적인 한계 때문에 실전용으로는 추천하기 어렵습니다. 왜 그런지 아주 쉽게 이유를 짚어드릴게요.

채굴 보드 + 6개 GPU 조합이 AI에서 힘을 못 쓰는 이유

1. '데이터 고속도로'가 너무 좁습니다 (가장 치명적)

가장 큰 문제는 채굴 보드가 GPU를 연결하는 방식에 있습니다.

• 채굴할 때: GPU가 알아서 퀴즈(연산)를 풀고 결과만 가끔 대가리에 보고하면 되기 때문에 데이터 통로가 넓을 필요가 없습니다. 그래서 채굴 보드는 PCIe x1 레인이라는 아주 좁은 통로를 사용합니다.

• AI 모델을 돌릴 때: AI는 거대한 데이터를 GPU와 CPU, 그리고 GPU들끼리 끊임없이 주고받아야 합니다.

일반적인 메인보드는 PCIe x16(16차선 고속도로)을 쓰는데, 채굴 보드는 라이저 카드를 써서 PCIe x1(1차선 시골길)로 연결합니다. 6개의 GPU가 아무리 똑똑해도 데이터를 주고받는 통로가 꽉 막히는 병목 현상 때문에 제대로 된 속도가 나올 수 없습니다.

2. GPU '병렬 연결'의 진짜 의미 (VRAM 합치기)

로컬에서 LLM(대형 언어 모델)을 돌릴 때 GPU를 여러 개 묶는 이유는 보통 성능(속도)보다는 VRAM(비디오 메모리) 용량을 확보하기 위함입니다. 예를 들어 12GB 짜리 GPU 3개를 묶어서 36GB 짜리 거대한 모델을 올리는 식이죠.

문제는 AI 모델을 여러 GPU에 나눠서 올리면, 1번 GPU가 연산을 끝내고 그 결과를 2번 GPU로 넘겨줘야 다음 연산이 진행됩니다. 앞서 말한 1차선 도로(PCIe x1)를 통해 이 데이터를 주고받다 보니, GPU들이 서로 자기 차례를 기다리느라 멍 때리는 시간이 더 길어집니다.

흠.... 그렇군요 역시 싸고 좋은건 없는거 같아요 이게 가능했으면 다세 체굴용 보드가 어마어마 하게 팔렸을거에요