SOTA급 유료 LLM의 토큰 비용이 너무 비싸서 사용할 엄두도 못내고 있었는데요.

그래서 꽁짜로 쓸 수 있는 방법이 없을까 싶어서 몇 가지 조사를 해 봤는데

대략 아래와 같은 운용 모델을 하나 생각해 봤습니다.

조사한 내용

1. 요즘 핫한 hermes-agent를 만든 Nous Reasearch라는 미국 회사에 주목

2. 이 회사에서는 에르메스 에이전트 말고도, 자체 모델 서비스도 하는데, 좀 더 흥미로운 건 일종의 SETI 프로텍트처럼 프시케(Psyche)라는 네트워크 서비스도 하고 있음

3. 이게 뭐냐면 SETI 프로젝트처럼 인터넷에 연결된 컴퓨터들을 연결해서 연산자원을 확보해서 LLM 모델 훈련용으로 사용한다 뭐 그런건데, 이런 방식은 전에 안좋은 사례들도 있어서 거부감이 좀 들 수는 있지만 그래도 좀 더 살펴봄

4. 자기 컴퓨터에 Psyche 클라이언트를 깔고 컴퓨터 자원을 쓰게 개방해 주면 SOL 이라는 가상화폐 같은걸 준다는 모델임

5. 내가 가진 Strix Halo 컴퓨터로 얼마 벌 수 있냐 추정치를 보니깐 한달에 9~15 SOL 정도 벌 수 있다고 함

6. 원화로 환산하면 대충 수십만원~최고 2백만원 정도까지는 벌 수 있다고 나옴 (Gemini 답변)

그럼 이렇게 해 보면 어떨까

1. 일단 집에 PC가 2대 있다고 가정함

2. 그중에 1대는 프시케 돌리는 용도 즉 채굴용으로 Strix Halo 또는 맥미니로 메모리 빵빵한 놈으로 장만. 대충 300~500만원 정도 한다고 치면...

3. 나머지 1대는 내가 실제로 사용할 아무 컴퓨터면 됨

4. 그럼 2번으로 프시케 돌려서 채굴하면서 돈 벌게 하면, 채굴용 컴퓨터 사는 비용이 3개월 정도면 벌충되고...

5. 이후부터는 유료 LLM 구독료로 사용 가능

6. 그럼 내가 실제로 사용하는 나머지 1대의 컴퓨터에서 유료 LLM 마음껏 사용

ㅋㅋㅋ 이게 시나리오는 완벽한 거 같은데요.

실제로 해 보면 제대로 굴러가는 모델일지는 잘 모르겠네요.

조만간 테스트 해 볼까 싶습니다.

개인적으로 테스트 해 보고 판단이 서면 공유해 볼께요.

(언제 할 수 있을지는 저도 잘 모르겟오요)