최근에 뭐 하나 짜본답시고 유료 LLM을 이용해서 코딩을 해 보고 있는데

비용이 눈덩이처럼 커지는 구조더군요.

제가 유료로 써본건 Google Antigravity랑 Opencode 정도인데,

구글 꺼는 뭐 하나 작업 좀 할라 치면 3시간 정도 쓰다 보면 하루 할당량 다 차 버립니다.

그리고 하염없이 몇 시간 기다려야 되고

그렇게 3~4일 정도 주간 한도 다 차 버리면 한 일주일 더 기다려야 되고

일주일 기다려서 뭐 좀 해 볼라치면 한 달 한도 다 차서

한참 프로그램 짜다가 맥이 탁탁 끊겨 버리고요.

그거 못 참아서 API 초과 종량제로 해 보니깐

3만5천원짜리는 뭐 하루 쓰면 끝나버리더라고요.

그니깐 매일 2~4만원 정도씩 돈을 들이부어야

하루종일 코딩 작업이 가능하다는 이야기가 되네요.

대안으로 좀 싸다는 Opencode Go를 가입!

첫 달에 5달러/월, 다음부터는 10달러/월 과금으로 구글의 반 값도 안되어서 좋은데...

역시 하루/일주일/한달 단위로 토큰 한도가 있어서

구글 꺼랑 별 차이 없이 작업 좀 하다가 끊기고 하다가 끊기고

그러고 딱 2일 썼는데 1주일 동안 기다리라고 나옵니다.

그거 못 참아서 또 초과 요금 지불하면 이제 또 돈이 줄줄 새 나가는거죠.

컴퓨팅 자원에 원가 많이 들어간다는건 머리로 이해를 하는데

개인 사용자 입장에서는 뭐 환장하겠네요.

아마추어인 제가 이정도인데, 프로페셔널하게 쓰는 사람들은 진짜 한 달에 수백~억단위까지 돈이 깨진다는 이야기가 진짜인가 봅니다.

문제는 로컬모델로는 너무 한계가 있어서, 유료 LLM 맛을 본 후로는, 코딩용으로 로컬모델을 사용하고 싶은 마음이 도저히 안 든다는 건데요.

일종의 중독 증상 같은것도 생기나 봅니다.

문제는...

원래 챗지피티 이런데서 이야기하길

"물 처럼 저렴한 지능의 무제한 공급을 하겠다"

"인공지능의 대중화"

"누구나 사용할 수 있는 어시스턴트"

이런 식으로 이야길 했는데, 실제로는 LLM 요금은 점점 더 높아진 경향을 보이고 있고

지능의 가격이 지수함수적으로 낮아질 것이다 이런 소리는 현실과는 동떨어져 있고

암튼 그렇네요.

용돈 정도 비용으로 사용해야 하는 개인 입장에서는

"맛만 봐라"는 것 같습니다.

근본적으로 인공지능을 돌리는데에 너무 엄청난 전력과 고가의 반도체가 대량으로 사용된다는 점이 문제네요.

사실 한 사람의 지능이나 효용성이 SOTA급 모델과 동급이라고 가정하면

한 사람의 두뇌가 소모하는 에너지는 30W 정도.

같은 능력을 발휘하려고 인공지능 돌린다면 1~2kW 정도의 에너지가 들어가니

대충 300~600배 정도의 에너지 소모량 차이가 있는 것 같습니다.

결론적으로 차차세대 반도체로 인간 뉴런에 가장 가깝게 모방한다는 바이오닉 뉴로모픽 칩 같은게 나와서 쫙 깔려야 경제적으로 이야기가 될 수 있을지도 모르겠네요.

현재의 칩 구조는 CMOS 구조를 근간으로 하고 있어서 전기저항에 의한 열손실이 있어야 동작하기 때문에

발열 손실 즉 대량의 에너지가 열로 변해서 허공으로 허무하게 날아가고 있는지라....

결론은 진짜 빈부격차와 지능활용격차가 이대로 쫙 벌어지는 사회가 되려나 걱정이 됩니다.