요즘 기술 발전 속도가 워낙 빨라 예측하기 조심스럽지만, 얼마 전 AI 스타트업을 운영하는 친구한테 우연히 사업에 대한 이야기를 들어는데...

챗GPT 초기(3~4년 전)부터 사업을 시작한 친구인데, 최근에는 사업 지속 조건으로 지분 매각 및 투자도 유치하면서 외부에서 장래성도 꽤 인정받은 모양이더라고요. 초창기엔 수익 없이 비용만 나가다가, 요즘은 월 AI API 사용료 2천만 원에 매출 5천만 원 정도로 이제 겨우 운영 비용을 커버하는 수준이라고 합니다.

사업 모델은 쉽게 말해 '클라우드 AI를 활용해 특정 분야의 아웃풋을 극대화하는 형태'입니다. 예컨대 사용자가 개떡 같은 주제와 소재를 던져줘도, 정말 팔릴 만한 고품질 소설을 써주는 식이죠.

그 친구가 현업에서 내린 결론이 흥미롭습니다.

1. 현재 기준 자체 서버 AI는 무용지물이다: 대형 클라우드 AI(제미나이, 챗GPT 등)를 절대 못 따라간다고 합니다. 본인도 엔비디아 카드 10장(약 60억 규모)을 들여 꽤 오랜 기간 자체 모델을 돌려봤는데 대형 클라우드AI에 한참 못 미쳤다고 하네요. 결국 비용을 내더라도 빅테크의 LLM을 쓰는 게 답이라는 결론입니다. 물론 기업에서는 보안 문제 등 이슈가 있겠지만, 성능만봐서는 자체 서버 AI는 안된다가 결론이라고 하더라구요. 그리고 대기업등에서 자체 사용 AI 만든다고하면 돈만 버리는구나... 라고 생각한다고 합니다.

2. 상황에 맞춰 AI를 실시간으로 스위칭한다: 챗GPT, 제미나이, 클로드 등 대형 AI마다 특장점이 다르고, 그 기술 우위도 계속 바뀐다고 합니다. 그래서 본인 서비스 앱 내에서도 유저의 질문 특성에 맞춰 API를 계속 스위칭해 주는 방식으로 운영 중이랍니다.

이 이야기를 듣고 나니 문득 '온디바이스 AI가 과연 성공할 수 있을까?' 하는 의문이 들었습니다.

이미 대중의 눈높이는 실시간으로 진화하는 괴물 같은 클라우드 AI(챗GPT, 클로드 등)에 맞춰져 있는데, 기기 내부에서만 돌아가는 가벼운 온디바이스 AI의 결과물에 소비자들이 만족할 수 있을까요?

물론 온디바이스와 클라우드가 연동되는 하이브리드 형태나 아예 다른 틈새 영역이 나오겠지만, '성능의 격차'를 생각하면 온디바이스 AI의 독자적인 효용성에 대해서는 의문이 남네요.