Deepseek 관련 구현 내용 정리
페이지 정보
KROMe
본문
Deepseek 관련 내용 정리
Dropbox의 AI 부사장 Morgan Brown
1/ 먼저 배경부터 설명하겠습니다. 현재 최첨단 AI 모델을 훈련시키는 비용은 엄청나게 비쌉니다.
OpenAI, Anthropic 같은 회사들은 계산에만 1억 달러 이상을 쓰며, $4만짜리 GPU 수천 대가 필요한 대규모 데이터 센터를 운영합니다. 마치 공장을 운영하기 위해 발전소 전체가 필요한 상황과 같습니다.
2/ 그런데 DeepSeek이 나타나서 이렇게 말했습니다.
“LOL, 우리라면 이걸 500만 달러로 할 수 있을걸?”
그리고 말로만 한 것이 아니라 실제로 해냈습니다.
그들의 모델은 GPT-4와 Claude를 많은 작업에서 능가하거나 대등합니다. AI 업계는 (요즘 10대들이 말하듯) ‘충격’을 받았습니다.
3/ 어떻게 가능했을까요?
그들은 모든 것을 처음부터 다시 생각했습니다.
전통적인 AI는 마치 모든 숫자를 소수점 32자리까지 기록하는 것과 같습니다.
DeepSeek은 “8자리로만 기록하면 어떨까? 충분히 정확하잖아!”라고 접근했고, 결과적으로 메모리 사용량이 75% 감소했습니다.
4/ 그리고 그들의 “멀티 토큰” 시스템도 주목할 만합니다.
일반적인 AI는 초등학생이 읽듯이 “The… cat… sat…”처럼 읽습니다.
반면, DeepSeek은 문장 전체를 한 번에 읽습니다. 결과적으로 2배 더 빠르고 90% 수준의 정확도를 자랑합니다.
수십억 개의 단어를 처리할 때, 이런 효율성은 매우 중요합니다.
5/ 하지만 진짜 기발한 점은 “전문가 시스템”을 구축했다는 것입니다.
한 거대한 AI가 모든 것을 다 알도록 만드는 대신(예: 한 사람이 의사, 변호사, 엔지니어 역할을 모두 하는 것처럼), DeepSeek은 필요한 경우에만 전문가들을 호출하도록 설계했습니다.
6/ 기존 모델은 1.8조 개의 파라미터가 항상 활성화되어야 합니다.
DeepSeek은 6710억 개의 파라미터 중 단지 370억 개만 활성화됩니다.
마치 큰 팀을 운영하되 필요한 전문가만 호출하는 것과 같습니다.
7/ 결과는 놀랍습니다:
• 훈련 비용: 1억 달러 → 500만 달러
• 필요한 GPU 수: 100,000대 → 2,000대
• API 비용: 95% 절감
• 데이터 센터 하드웨어 대신 게이밍 GPU에서도 실행 가능
8/ “그런데,” 누군가 말할 수 있습니다. “분명 단점이 있겠지!”
놀라운 점은, 모든 것이 오픈 소스라는 것입니다.
누구나 그들의 작업을 검증할 수 있습니다. 코드는 공개되어 있고, 기술 논문은 모든 과정을 설명합니다.
마법이 아니라, 단순히 매우 영리한 엔지니어링입니다.
9/ 왜 중요한가요?
이로 인해 “대형 기술 기업만이 AI를 다룰 수 있다”는 기존의 모델이 깨졌습니다.
이제 수십억 달러 규모의 데이터 센터가 필요하지 않습니다.
좋은 GPU 몇 대만 있으면 됩니다.
10/ Nvidia에게는 두려운 이야기입니다.
그들의 비즈니스 모델은 초고가 GPU를 90% 마진으로 판매하는 데 기반을 두고 있습니다.
하지만 모두가 일반 게이밍 GPU로 AI를 돌릴 수 있게 된다면… 문제는 명확합니다.
11/ 그리고 중요한 점은 DeepSeek이 이를 200명 이하의 팀으로 해냈다는 것입니다.
한편 Meta의 팀은 DeepSeek 전체 훈련 예산보다 더 많은 연봉을 받으며 작업을 하고 있지만, 그들의 모델은 DeepSeek만큼 좋지 않습니다.
12/ 이는 전형적인 파괴적 혁신의 이야기입니다.
기존 기업들은 기존 프로세스를 최적화하는 데 초점을 맞추는 반면, 파괴적인 혁신 기업들은 근본적인 접근 방식을 다시 생각합니다.
DeepSeek은 “더 많은 하드웨어를 투입하기보다 더 똑똑하게 접근하면 어떨까?”라고 물었습니다.
13/ 그 영향은 큽니다:
• AI 개발이 더 접근 가능해짐
• 경쟁이 급격히 증가
• 대형 기술 기업들의 “진입 장벽”이 작은 웅덩이처럼 보임
• 하드웨어 요구 사항(및 비용)이 급감
14/ 물론, OpenAI와 Anthropic 같은 대기업들이 가만히 있지는 않을 것입니다.
그들은 아마도 이미 이러한 혁신을 구현하고 있을 것입니다.
그러나 효율성의 램프는 이제 병 밖으로 나왔으며, “더 많은 GPU를 투입하자”라는 접근 방식으로 돌아갈 수는 없습니다.
15/ 마지막 생각:
이 순간은 우리가 나중에 변곡점으로 기억할 가능성이 높습니다.
마치 PC가 메인프레임을 덜 중요하게 만들거나, 클라우드 컴퓨팅이 모든 것을 바꿨던 것처럼요.
AI는 더 접근 가능하고, 훨씬 저렴해질 것입니다.
이 변화가 현재 플레이어들에게 어떤 영향을 미칠지는 속도의 문제일 뿐입니다.
네모선장님의 댓글
네모선장
이전에는 거의 불가능하다 생각하긴 했거든요
ChaeAlex님의 댓글
ChaeAlex
엔비디아의 전성기는 정말 짧아질 수 있겠네요
qwer님의 댓글
qwer
뭔가 부족해야 그 부족함을 메우기 위해 전혀 다른 방향도 생각하고 그런 것 같습니다.
만약 중국이 여타 서방국가들 같이 풍족하게 최신 엔비디아 칩을 사용할 수 있었다면, 이런 혁신이 가능했을까 하는 의문이 남습니다. 이런 면에서 최신 엔비디아 칩의 중국 수출을 막은 미국이 혁신을 이끌어 냈네요. 아이러니합니다.
에피네프린님의 댓글의 댓글
오늘 저 글이 온갖 커뮤니티에 돌던데
핵심은 빠져있는 맹탕이라...
rustacean님의 댓글
rustacean
일리케님의 댓글
일리케
검증된 정보만 있는 사이트나 논문들을 모조리 모아서 학습시키고 내가 원하는 정보를 질문 했을때 답해줄수 있는 것을 만들고ㅠ싶은데 딥스프크의 모델을 이용해서 그런것도 할수 있으면 좋겠네요.
그냥 혼자만 가지고 이용할수 있는 ㅋㅋㅋ
google_9e47xxxx님의 댓글
google_9e47xxxx
말을 다 믿을수 있을런지가... ?
저는 100% 다 못 믿겠어요.
이걸로 미국이 한방 먹었지만
미국도 그냥 있지만 않겠지요
대응이 ?? 하네요.
ps. 오늘은 n & t 사 주식은 떡락 할지 ?
조팔모님의 댓글
조팔모
고객사 현장에서 3090으로 돌리려니 부담이 너무 큽니다...
길벗님의 댓글
길벗
거대 시스템이 아니면 생성형 AI 를 만들지 못할거다 라는 생각에서
벗어나게 되었네요.
세계 각국, 소규모 단체에서도 '우리도 할 수 있다'라는 자신감을 주게 되었습니다.
대왕마마님님의 댓글