달짝지근 (58.♡.79.60)
2026년 5월 4일 AM 07:33
AI 발전 방향과 그들이 시장에서 매입하고 있는 장비 같은 것들의 뉴스를 보면서 드는 생각인데
조단위로 매입한 일반 메모리, HBM도 아니고 소매용 PC나 서버에 들어갈 메모리를 거액으로 주고 샀는데.이걸 몇 년 쓰다가 장비 연령이 다 되어서 폐기할걸 생각해보니 너무 아까운겁니다
GPU는 신모델이 전기도 덜 먹고 성능도 더 좋아서 굳이 쓸 이유도 없지만 조금 느린 구형 메모리는 써먹을데가 없을까 싶더군요
아까 뉴스를 하나 봤는데 xAI의 GPU 가동율이 대충 20퍼 언더이고 구글이나 메타는 40 50 사이 언저리라고 하던데요
제가 간단히 이해했기론 초대형 서버를 빌드하다 보니 서버와 서버사이 초대역폭 전송에 한계가 있다고 들었습니다
지금의 nvlink나 광통신의 방법으로도 이것을 충족시키지 못하고 병목이 있는 것이죠
구글이나 메타는 최적화를 잘 했는지 40-50 사이 까지 끌어올렸다지만 여전히 서버간 데이터 병목이 너무 커 보입니다
엔비디아 뿐만 아니라 다른 빅테크들도 여기에 상당한 기술 개발을 하고 있음을 유추할수 있는 부분이죠
AGI 개발에 필요한 컴퓨팅 능력의 향상에서 아마 단기적으로 가장 중요한 부분이 아닐까 싶습니다
서론은 여기까지고요 지금 빅테크들이 AI서버용으로 구매하는 일반 D램들도 구매 가격이 너무 비싸고 물량도 많아서 차후 이걸 시장에 중고 매물로 내어놓는 것도 한계가 있을거라 봅니다
아마 같은 규격의 메모리를 다시 재활용 하는 방안으로 노력하겠지만
서버간 통신 기술이 매우 발전하게 된다면 CPU와 GPU가 사용할 외부 메모리 서버를 구상해서 HBF 같은 장비의 윗단으로 재활용가능하지 않을까? 싶더군요
뭐 지금은 어림도 없겠지만 이분야 발전이 너무 빨라서 말이죠
페타바이크 급으로 구매해놓은 디램을 기한 지났다고 내다 버리긴 아깝자나요? ㅋ
댓글 (15)
-
삶삶은다모앙
05.04 · 223.♡.80.19
- 달
달짝지근
→ 삶은다모앙 작성자 05.04 · 49.♡.149.207
딱 그거긴 합니다
지금으로 치면 철지난 DDR3 메모리 같은거 잔뜩 꽂아서 1T 정도의 캐시 저장소 정도로 활용하는 모습이랄까요?
-
매매일한가한
05.04 · 221.♡.127.159
이미.. 있는거 아닌가요?
- 달
달짝지근
→ 매일한가한 작성자 05.04 · 58.♡.79.60
재활용으로 만드는 방향을 생각해본겁니다 ^^
-
데데굴대굴
05.04 · 14.♡.236.142
스토리지가 메모리만큼 빨라지기 전까지... 아니 모든 매체가 CPU 급으로 빨라지기 전까지는 캐쉬로 쓰면 됩니다. 지금도 속도를 중요하게 보장해야하는 곳에서는 스토리지에 캐쉬 메모리가 들어가요.
그러니까 CPU-메모리-스토리지로 데이터가 액세스될 때, 실제로는 CPU-메모리-(캐쉬 메모리-SSD-HDD) 이런식으로 구성됩니다. CPU에 L1, L2 캐쉬 들어가는 것과 비슷한 구조인거죠.
요즘에는 캐쉬메모리 구성하는 비용보다 SSD 통짜 넣는게 더 싼 경우도 있지만... 아무튼 각 매체의 속도 차이라는게 존재하고 이 부분을 최적화하기 위해서 옛날 기술을 껴넣는 구성이 가능합니다. 다만 단계적 접근이므로 이로 인한 복잡도와 더 많은 공간 필요 및 더 많은 전력의 요구가 장벽입니다.
- 달
달짝지근
→ 데굴대굴 작성자 05.04 · 49.♡.149.207
맞습니다 CPU도 내부 S램이 캐시로 L1 L2 L3 각각 나누어져 있듯이 지금 AI 슈퍼컴퓨터도 병목을 줄이기 위해 기존에 활용하던 기술을 또다시 고도화해서 다시 적용중이라고 들었습니다
말씀하신대로 GPU에 거의 근접하게 메모리나 스토리지 속도가 발전하게 된다면 모르겠지만 이건 정말 갈 날이 멀어 보이거든요
신기술을 개발해야 가능한 부분인데 현재 인류의 과학 수준으로는 좀 기다려야 할 것으로 보입니다
그 전까지 AGI 완성을 위해서 빅테크들이 어떻게든 컴퓨팅 성능의 개선을 할려고 노력중인데 말씀대로 단계적 캐시 외에는 딱히 답이 없다고 하더군요
문제는 HDD나 SSD는 쓰다보면 수명의 한계가 오는데 디램은 생각보다 수명이 아주 길거든요..
현 빅테크가 수조 수십조 쏟아부어서 구매한 메모리를 분명 재활용할 방안을 찾을거라는 생각이 되었습니다
슈퍼컴퓨터 클라우드 내에서 단독으로 서버간 공유할 데이터의 중간 지점으로 활용할수 있을것 같은데
현재로선 좀 요원하고.. 위의 xAI의 사례에도 보듯이 테이터 전송 기술이 비약적으로 개선이 된다면 가능하지도 않을까? 라는 생각이 들더군요
-
고고소미
05.04 · 211.♡.72.156
이미 비슷한 개념으로 amd ai max 395+ 직접 연결된 dram을 vram으로 할당하고 썬더볼트4,5 or 오큘링크로 5090외부 그래픽카드 연결해서 모델 분할을 해서 쓰는 경우가 있습니다.
gddr램에서 바로 땡겨쓰는거보다는 엄청 느리지만 요즘 llm관련해서 가성비라고 불리고 있더라고요.
아주 나중엔 말씀하신대로 시스템 vram을 bios bus로 바로 나가는 썬더볼트로 연결하는 기술을 통해서 여러 연결된 머신의 vram을 공유해서 쓰는게 나오지 않을까....라는 생각도 해봤습니다만 썬더볼트4,5에 대한 발열이 어마무시할거같다라는 생각이 듭니다
- 달
달짝지근
→ 고소미 작성자 05.04 · 49.♡.149.207
네 지금도 구글이나 메타 xAI 같은 AI 슈퍼컴퓨터의 데이터 병목에서 큰 문제중 하나가 바로 서버간 데이터 전송시 발열이라고 합니다
AGI로 가는데 있어서 알고리즘 개선과 반도체 공정외의 잘 알려지지 않았지만 또 다른 문제라지요
- 고
고소미
→ 달짝지근 05.04 · 211.♡.72.156
행렬 확률에 의존한 지능모델이 AGI로 가려면 그만큼의 노이즈가 줄어든 더 큰 모델을 올리는게 현재로서는 유일한 해답이라고 생각하기 때문에 단순히 더 큰 메모리가 단일 system내에 있어야 한다는 거에 매우 동의합니다...
100G네트워크를 쓰더라도 cpu 인터럽트를 통해 -> pci로 나가는 과정이 있어서 결국 이 부분에 대한 병목이 생길거 같고 cpu 파이프라인으로 바로 나가는 썬더볼트가 그나마 유일한 방법인데, 썬더볼트는 케이블부터가 3m이상 만들기 어렵다는게 발목을 잡는게 가장 큰 문제 같고요.. 게다가 발열도 너무 심한데다가 100G네트워크보다는 레이턴시면에서는 훨씬 좋지만, tb5가 아직은 성능이 충분하지 않다는게 문제인듯 합니다.
그래서 새로운 기술이 나와야할거 같은데 아직 그 후보군이 안보이네요. 아무래도 발열이 필연적으로 생기는 전자를 이용한 현재의 반도체 구조로는 한계가 아닌가 싶기도 합니다....
- 달
달짝지근
→ 고소미 작성자 05.04 · 49.♡.149.207
빅테크에서 투자중인 분야에 분명히 있을거라고 생각하고 있습니다
미국 스타트업 기술 업체중에서 하나 나오면 주식을 사야겠죠 ^^
댓글을 작성하려면 이 필요합니다.
램디스크 끝판왕 등장하겎지요