요약하자면 구형 DDR4 메모리를 CXL로 연결하여서 자주 쓰는 데이터는 시스템 메모리인 DDR5나 HBM 같은곳에 저장하고 자주 사용하지 않는 데이터는 Vistara 라는 자체 개발한 ASIC를 이용하여 CXL로 그 하단에 연결하여 사용한다고 합니다

메모리 사용 다층화의 한 방식인데 이것으로 구형 메모리 재활용으로 비용도 아끼고 캐시메모리처럼 작동하여 성능도 꽤 향상했다고 하는데요

특히나 고속의 메모리가 문제가 아니라 대용량의 메모리가 필요한 부분에서 이득이 많은가 봅니다

아래 쳇GPT로 영상 요약 및 외부 자료 검색으로 부족한 부분 첨부 요약입니다

해당 영상의 핵심은 "AI 시대의 DRAM 부족 문제를 해결하기 위해 Meta가 폐기될 DDR4 메모리를 신형 AI 서버에서 다시 사용하는 방법"입니다. 영상은 이 기술의 배경과 개념을 설명하는데, 최근 공개된 Meta의 연구 논문과 기술 자료를 참고하면 몇 가지 중요한 부분이 추가로 이해됩니다. (TechRadar)

영상 내용 요약

1. AI 시대에는 GPU보다 DRAM도 부족하다

AI 서버는 GPU뿐 아니라 대용량 메모리가 반드시 필요합니다.

예를 들어

• 대형 LLM

• 추천 알고리즘

• Facebook/Instagram 피드

• AI 추론(Inference)

같은 서비스는 GPU 계산보다도 메모리 용량 때문에 서버가 부족한 경우가 많습니다.

최근에는

• HBM

• DDR5

수요가 폭발하면서 DRAM 가격이 크게 상승했고 공급도 부족한 상태입니다. (TechRadar)

2. 그런데 오래된 서버의 DDR4는 아직 멀쩡하다

Meta가 조사한 결과

• 서버 수명 : 약 3~5년

• DDR4 메모리 수명 : 7~10년

즉

CPU는 교체해야 하지만

메모리는 아직 충분히 사용할 수 있습니다.

기존에는

서버 폐기 → DDR4도 함께 폐기

되는 경우가 많았습니다.

Meta는

"왜 멀쩡한 DRAM을 버리지?"

라는 생각에서 프로젝트를 시작했습니다. (theregister)

3. 하지만 신형 서버는 DDR5만 지원한다

여기서 가장 큰 문제가 생깁니다.

예를 들어

AMD EPYC Turin

같은 최신 CPU는

DDR5만 지원합니다.

따라서

기존 DDR4 RDIMM을 꽂을 방법이 없습니다.

영상에서는 여기서 CXL이 등장합니다.

Meta의 해결책 (영상보다 자세한 내용)

영상에서는 CXL을 이용한다고만 설명하지만 실제 구조는 조금 더 복잡합니다.

Meta는 Vistara라는 자체 ASIC을 개발했습니다.

구조는 다음과 같습니다.

CPU
 │
DDR5 (기본 메모리)
 │
PCIe 5.0
 │
CXL
 │
Vistara ASIC
 │
DDR4 RDIMM

즉

DDR4를 CPU에 직접 연결하는 것이 아니라

CXL 메모리 확장 장치처럼 사용하는 것입니다. (Tom's Hardware)

Vistara ASIC은 무엇인가?

이 부분은 영상에서 거의 설명되지 않지만 핵심입니다.

Vistara는

일종의

"DDR4 ↔ CXL 변환기"

입니다.

기능은

• DDR4 제어

• CXL 프로토콜 처리

• ECC 오류 수정

• 메모리 관리

• 지연시간 최소화

등을 수행합니다.

내부에는

• RISC-V 코어

• ECC

• 저지연 메모리 컨트롤러

등이 들어갑니다. (Tom's Hardware)

그럼 DDR4가 느려서 성능이 떨어지지 않나?

이게 가장 중요한 부분입니다.

DDR5

↓

자주 접근하는 데이터

DDR4(CXL)

↓

거의 접근하지 않는 데이터

이렇게 계층화합니다.

Meta는 이를 위해 Transparent Page Placement(TPP)라는 소프트웨어를 개발했습니다.

TPP는

운영 중인 프로그램을 분석하여

• 어떤 메모리를 자주 사용하는지

• 어떤 메모리는 거의 사용하지 않는지

를 실시간으로 판단합니다.

그리고

DDR4로 보내도 되는 데이터만 이동시킵니다.

덕분에

CPU가 느린 메모리를 사용하는 횟수를 최소화합니다. (TechRadar)

모든 프로그램이 사용하는 것은 아니다

영상에서는 조금 단순하게 설명하지만

실제로는

메타의 소프트웨어가

"이 프로그램은 CXL 메모리를 사용해도 된다."

라고 판단한 경우에만 사용합니다.

반대로

• 초저지연 서비스

• 메모리 지연에 민감한 프로그램

은

CXL 메모리를 사용하지 않습니다. (TechRadar)

성과

Meta가 공개한 자료에 따르면

머신러닝 추론

메모리가 늘어나면서

최대 25% 적은 서버

로 동일한 서비스를 운영할 수 있었습니다.

즉

100대 필요했던 것을

약 75대로 줄일 수 있었다는 의미입니다.

Distributed Cache

캐시 용량이 증가하면서

평균 지연시간이

약 29% 감소했습니다.

이는 메모리 속도 자체는 느려졌지만, 더 많은 데이터를 메모리에 유지할 수 있어 SSD나 원격 저장소 접근이 줄어든 결과입니다. (TechRadar)

왜 이렇게 효과가 큰가?

영상에서는 "메모리가 늘었다"고만 설명하지만, 실제 핵심은 용량이 성능을 이기는 경우가 많다는 점입니다.

예를 들어

메모리가 부족하면

SSD 접근
↓

수백 μs

반면

CXL DDR4는

수백 ns

수준입니다.

비록 DDR5보다는 느리지만

SSD보다 훨씬 빠르므로

전체 성능은 오히려 좋아질 수 있습니다.

Meta가 이전부터 준비했던 기술

이번 기술은 갑자기 나온 것이 아닙니다.

Meta는 오래전부터

• 메모리 오프로딩(TMO)

• SSD를 이용한 메모리 절감

• 메모리 디스어그리게이션(Disaggregation)

등을 연구해 왔으며, 이번 Vistara는 이러한 연구의 연장선에 있습니다. 특히 TMO는 이미 수년 전부터 운영 환경에서 서버당 메모리 사용량을 2032% 절감한 바 있습니다. (Engineering at Meta)

정리

이번 Meta의 DRAM 재활용 전략은 단순히 "오래된 메모리를 다시 쓴다"는 수준이 아니라,

• DDR4의 잔존 수명(710년)을 최대한 활용해 전자폐기물을 줄이고,

• CXL 2.0 기반 Vistara ASIC으로 구형 DDR4를 최신 DDR5 서버에 연결하며,

• TPP 소프트웨어가 느린 메모리로 옮겨도 되는 데이터만 자동으로 배치해 성능 저하를 최소화하고,

• AI 추론과 캐시처럼 용량이 중요한 워크로드에서는 최대 25%의 서버 절감과 약 29%의 지연시간 개선을 달성한 것이 핵심입니다. (TechRadar)

이 접근은 단순한 비용 절감이 아니라, AI 시대의 DRAM 공급 부족과 높은 가격 문제를 완화하면서 기존 자산을 최대한 활용하는 대규모 데이터센터용 메모리 계층화(Hierarchical Memory) 전략의 대표적인 사례로 평가받고 있습니다.