이전에 올렸던 LLM in a Flash와 연관 된 뜨끈뜨끈한 새소식입니다.

Flash-MoE는 MacBook에서 397B AI 모델을 초당 5.5 토큰의 속도로 실행합니다.

새로운 오픈 소스 엔진이 48GB 맥북 프로의 SSD에서 3,970억 개의 매개변수를 가진 AI 모델을 스트리밍 방식으로 처리하는데, 이때 RAM은 단 5.5GB만 사용합니다. 작동 원리는 다음과 같습니다.

한 개발자가 클라우드 없이 노트북에서 최대 규모의 오픈 소스 AI 모델 중 하나를 실행할 수 있음을 입증했습니다. Flash-MoE 는 48GB RAM이 장착된 MacBook Pro에서 Qwen3.5-397B (3,970억 개의 매개변수를 가진 모델) 를 실행하는 맞춤형 추론 엔진으로 , 단 5.5GB의 메모리 만 사용하면서 초당 5.5개의 토큰을 처리합니다 .

209GB 모델 전체는 수동으로 최적화된 Metal 컴퓨팅 파이프라인을 통해 노트북의 SSD에서 직접 스트리밍됩니다. 파이썬이나 프레임워크는 전혀 사용하지 않고, 순수 C, Objective-C 및 Apple의 Metal GPU 셰이더만 사용합니다.

209GB 모델에 5.5GB RAM을 탑재하는 방법

이 기술의 핵심은 전문가 혼합(Mixture-of-Experts , MoE) 모델의 작동 방식에 있습니다. MoE를 128명의 전문가가 있는 회사라고 생각해 보세요. 특정 질문에 대해서는 그중 4명만 답변하면 됩니다. Flash-MoE는 바로 이 점을 활용합니다. 128개의 "전문가" 모듈을 모두 메모리에 로드하는 대신, 필요한 4개의 모듈만 SSD에서 실시간으로 스트리밍하여 사용합니다.

애플의 M3 Max SSD는 17.5GB/s 의 읽기 속도를 자랑하며, 이는 4개의 전문가(각각 약 3.9MB)를 로드하는 데 1밀리초도 채 걸리지 않을 만큼 빠른 속도입니다. 모델의 비전문가 부분(어떤 전문가를 호출할지 결정하는 "라우팅" 로직)은 메모리에 상시 저장되며, 단 5.5GB의 용량만 차지합니다.

성능 요약

2비트 전문가: 초당 5.55 토큰 (디스크 용량 120GB) - 속도와 품질의 최적 균형
4비트 전문가 (캐시 활성화): 초당 4.80 토큰 (디스크 용량 209GB)
최대 단일 토큰 처리량: 초당 7.05 토큰
사용 RAM: 총 6~9GB, 다른 작업에 사용할 수 있는 여유 공간 39GB

24시간 만에 90가지 실험 완료 — Claude로 제작

개발자 댄 우즈는 클로드 코드(Claude Code)를 사용하여 "자동 연구 패턴"이라고 부르는 방식을 적용했습니다. 이 패턴에 따라 클로드는 90가지 최적화 실험을 자동으로 실행하여 각 단계에서 고도로 최적화된 MLX Objective-C 및 Metal 코드를 생성했습니다. 전체 엔진(약 5,000줄의 C/Objective-C 코드와 1,100줄의 Metal GPU 셰이더)은 24시간 만 에 구축되었습니다 .

주요 혁신 기술로는 2비트 양자화 (전문가 가중치를 표준 4비트의 절반 크기로 압축하면서 품질 손실은 거의 없음), 전문가를 비동기적으로 처리하는 지연 GPU 컴퓨팅, 운영 체제의 파일 캐시를 우회하여 메모리 과부하를 방지하는 직접 I/O 등이 있습니다.

(맥북에 48GB 이상의 저장 용량이 있다면) 직접 시도해 보세요.

# Clone and build
git clone https://github.com/danveloper/flash-moe
cd flash-moe/metal_infer
make

Run in 2-bit mode (fastest, 120GB disk)
./infer --prompt "Explain quantum computing" --tokens 100 --2bit
Interactive chat
./chat --2bit

요구 사항: Apple M3 Max (또는 유사) 프로세서가 탑재된 MacBook Pro, 48GB 통합 메모리, 1TB SSD, macOS 26.2 이상. 모델 가중치도 필요하며, 저장소에 추출 스크립트가 포함되어 있습니다.

이것이 벤치마크 그 이상으로 중요한 이유

397B 모델을 로컬에서 실행하면 API 비용이 전혀 들지 않고, 개인 정보 보호가 완벽하며, 인터넷 연결도 필요하지 않습니다 . 지금까지 이처럼 큰 모델을 실행하려면 시간당 수백 달러에 달하는 클라우드 GPU 클러스터가 필요했습니다. Flash-MoE는 Apple Silicon의 빠른 SSD와 통합 메모리 아키텍처가 값비싼 GPU VRAM을 대체할 수 있음을 입증했습니다. 적어도 MoE 모델의 경우에는 말입니다.

이 기술은 애플의 2023년 연구 논문 "LLM in a Flash"를 기반으로 하지만, 실제로 소비자용 하드웨어에서 사용 가능한 속도를 제공하는 최초의 오픈 소스 구현입니다. 90개 이상의 모든 실험이 포함된 전체 기술 논문이 저장소에 포함되어 있습니다.

클라우드 AI 사용량 제한과 비용에 불만을 가진 사람들에게, 이는 가장 큰 규모의 모델들이 바로 눈앞에 있는 컴퓨터에서 실행되는 미래를 엿볼 수 있는 기회입니다.

https://aiforautomation.io/news/2026-03-19-flash-moe-run-397b-ai-model-macbook-48gb-ram

당분간 애플계 뜨거운 감자는 Flash-MoE 포크 겠군요