모바일 기기에서도 램을 더 넣는대신 플래쉬 메모리를 램으로 쓰면 되지! 를 완성하고 있군요.

무슨 이야기인가 하면.. LLM in a Flash 기술입니다.

아이폰에 대형 LLM 모델을 램이 아닌 플래시 메모리에 탑재하는 것입니다.

I just ran Qwen3.5 35B on my iPhone at 5.6 tok/sec.

Fully on-device.

4bit | 256 experts.

Model: 19.5GB.

iPhone: 12GB RAM.

물론 위 토큰 속도가 쓸만한 속도는 아닙니다. 꽤 답답해요.

어찌되었든 있는 저장장치 쥐어짜기는 애플이 제일 잘 하는거 같아요.

제미나이에게 LLM in a Flash에 관하여 더 물어보았습니다.

'LLM in a Flash'는 2023년 말 애플(Apple) 연구진이 발표한 논문으로, DRAM(메모리) 용량이 부족한 기기(아이폰, 아이패드 등)에서 거대언어모델을 효율적으로 실행하기 위한 기술입니다.

쉽게 말해, 모델의 전체 무게(파라미터)를 메모리에 다 올릴 수 없을 때, 플래시 메모리(저장장치)에 저장해두고 필요한 부분만 빛의 속도로 가져다 쓰는 전략입니다. 핵심 기술은 크게 두 가지입니다.

1. 윈도우잉 (Windowing)

모델은 대화를 할 때 직전에 했던 말(문맥)을 기억해야 합니다. 하지만 모든 데이터를 매번 불러오면 너무 느려지죠.

• 전략: 최근에 사용했던 데이터(뉴런의 활성화 정보)를 DRAM에 유지하고, 바뀌지 않는 과거의 데이터는 다시 불러오지 않고 재사용합니다.

• 효과: 플래시 메모리에서 데이터를 읽어오는 횟수를 획기적으로 줄여줍니다.

2. 행 희소성 활용 (Sparse Upcycling & Bundling)

LLM의 연산 과정에서 모든 데이터가 항상 쓰이는 것은 아닙니다. 특정 질문에는 특정 '뉴런'들만 강하게 반응하는데 이를 희소성(Sparsity)이라고 합니다.

• 전략: 다음에 어떤 데이터가 필요할지 미리 예측하여, 필요한 데이터 덩어리(번들)만 플래시 메모리에서 읽어옵니다.

• 효과: 한 번에 큰 덩어리로 읽어오기 때문에 플래시 메모리의 읽기 속도를 극대화(처리량 최적화)할 수 있습니다.

핵심 성과: 왜 중요한가요?

일반적인 방식으로는 메모리가 부족하면 시스템이 멈추거나 엄청나게 느려지지만, 이 기술을 적용하면 다음과 같은 변화가 생깁니다.

요약하자면

이 기술 덕분에 "내 폰은 램(RAM)이 8GB밖에 안 되는데 10GB짜리 AI 모델을 돌릴 수 있을까?"라는 질문에 "네, 플래시 메모리를 스마트하게 활용하면 가능합니다"라고 답할 수 있게 된 것입니다.