​https://medium.com/@mingchikuo/how-apple-defines-on-device-ai-and-future-trends-from-the-perspective-of-analyzing-supported-002efd264938​

아이폰15는 A16칩을 탑재하고 있기에 Apple Intelligence를 지원할 수 없지만 M1이 장착된 모델은 이를 지원할 수 있습니다. 따라서 현재 Apple Intelligence의 온디바이스 모델을 지원하기 위한 핵심은 컴퓨팅 파워(TOPS)가 아닌 DRAM의 사양이라는 결론을 내릴 수 있습니다.

M1의 AI 컴퓨팅 파워는 약 11 TOPS로 A16의 17 TOPS보다 낮습니다. A16은 6GB의 DRAM을 가지고 있으며 이는 M1의 8GB보다 적습니다. 따라서 현재 Apple Intelligence의 온디바이스 AI LLM에는 약 2GB 이하의 DRAM이 필요합니다.

DRAM에 대한 수요는 다른 방법으로도 확인할 수 있습니다. Apple Intelligence는 온디바이스 3B LLM을 사용하며(이는 M1의 NPU/ANE가 FP16을 잘 지원하므로 FP16이어야 합니다) 압축 후(혼합된 2비트 및 4비트 구성 사용) 약 0.7-1.5GB의 DRAM을 항상 예약하여 Apple Intelligence 온디바이스 LLM을 실행할 수 있습니다.

위의 분석을 통하여 다음과 같은 추가적인 생각과 결론을 도출할 수 있었습니다.

1. 기존의 온디바이스 애플리케이션에 AI를 향상시키려면 최소한 온디바이스 3B LLM을 배포해야 하며 이를 기반으로 DRAM의 사양은 압축 방식에 따라 결정됩니다.

2. 마이크로소프트는 AI PC의 핵심 사양으로 40 TOPS의 컴퓨팅 파워를 중요시합니다. 그러나 애플의 경우 클라우드 AI(프라이빗 클라우드 컴퓨팅)와 통합하여 온디바이스 11 TOPS의 컴퓨팅 파워만으로도 온디바이스 AI 애플리케이션을 제공하기에 충분합니다.

3. 소비자들은 마이크로소프트의 AI PC를 구매할 때 40 TOPS를 충족하는지 계산해야 하므로 혼란을 느낄 수 있지만, 애플은 소비자에게 직접적으로 어떤 모델이 Apple Intelligence를 지원하는지를 알려줍니다. 온디바이스 AI 애플리케이션이 소비자의 요구를 충족하는지의 여부와 관계없이 애플은 시작부터 명확한 판매 우위를 가지고 있습니다.

4. 앞으로 Apple Intelligence의 온디바이스 AI는 업그레이드될 것이 확실하며 이는 더 큰 DRAM을 필요로 하는 7B LLM으로 발전할 가능성이 높습니다. 애플이 이 전략을 통해 고급 모델과 저가 모델을 차별화하게 될 지 지켜볼 만 합니다.

5. 사용자 경험이 애플의 주장만큼 좋은지는 아직 관찰이 필요합니다(예를 들어 구글의 Gemini는 프로모션에서 과장된 주장을 한 적이 있습니다).

6. 삼성 S24의 AI 기능은 제한적이고, 마이크로소프트의 AI PC는 여전히 소비자들을 혼란스럽게 합니다. 애플은 온디바이스 AI를 성공적으로 정의했으며(적어도 소비자들은 이미 애플의 AI 장치가 제공하는 풍부한 AI 기능과 판매 포인트를 알고 있습니다) 이는 경쟁자들의 모방과 추격을 가속화시켜 온디바이스 AI 관련 산업의 빠른 성장을 촉진할 것입니다.