bfloat16 (brain floating point) 였습니다.

뇌 부동소수점!

생각없이 쓰다가 찾아보고.. 역시 구글이 구글다운 네이밍을 했구나 했습니다.

그리고 왜 정밀도가 제일 낮은 FP4가 차세대 포맷이 되었는지 ChatGPT와 제미나이에게 물어보았습니다.

아시겠지만 블랙웰 부터 FP4를 하드웨어 수준에서 지원합니다. 그 이전 세대들은 경험할 수 없어요 ㅠㅠ

앞으로는 FP4 모델들이 많아질테니 그렇구나~ 알아보아요

ChatGPT 답변

FP4가 주목받는 주요 이유

1️⃣ 초대형 모델 시대 → 메모리와 전력 한계

• LLM(대규모 언어 모델), 비디오 모델, 멀티모달 모델이 수백억~수조 파라미터 규모로 커짐

• 기존 FP16/FP32는 메모리와 전력 소비가 매우 큼

• FP4는 파라미터 메모리를 FP16 대비 4배 절약

결과: 한 서버(또는 GPU)에서 더 큰 모델 실행 가능

결과:

• 연산량 감소 → 처리 속도 증가

• 데이터 이동(메모리↔연산장치) 비용 감소

3️⃣ 품질 유지 기술이 발전했기 때문

과거엔 “비트 줄이면 화질·정확도 ↓” 였지만 이제는:

• 양자화(quantization) 알고리즘 개선

• QLoRA, SmoothQuant, AWQ, GPTQ 등 등장

• NVIDIA TensorRT-LLM / FP8 Transformer Core / Blackwell FP4 엔진

즉, FP4로 줄여도 품질 손실이 거의 없음.

NVIDIA Blackwell GPU는 FP4 연산을 하드웨어 레벨에서 지원

4️⃣ 추론(Inference) 비용 혁신

운영 비용(추론 비용)이 AI 경쟁 핵심이 되면서:

• 데이터센터 비용 절감

• 전기 사용량 감소

• 모바일·엣지 AI 가능

동일한 AI 서비스를 절반 비용 이하로 가능

제미나이 답변

FP4와 같은 초저정밀도(ultra-low precision) 포맷이 중요해진 이유는 AI, 특히 거대 언어 모델(LLM)의 폭발적인 성장 때문입니다.

간단히 요약하면, **"성능(정확도)을 크게 해치지 않으면서 비용(메모리, 속도, 전력)을 획기적으로 줄일 수 있기 때문"**입니다.

주요 이유는 다음과 같습니다.

1. 🤯 메모리 절약 (모델 크기 및 대역폭)

• 모델 크기: 기존의 표준 정밀도인 FP32(32비트) 대신 FP4(4비트)를 사용하면, 모델 가중치(weights)를 저장하는 데 필요한 메모리가 1/8로 줄어듭니다.

• VRAM 한계 극복: 수십억, 수천억 개의 파라미터를 가진 LLM은 VRAM이 매우 큰 비싼 GPU에서만 실행할 수 있었습니다. FP4를 사용하면 16GB VRAM을 가진 소비자용 GPU에서도 훨씬 더 큰 모델을 실행(추론)할 수 있게 됩니다.

• 메모리 대역폭: AI 연산은 종종 계산 속도(FLOPS)보다 메모리 대역폭(Memory Bandwidth), 즉 메모리에서 연산 유닛으로 데이터를 얼마나 빨리 가져오느냐에 의해 속도가 제한됩니다. 데이터 크기가 1/8이 되면, 같은 시간에 8배 더 많은 가중치를 가져올 수 있어 병목 현상이 크게 해소됩니다.

2. ⚡️ 연산 속도 향상 (처리량)

• 병렬 처리: 최신 AI 가속기(GPU, NPU 등)는 저정밀도 연산을 훨씬 더 많이 병렬로 처리할 수 있도록 설계되었습니다. 4비트 연산 유닛은 32비트 연산 유닛보다 훨씬 작고 단순합니다.

• 더 높은 TOPS: 같은 실리콘 면적에 더 많은 4비트 연산 코어를 집적할 수 있어, 초당 처리할 수 있는 연산(TOPS, Tera-Operations Per Second)이 기하급수적으로 늘어납니다. 이는 곧 AI 추론(Inference) 속도의 직접적인 향상으로 이어집니다.

3. 💡 전력 효율성 (비용 절감)

• 단순한 연산: 4비트 연산은 32비트 연산보다 훨씬 적은 전력을 소모합니다.

• 데이터 이동 감소: 메모리에서 데이터를 읽고 쓰는 과정은 매우 전력 소모가 큽니다. 데이터 크기가 1/8로 줄면 이 과정에서 소모되는 전력도 크게 줄어듭니다.

• 운영 비용: 데이터 센터 규모에서 이는 막대한 전기 요금 절감과 탄소 배출 감소로 이어집니다. 또한 스마트폰이나 엣지 디바이스에서는 배터리 수명을 늘리는 데 결정적인 역할을 합니다.

그렇다면 정확도는 괜찮을까? (양자화)

FP4가 중요해진 가장 근본적인 배경에는 **"AI 모델은 생각보다 정밀도 손실에 강하다"**는 발견이 있습니다.

• 모델의 견고함(Robustness): 거대 모델은 수십억 개의 파라미터를 가지고 있어, 개별 파라미터의 정밀도가 약간 낮아져도 전체적인 모델의 성능(예측 능력)에는 큰 영향을 미치지 않는 경향이 있습니다.

• 양자화(Quantization) 기술: 단순히 32비트를 4비트로 "자르는" 것이 아니라, 양자화라는 정교한 기술을 사용합니다.

• 작동 방식: 모델의 가중치 값들이 주로 어떤 범위에 분포하는지 파악한 뒤, 그 범위를 4비트(16단계)로 가장 잘 표현할 수 있도록 '매핑(mapping)'합니다.

• QLoRA: FP4가 대중화된 결정적인 계기 중 하나는 QLoRA 같은 기술입니다. 이는 4비트로 양자화된 모델을 이용해 **학습(미세조정)**까지 효율적으로 수행할 수 있게 만들어, 모델 개발 속도와 비용을 획기적으로 낮췄습니다.

결론적으로 FP4는 AI 모델을 더 작고, 더 빠르고, 더 저렴하게 만들면서도 실용적인 성능을 유지할 수 있게 해주는 핵심 기술로 자리 잡았습니다.

아직 흔하지 않지만 LLM이나 이미지 확산 모델에서도 FP4 모델들이 나오고 있습니다.