3.5비트 2.5비트 더 모르겠는데.. 이제 1비트.. 1비트

이러다 0.5비트도 나오겠네요~ 그다음에 0혼비트

https://huggingface.co/prism-ml

https://huggingface.co/prism-ml/Bonsai-8B-gguf

https://huggingface.co/prism-ml/Bonsai-1.7B-mlx-1bit

1비트 분재 출시: 최초의 상업적으로 실현 가능한 1비트 LLM

2026년 3월 31일

•

프리즘ML

오늘, 우리는 사람들이 실제로 생활하고 일하는 기기에 고급 지능을 제공하는 1비트 Bonsai 모델을 발표합니다.

지난 10년 동안 AI는 명확한 궤적을 따라 발전해 왔습니다. 더 똑똑한 모델을 만들려면 모델의 크기를 키워야 한다는 것입니다. 더 많은 매개변수, 더 많은 GPU, 더 많은 처리 능력, 더 많은 메모리, 그리고 더 많은 비용이 필요했습니다. 이러한 접근 방식은 효과를 거두었습니다. 덕분에 우리는 긴 문맥 속에서 추론하고, 어려운 문제를 해결하며, 놀라운 품질의 소프트웨어, 연구 및 창작물을 생성할 수 있는 모델을 얻을 수 있었습니다.

하지만 이는 인공지능의 미래에 심각한 구조적 제약을 초래했습니다. 가장 뛰어난 인공지능이 거대한 클러스터와 특화된 인프라 안에 갇히게 된 것입니다. 그러나 인공지능의 가장 중요한 활용 사례들은 데이터 센터에만 국한되지 않습니다. 스마트폰, 노트북, 차량, 로봇, 보안이 강화된 기업 환경, 그리고 엣지 디바이스 등 다양한 곳에서 활용되고 있습니다.

인공지능(AI) 배치는 더 이상 필요한 곳과 일치하지 않습니다. 하지만 오늘, 상황이 바뀝니다.

새로운 나아갈 길: 지능의 집중

오늘, 우리는 가장 집약적인 형태의 지능을 구축하는 AI 연구소인 PrismML을 발표합니다 . 캘리포니아 공과대학(Caltech)에서 개발된 획기적인 연구를 기반으로 탄생한 PrismML은, AI의 다음 주요 도약은 단순히 매개변수 개수의 증가가 아니라 지능 밀도의 획기적인 향상에 의해 주도될 것이라는 핵심 신념을 바탕으로 합니다.

지능 집중화란 모델이 단위 크기, 전력 소비, 배포 공간당 제공하는 유용한 지능의 양을 늘리는 것을 의미합니다. 이는 모델이 실행되는 하드웨어, 워크로드의 특성, 그리고 가장 중요한 모델 크기 등 여러 요인에 따라 달라집니다. 이러한 이유로 PrismML은 모델이 단위 크기(GB 단위)당 제공할 수 있는 지능의 양인 지능 밀도 최적화에 집중해 왔습니다 . 이는 고급 AI 기술이 값비싼 인프라에 갇혀 있을지, 아니면 필요한 곳 ​​어디에서든 활용 가능할지를 결정하는 실질적인 지표입니다.

당사의 새로운 모델군은 엣지 컴퓨팅 환경에서 즉시 사용 가능한 정확도를 구현하도록 설계되었으며, 핵심 기술은 클라우드 환경에서 업계 판도를 바꿀 수 있는 인텔리전스를 제공할 것입니다.

진정한 1비트 모델

1비트 Bonsai 8B는 전체 네트워크에 걸쳐 독자적인 1비트 모델 설계를 구현합니다. 임베딩, 어텐션 레이어, MLP 레이어, 그리고 LM 헤드 모두 1비트로 구성됩니다. 더 높은 정밀도를 위한 예외 처리는 없습니다. 82억 개의 파라미터에 걸쳐 처음부터 끝까지 진정한 1비트 모델입니다.

동일한 파라미터 개수를 가진 8B(16비트) 풀 정밀도 모델보다 14배나 작음에도 불구하고, 표준 벤치마크에서 경쟁력 있는 성능을 보이면서 훨씬 더 높은 효율성을 자랑합니다.

이는 모델 압축이 역사적으로 심각한 절충점을 수반해 왔기 때문에 중요한 문제입니다. 저비트 모델은 명령어 추종, 다단계 추론, 안정적인 도구 사용 등에서 너무 많은 기능을 잃어 진지한 제품의 기반으로 사용하기에 부적합합니다. 실제로 이러한 모델은 실용적인 배포에 필요한 수준에 미치지 못합니다.

Bonsai는 이러한 상황을 바꿉니다. 1비트 모델이 좁은 범위의 타협일 필요가 없다는 것을 보여줍니다. 1비트 모델도 그 자체로 유능하고 생산 준비가 완료된 시스템이 될 수 있습니다.

지능 밀도

그림 I: 동일한 파라미터 클래스에 속하는 다른 모델들과 비교한 1비트 Bonsai 8B의 인텔리전스 밀도(GB당). 

광범위한 벤치마크 스위트에서 1비트 Bonsai 8B는 모델 크기 대비 성능 향상이 미미한 수준이 아니라 비약적인 발전임을 보여줍니다. 이를 엄밀하게 측정하기 위해 지능 밀도를 사용했습니다 .

지능 밀도는 동일한 벤치마크 스위트에서 측정한 모델의 평균 오류율의 로그값에 음수를 취한 후 모델 크기로 나눈 값으로 정의합니다. 이 지표는 단순 평균 벤치마크 점수보다 Bonsai의 성능 향상 폭이 작게 나타나지만(예: Qwen3 8B 대비 10.6배 vs 12.7배), 지능을 보다 현실적으로 보여준다고 생각합니다. 단순 벤치마크 평균과 달리, 지능 밀도는 일반적으로 더 이상의 성능 향상이 어려운 높은 정확도 부근에서의 개선에 더 큰 가치를 부여하고, 낮은 성능 수준에서의 동일한 크기의 개선에는 상대적으로 적은 가치를 부여합니다.

이러한 기준으로 볼 때, 1비트 Bonsai 8B는 1.06/GB의 지능 밀도 점수를 달성했습니다. 파라미터 개수가 비슷한 모델 중 가장 근접한 Qwen3 8B는 0.10/GB를 기록했습니다. Bonsai는 이 기준에서 앞서 있을 뿐만 아니라, 완전히 다른 차원의 성능을 보여줍니다.

그림 II: 동일한 파라미터 클래스에 속하는 다른 모델들과 비교한 1비트 Bonsai 8B의 벤치마크 점수.

벤치마크 평균 성능만 놓고 보면, 1비트 Bonsai 8B는 최고의 8B급 모델들과 견줄 만한 성능을 보여주지만, 메모리 사용량은 1.15GB에 불과하여 동급 제품보다 약 12~14배 작습니다. 이것이 바로 지능형 고밀도 기술의 핵심입니다. 강력한 성능을 제공하는 것뿐만 아니라, 훨씬 더 효율적인 형태로 구현하는 것입니다.

이는 단지 시작일 뿐이며, 앞으로 출시될 차세대 제품들은 지능형 고밀도 기술의 한계를 뛰어넘을 것입니다.

지능이 이처럼 집중되면 어떤 일이 가능해질까요?

고급 모델이 로컬에서 실행될 수 있을 만큼 작고 빠르며 효율적이 되면 AI 설계 공간은 즉시 변화합니다.

인텔리전스가 기기 내에서 실행되어 지연 시간이 훨씬 줄어들기 때문에 제품의 반응 속도가 향상됩니다. 민감한 데이터가 더 이상 기기를 벗어나거나 조직 경계를 넘나들 필요가 없으므로 시스템의 개인 정보 보호가 강화됩니다. 지속적인 클라우드 액세스에 대한 의존도가 낮아지므로 애플리케이션의 안정성이 향상됩니다. 또한 이전에는 서버 측 배포 비용이 너무 높아 경제적으로 실현 불가능했던 환경에서도 AI를 활용할 수 있게 됩니다.

또한, 영구적인 온디바이스 에이전트, 실시간 로봇 공학, 보안 엔터프라이즈 코파일럿, 오프라인 인텔리전스, 그리고 대역폭, 전력 또는 규정 준수 제약으로 인해 고급 모델이 비현실적이었던 환경을 위해 구축된 AI 기반 제품 등 완전히 새로운 범주가 등장하기 시작합니다.

이것이 바로 우리가 집중형 인텔리전스를 단순한 효율성 향상 이상의 것으로 보는 이유입니다. 집중형 인텔리전스는 인텔리전스의 영역을 확장하고, 결과적으로 AI 제품의 가능성을 넓힙니다. 미래의 AI는 클라우드에만 국한되지 않고, 클라우드, 엣지, 그리고 그 사이의 모든 영역을 아우를 것입니다.

데모 I: 1비트 Bonsai 8B 모델이 iPhone 17 Pro에서 초당 약 40톡스의 속도로 실행됩니다. 표준 16비트 8B 모델은 어떤 iPhone에도 탑재할 수 없습니다. 비교를 위해 동일한 MATH-500 프롬프트에서 초당 23톡스의 속도로 실행되는 16비트 1B 모델도 함께 보여드리며, 정확도와 속도 면에서 상당한 차이가 있음을 강조합니다.

크기와 속도

1비트 Bonsai 8B는 용량이 1.15GB에 불과합니다 . 이 정도 크기라면 iPhone 17 Pro에 탑재할 수 있을 정도입니다. 비슷한 성능의 모델과 비교하면 용량이 약 14배 줄어든 셈입니다. 이러한 크기 감소는 단순히 외형적인 변화가 아닙니다. 고성능 인텔리전스를 실행할 수 있는 하드웨어의 가능성을 바꿔놓습니다.

Bonsai는 기기에 따라 처리량에서도 상당한 향상을 보여줍니다. Mac M4 Pro에서는 초당 131개의 토큰을 처리하고, RTX 4090에서는 초당 368개의 토큰을 처리합니다. iPhone 17 Pro Max에서는 초당 약 44개의 토큰을 처리합니다.

데모 II: 표준 16비트 8B 모델과 함께 M4 Pro Mac에서 실행되는 1비트 Bonsai 8B.

위의 M4 Pro 데모에서 확연한 차이를 확인할 수 있습니다. Bonsai는 훨씬 적은 메모리를 사용하면서도 훨씬 빠른 데이터 생성 속도를 제공합니다. 모델이 로컬에서 실행되기 때문에 불필요한 네트워크 지연 없이 이러한 성능 향상을 이룰 수 있습니다. 결과적으로 클라우드 기반 AI와는 근본적으로 다른 경험, 즉 더 빠르고 직관적이며 언제든 사용 가능한 AI를 경험할 수 있습니다.

데모 III: 1비트 Bonsai 8B가 표준 16비트 8B 모델과 함께 M4 Pro Mac에서 실행되어 로컬에서 실행되는 장기적인 에이전트 작업을 시뮬레이션합니다.

장기적인 에이전트 워크로드에서 이러한 이점은 더욱 분명해집니다. 위 데모에서는 50개의 티켓 요약 및 할당 작업을 시뮬레이션했습니다. 1비트 Bonsai 8B는 50개의 티켓을 모두 완료하는 반면, 표준 16비트 8B 모델은 동일한 작업 시간 동안 6개만 처리합니다. 여러 단계에 걸쳐 추론을 지속해야 하는 에이전트의 경우, 높은 처리량과 낮은 메모리 사용량은 시스템 속도를 향상시킬 뿐만 아니라 에이전트가 실제로 수행할 수 있는 작업량을 늘려줍니다.

에너지 사용량

그림 III: 다양한 하드웨어 플랫폼에서의 에너지 소비량(mWh/tok).

인공지능이 핵심 인프라로 자리 잡으려면 효율성이 획기적으로 향상되어야 합니다.

1비트 Bonsai 8B는 16비트 풀 정밀도 버전보다 에너지 소비량이 훨씬 적어 약 4~5배 더 뛰어난 에너지 효율을 제공합니다. M4 Pro에서는 0.074mWh/tok, iPhone 17 Pro Max에서는 0.068mWh/tok의 전력만 소모합니다.

이는 에너지 효율성이 단순히 시스템 지표에 그치는 것이 아니라, 인공지능의 실질적인 경제성을 좌우하기 때문에 중요합니다.

1비트 하드웨어

위에서 언급한 속도 향상 및 에너지 절감 효과는 오늘날 표준 상용 하드웨어에서 달성된 것으로, 이러한 하드웨어는 전체 정밀도 연산을 위해 설계 및 최적화되었습니다.

중요한 점은 이러한 성능 향상이 주로 1비트 모델의 메모리 사용량 감소에서 비롯된 것이지, 추론 과정에서 가중치의 1비트 구조를 완전히 활용한 데서 나온 것은 아니라는 것입니다. 다시 말해, Bonsai는 이러한 유형의 모델을 위해 설계되지 않은 하드웨어에서도 이미 상당한 성능 향상을 보여주고 있습니다.

하지만 1비트 모델은 더 심층적인 시스템 개발의 가능성을 열어줍니다. MLP와 같은 선형 계층에서 1비트 가중치를 사용하면 곱셈 연산을 거의 또는 전혀 사용하지 않고 추론을 수행할 수 있어 대부분의 계산을 간단한 덧셈으로 대체할 수 있습니다. 따라서 1비트 추론에 특화된 하드웨어는 성능과 에너지 효율성을 훨씬 더 향상시킬 수 있으며, 잠재적으로 10배 이상 개선될 수 있습니다.

분재 4B와 분재 1.7B

저희 접근 방식의 우수성을 더욱 입증하기 위해, 더 작은 모델 두 가지인 1비트 Bonsai 4B 와 1비트 Bonsai 1.7B 도 출시합니다 . 두 모델 모두 뛰어난 처리량과 에너지 효율성을 제공하는 동시에 크기에 비해 최고의 정확도를 유지합니다.

그림 IV: 1비트 Bonsai 제품군의 성능과 크기(로그 스케일)를 여러 크기 등급의 모델과 비교한 그래프.

모델 크기와 평균 벤치마크 점수 간의 상충 관계를 더 자세히 연구하기 위해, 1.2GB(Qwen3 0.6B)부터 16.4GB(Qwen3 8B)까지 다양한 크기의 주요 명령어 모델 20개를 고려했습니다. 그 결과 얻어진 산점도는 Qwen3 0.6B, 1.7B, 4B, 8B 모델과 Ministral3 3B 모델로 정의되는 지능 대 크기의 파레토 최적해를 보여줍니다. 

1비트 Bonsai 8B는 더 작은 자매 모델인 1비트 Bonsai 1.7B 및 4B와 함께 파레토 최적해(지능 대 모델 크기)를 왼쪽으로 극적으로 이동시켰습니다. 이것이 이제 새로운 최적해입니다 .

획기적인 기술에서 보편화로 가는 길

인간의 혁신은 흔히 같은 궤적을 따릅니다. 먼저 무언가가 가능하다는 것을 증명하고, 그다음에는 그것을 민주화하여 더 작고 저렴하며 누구나 접근할 수 있도록 만듭니다. 초기 컴퓨터는 방 하나를 가득 채웠고, 카메라는 정교한 설치와 긴 노출 시간이 필요했습니다. 하지만 오늘날에는 주머니 속에 들어 있습니다.

인공지능 분야에서도 이러한 변화는 이미 시작되었습니다. 향후 5년 동안 모델은 계속해서 발전하겠지만, 가장 중요한 진전은 인공지능을 필요한 곳 ​​어디든 휴대 가능하고 효율적이며 배포하기 쉽게 만드는 데서 비롯될 것입니다.

그것이 바로 PrismML이 지향하는 미래입니다.

함께해요

PrismML은 캘리포니아 공과대학(Caltech) 연구진 팀에서 시작되었으며, Khosla Ventures, Cerberus, 그리고 Google의 지원을 받아 설립되었습니다. 저희는 수년간 신경망의 추론 능력을 손상시키지 않고 압축하는, 이 분야에서 가장 어려운 문제 중 하나를 해결하기 위해 노력해 왔습니다.

차세대 최첨단 AI 구축에 참여하고 싶으시다면, 저희와 함께하세요. 채용 페이지를 확인해 보세요 .

플랫폼 적용 범위

우리는 다양한 기기에서 작동하도록 1비트 Bonsai 모델을 개발했습니다.

1비트 Bonsai 8B는 Apple 기기(Mac, iPhone, iPad)에서 MLX를 통해, NVIDIA GPU에서는 llama.cpp CUDA를 통해 네이티브로 실행됩니다. 모델 가중치는 현재 Apache 2.0 라이선스에 따라 이용 가능합니다.

당사의 교육, 평가 및 벤치마킹 프로세스에 대한 모든 기술적 세부 정보는 백서 에서 확인할 수 있습니다 .

아래는 제미나이가 파악 요약한 것입니다.

PrismML(또는 최근 연구되는 1-bit LLM 기술)은 대규모 언어 모델의 가중치를 극단적으로 압축하여 효율성을 극대화하는 차세대 추론 기술입니다. 특히 BitNet b1.58과 같은 아키텍처가 등장하면서 가중치를 단순히 0과 1이 아닌 ${-1, 0, 1}$의 세 가지 값으로 표현하는 방식이 주목받고 있습니다.

주요 특징과 기술적 배경을 정리해 드립니다.

1. 1-bit LLM의 핵심 원리: Ternary Quantization

기존 모델이 가중치 하나당 16비트($FP16$)나 8비트($INT8$)를 사용하는 것과 달리, 1-bit LLM은 가중치를 3진수(Ternary) 체계로 변환합니다.

• 값의 구성: 가중치는 $-1, 0, 1$ 중 하나의 값만 가집니다.

• 연산의 변화: 고비용의 부동 소수점 곱셈(FP Multiplication) 연산이 저비용의 정수 덧셈(Integer Addition)으로 대체됩니다.

  • 기존: $W \times X$ (복잡한 곱셈)

  • 1-bit: 가중치가 $1$이면 더하고, $-1$이면 빼고, $0$이면 무시하는 단순 연산으로 바뀝니다.

2. 주요 장점 및 효율성

3. PrismML 및 BitNet b1.58의 의의

최근 Microsoft Research 등에서 발표한 BitNet b1.58은 "모든 LLM 가중치는 1.58비트($\log_2 3$)로 충분하다"는 결론을 내렸습니다.

• 성능 보존: 파라미터 크기가 커질수록 FP16 모델과 거의 대등한 성능을 보여줍니다. 즉, 정확도를 희생하지 않고도 모델을 가볍게 만들 수 있습니다.

• 엣지 컴퓨팅 최적화: 사용자님이 보유하신 Mac mini M4 Pro나 ThinkPad T14s 같은 기기에서 외부 서버 없이 초대형 모델(예: 70B 이상)을 로컬에서 부드럽게 구동할 수 있는 핵심 기술이 됩니다.

4. 로컬 개발 환경에서의 활용 (MLX 등)

사용자님이 관심을 가지시는 MLX(Apple Silicon 최적화)나 LM Studio 환경에서도 이러한 1-bit 양자화 모델들이 점차 도입되고 있습니다.

• 메모리 대역폭 해소: Apple Silicon의 통합 메모리 구조에서 가중치 데이터 이동량을 획기적으로 줄여, 토큰 생성 속도(Tokens per second)를 비약적으로 상승시킵니다.

• VRAM 한계 돌파: 16GB VRAM에서도 기존에는 불가능했던 수십억 개의 파라미터를 가진 모델을 로드할 수 있게 됩니다.

5. 한계 및 과제

• 학습 비용: 이미 학습된 모델을 1-bit로 변환(Post-Training Quantization)하는 것보다, 처음부터 1-bit로 학습(Quantization-Aware Training)해야 성능이 잘 나옵니다. 이 과정에 막대한 컴퓨팅 자원이 필요합니다.

• 커스텀 커널 필요: 일반적인 GPU 라이브러리는 1-bit 연산에 최적화되어 있지 않아, 이를 지원하는 전용 소프트웨어 스택(PrismML의 런타임 등)이 필수적입니다.