엔비디아-네모트론-나노-12B-v2

모델 개발자: NVIDIA Corporation

모델 날짜:

2025년 6월 - 2025년 8월

데이터 신선도:

2024년 9월

사전 훈련 데이터의 마감일은 2024년 9월입니다.

모델 개요

NVIDIA-Nemotron-Nano-12B-v2는 NVIDIA에서 처음부터 학습한 대규모 언어 모델(LLM)로, 추론 및 비추론 작업 모두를 위한 통합 모델로 설계되었습니다. 이 모델은 사용자 쿼리와 작업에 먼저 추론 추적을 생성한 다음 최종 응답으로 마무리하여 응답합니다. 모델의 추론 기능은 시스템 프롬프트를 통해 제어할 수 있습니다. 사용자가 모델이 중간 추론 추적 없이 최종 답변을 제공하기를 원하는 경우, 추론이 필요한 더 어려운 프롬프트의 정확도가 약간 떨어지더라도 그렇게 하도록 구성할 수 있습니다. 반대로, 모델이 먼저 추론 추적을 생성하도록 하면 일반적으로 쿼리와 작업에 대한 최종 솔루션의 품질이 더 높아집니다. 이 모델은 NVIDIA-Nemotron-Nano-12B-v2-Base 에서 미세 조정되었으며 , NVIDIA-Nemotron-Nano-9B-v2 로 추가로 압축되었습니다 .

이 모델은 Mamba-2와 MLP 계층을 주로 사용하고, 여기에 4개의 Attention 계층만 결합한 하이브리드 아키텍처를 사용합니다. 아키텍처에 대한 자세한 내용은 Nemotron-H 기술 보고서 를 참조하십시오. 이 모델은 Megatron-LM 과 NeMo-RL을 사용하여 학습되었습니다 .

지원 언어는 영어, 독일어, 스페인어, 프랑스어, 이탈리아어, 일본어입니다. Qwen을 사용하여 개선되었습니다.

이 모델은 상업적으로 사용할 준비가 되었습니다.

라이센스/이용 약관

적용 조건: 이 모델의 사용은 NVIDIA Open Model 라이선스 계약 에 따라 관리됩니다 .

평가 결과

벤치마크 결과(추론)

RULER를 제외한 모든 벤치마크에서 추론 켜짐 모드 로 모델을 평가했으며 , RULER는 추론 꺼짐 모드로 평가했습니다.

모든 평가는 NeMo-Skills를 사용하여 수행되었습니다 . 평가 결과를 재현하는 데 필요한 모든 세부 정보가 포함된 튜토리얼을 게시했습니다 .

예산 통제 추론

이 모델은 런타임 "사고" 예산 제어를 지원합니다. 추론 과정에서 사용자는 모델이 "사고"할 수 있는 토큰 수를 지정할 수 있습니다.

모델 아키텍처

• 아키텍처 유형: Mamba2-Transformer Hybrid
• 네트워크 아키텍처: Nemotron-Hybrid

배포 지역: 글로벌

사용 사례

NVIDIA-Nemotron-Nano-12B-v2는 영어 및 코딩 언어에서 사용하도록 설계된 범용 추론 및 채팅 모델입니다. 영어가 아닌 다른 언어(독일어, 프랑스어, 이탈리아어, 스페인어, 일본어)도 지원됩니다. AI 에이전트 시스템, 챗봇, RAG 시스템 및 기타 AI 기반 애플리케이션을 설계하는 개발자에게 적합합니다. 일반적인 지시 수행 작업에도 적합합니다.

출시일: 2025년 8월 29일

• Huggingface 2025년 8월 29일 https://huggingface.co/nvidia/NVIDIA-Nemotron-Nano-12B-v2 를 통해

참고문헌

• NVIDIA Nemotron Nano 2: 정확하고 효율적인 하이브리드 Mamba-Transformer 추론 모델

입력

• 입력 유형: 텍스트
• 입력 형식: 문자열
• 입력 매개변수: 1차원(1D): 시퀀스
• 입력 관련 기타 속성: 최대 128K의 컨텍스트 길이. 지원 언어: 독일어, 스페인어, 프랑스어, 이탈리아어, 한국어, 포르투갈어, 러시아어, 일본어, 중국어, 영어.

산출

• 출력 유형: 텍스트
• 출력 형식: 문자열
• 출력 매개변수: 1차원(1D): 최대 128K 시퀀스

본 모델은 NVIDIA GPU 가속 시스템에서 실행되도록 설계 및 최적화되었습니다. NVIDIA의 하드웨어(예: GPU 코어)와 소프트웨어 프레임워크(예: CUDA 라이브러리)를 활용하여 CPU 전용 솔루션보다 학습 및 추론 시간이 더 빠릅니다.

https://huggingface.co/nvidia/NVIDIA-Nemotron-Nano-12B-v2

LM Studio 0.3.25 부터 지원한다고 해서 받아봤는데 말입니다.

우선 애플실리콘에서는 아직 안되는걸로 보입니다.

다른 애들은 자기 특징 하나씩 자랑하던데 난 뭘 잘해! 라고 크게 쓰인 부분은 없군요