이전 관련글

로컬 LLM, 바이트댄스 Seed-OSS 36B를 설치해보았습니다.

https://damoang.net/free/4803162

젬마3 27b vs 미스트랄-스몰 3.2 vs gpt-oss-20b 를 비교해보았습니다.

https://damoang.net/free/4697152

------------------------

얼마전 출시한 Nvidia의 LLM 모델인 Nemotron Nano 12B v2를 간단히 테스트해보겠습니다.

https://huggingface.co/nvidia/NVIDIA-Nemotron-Nano-12B-v2

LM Studio 최신버젼과 최신버젼 런타임을 통해 이제 작동이 가능해졌습니다.

용량을 보아하니 8GB VRAM이면 거뜬히 올라갈 것으로 보입니다.

그럼..

간단히 테스트를 진행해보겠습니다.

------------------------

You

대한민국 10줄 요약

nvidia-nemotron-nano-12b-v2

> Thought for 15.38 seconds

1. 대한민국은 서울을 수도로 하는 동아시아에 위치한 대통령제 공화국의 국가입니다.

2. 인구 약 5,200만 명으로, 경상도와 충청도에 집중된 도시화가 진행 중이며, 북한과 경계를 접하고 있습니다.

3. 역사적으로는 1945년 일본의 식민지 지배가 끝나며 분단되었고, 1950~53년의 한국전쟁 이후 휴전선을 따라 북한과 분리되었습니다.

4. 1987년 민주화 운동으로 직접 선거가 도입되며 현대적 민주주의 체제로 전환되었습니다.

5. 경제적으로는 삼성전자, 현대자동차 등 글로벌 기업을 보유한 '아시아의 사자'로 성장하며 기술•제조업 강국으로 부상했습니다.

6. 교육열이 높아 고등교육 경쟁률이 높으며, 문해율이 98% 이상인 높은 인적 자원을 보유하고 있습니다.

7. 문화적으로는 K-pop, 한류 콘텐츠, 전통 의복 한복과 한식, 유네스코 세계유산(장덕궁 등)을 세계에 알렸습니다.

8. 주요 과제로는 출산율 감소(1.2명 미만)와 고령화 사회(65세 이상 인구 17% 이상)로 인한 구조적 문제 해결이 필요합니다.

9. 외교적으로는 미국과의 동맹 체제를 유지하며, 북한과의 관계 개선을 위한 다각적 접근을 지속하고 있습니다.

10. 도시 서울은 세계적인 금융·문화 중심지로, 현대적 생활 인프라와 전통 문화가 공존하는 복합적 특성을 지닙니다.

16.28 tok/sec • 638 tokens • 0.43s to first token • Stop reason: EOS Token Found

경상도와 충청도에 집중된 도시화가 진행 중이며? 는.... 저는 처음 듣습니다. ㄷㄷ

You

중국 천안문 사태와 중국의 일당독재에 대한 의견

nvidia-nemotron-nano-12b-v2

> Thought for 6.58 seconds

저는 정치적 사건이나 제도적 특성에 대한 논의에 참여할 수 없습니다. 다른 주제에 대해 도와드릴까요?

16.21 tok/sec • 143 tokens • 2.81s to first token • Stop reason: EOS Token Found

미 정부가 15%씩 뜯어간데도 중국 시장은 포기할 수 없는 엔비디아의 포지션이 잘 반영되어있습니다????

You

지구에서 가장 깊은 해구는 어디입니까?

nvidia-nemotron-nano-12b-v2

> Thought for 9.86 seconds

지구에서 가장 깊은 해구는 마리아나 해구(Mariana Trench)입니다. 이 해구는 서태평양에 위치하며, 그 deepest 지점인 チャ일러 딥(Challenger Deep)은 약 10,984미터(약 36,000피트)의 깊이를 기록하고 있습니다. 이 지역은 태평양 판이 마리아나 해구판 아래로 침식되는 (서브덕션) 과정으로 인해 형성되었습니다.

주요 정보:

• 위치: 서태평양, 마셜 제도 남쪽 약 200km

• 발견: 1951년 미국 해군 선박 "찰러러(Challenger)"에서 측정

• 인간 첫 탐사: 1960년 피카드(Piccard)와 발스(Walsh)가 트라이스테이드(Trieste) 잠수※으로 성공적으로 도달

• 최근 탐사: 2012년 제임스 캐메론(J. Cameron)이 Deepsea Challenger로 solo 탐사, 2019년에는 일본•미국 과학자들이 로봇을 보내 샘플 채취

마리아나 해구는 지구상에서 가장 극한의 환경으로, 극저온(약 1~4°C), 고압(약 1,086기압), 어둠 등에서 생존하는 유일한 생명체들이 서식하고 있습니다.

16.40 tok/sec • 481 tokens • 3.09s to first token • Stop reason: EOS Token Found

You

A, B, C 세 명이 있습니다.

• A는 항상 진실을 말합니다.

• B는 항상 거짓말을 합니다.

• C는 진실과 거짓을 번갈아 말합니다. 오늘, A가 "B가 거짓말을 했다"고 말했습니다. 누가 진실을 말했습니까?

nvidia-nemotron-nano-12b-v2

A가 "B가 거짓말을 했다"라고 말했다.

B는 항상 거짓말이므로, B는 실제로는 진실을 말했다.

A는 항상 진실을 말하므로, A의 주장은 맞다.

C는 진실과 거짓을 번갈아 말하지만, 이 상황에서는 C가 실제로 진실을 말했는지 여부는 A와 B의 관계에 따라 달라진다.

결론: A가 진실을 말했다.

17.05 tok/sec • 105 tokens • 5.31s to first token • Stop reason: EOS Token Found

You

'전기가 끊긴 도시'라는 주제로 3문장짜리 공포 이야기를 쓰세요.

nvidia-nemot ron-nano-12b-v2

전기는 끊기고, 달빛만 비치는 거리에서 이상한 발자국 소리가 나기 시작했습니다.

하루를 보내던 사람은 거리에 서 있는 그림자 같은 존재를 발견하고 도망치려 하지만, 그 존재는 따라오고 있었습니다.

마지막으로 전기가復구되자, 그 날 밤의 события를 기록한 카메라는 비어 있었고, 대신 한 줄의 글만 남아 있었습니다: "이제 여러분의 차례입니다."

16.54 tok/sec • 100 tokens • 6.05s to first token • Stop reason: EOS Token Found

You

Python으로 문자열을 거꾸로 뒤집는 함수를 작성하고, 예시 입력 'hello'를 적용한 결과를 출력하세요.

기본 질문들을 더 고차원적인걸로 바꾸어야 겠습니다.

이정도는 다들 너무 쉽게 통과해버리네요...

LLM은 사용목적에 따라 주관적인 판단이 곧 품질임으로..

각자의 분야에서 알맞는지는 스스로 시험해보셔야 합니다.

사족을 붙이자면..

Nvidia GPU CUDA에 최적화했다더니... 제 머신에서는 초당 토큰이 매우 적군요.

이상 테스트 머신은 맥미니 M4 Pro 64GB의 macOS 였습니다.

고맙습니다.