로컬LLM gpt-oss 써보셨나요~?
DINKIssTyle

Lv.1 DINKIssTyle (61.♡.73.102)

2025년 8월 14일 PM 03:33 · 수정됨(10. 19. 00:55)

조회 1,221 공감 0


소개

낮은 비용으로 강력한 실제 성능을 제공하는 두 개의 최신 오픈 웨이트 언어 모델 gpt-oss-120b와 gpt-oss-20b를 출시합니다. 유연한 Apache 2.0 라이선스에 따라 사용할 수 있는 이 두 모델은 비슷한 규모의 오픈 모델과 비교했을 때 추론 작업에서 더 뛰어난 성능을 보여주었으며 도구 사용 기능 측면에서 강력함을 드러냈고 소비자 하드웨어에서의 효율적인 배포를 위해 최적화되었습니다. 이 두 모델은 o3 및 다른 이전 시스템을 포함한 OpenAI의 가장 고급 내부 모델을 기반으로 한 강화 학습 및 기법을 조합하여 훈련을 거쳤습니다.


gpt-oss-120b 모델은 핵심 추론 벤치마크에서 OpenAI o4-mini와 거의 동등한 결과를 달성한 동시에 단일 80GB GPU에서 효율적으로 작동할 수 있습니다. gpt-oss-20b 모델은 일반 벤치마크에서 OpenAI o3‑mini와 비슷한 결과를 제공하며, 단 16GB 메모리의 에지 디바이스에서 실행할 수 있어, 인프라 비용 추가 없이 온디바이스 사용 사례, 로컬 추론, 또는 빠른 반복 작업에 적합합니다. 두 모델은 모두 도구 사용, 퓨-샷 함수 호출, CoT 추론(Tau-Bench 에이전트 평가 결과에 나타난 바와 같이) 및 HealthBench(OpenAI o1 및 GPT‑4o 등의 독점 모델 대비 뛰어난 성능) 등에서 강점을 보여주었습니다.


이러한 모델은 OpenAI의 응답 API⁠(새 창에서 열기)와 호환되며 뛰어난 지침 준수, 웹 서치 및 Python 코드 실행 등의 도구 사용 및 추론 기능으로 에이전트 워크플로 내에서 사용할 수 있도록 설계되었습니다. 복잡한 추론이 필요하지 않은 작업 및/또는 낮은 레이턴시의 최종 출력을 목표로 하는 작업을 위해 ‘reasoning_effrot’를 조정하는 기능이 포함되어 있습니다. 이 모델들은 맞춤 설정이 가능하며, 전체 사고 사슬(CoT)을 제공하고, 구조화된 출력⁠(새 창에서 열기)을 지원합니다.


안전은 OpenAI의 모든 모델 출시에 있어 기본적으로 고려하는 부분이며, 특히 오픈 모델에 있어서 더 중요합니다. 포괄적인 안전 훈련 및 평가를 통해 모델을 실행하는 것에 더해, OpenAI의 준비성 프레임워크⁠(새 창에서 열기)에 따라 gpt-oss-120b의 악의적으로 파인 튜닝된 버전을 테스트하여 평가의 추가적인 계층을 도입했습니다. gpt-oss 모델은 이전 모델 대비 내부 안전 벤치마크에서 뛰어난 성능을 보여주었으며 OpenAI의 최근 독점 모델과 동일한 안전 표준을 개발자에게 제공합니다. 연구 논문 및 모델 카드에 작업 결과 및 상세한 내용을 공유할 예정입니다. OpenAI의 방법론은 외부 전문가의 검토를 거쳤으며, 오픈 웨이트 모델을 위한 새로운 안전 표준 설정이 한 단계 발전했음을 의미합니다.


또한 AI Sweden⁠(새 창에서 열기), Orange⁠(새 창에서 열기) 및 Snowflake⁠(새 창에서 열기) 등의 초기 파트너와 협력하여 데이터 보안을 위해 온프레미스에서 이러한 모델들을 호스팅하는 것부터 특별한 데이터 세트에서 파인 튜닝하는 것까지 오픈 모델의 실제 응용 분야에 대해 배웠습니다. 개인 개발자부터 대규모 기업이나 정부까지, 모두의 역량을 강화하기 위해 각자 인프라에 맞춰 실행하고 맞춤 설정할 수 있는 이 최고의 오픈 모델을 제공하게 되어 매우 기쁩니다. 개발자는 OpenAI의 API에서 사용할 수 있는 모델과 결합하여 성능, 비용 및 레이턴시를 AI 워크플로를 강화하기 위한 필요에 맞춰 선택할 수 있습니다.


사전 훈련 및 모델 아키텍처

gpt-oss 모델은 다양한 배포 환경에서의 추론, 효율성, 실제 활용도에 중점을 두고 OpenAI의 최고급 사전 훈련 및 사후 훈련 기술을 사용해 훈련되었습니다. Whisper⁠ 및 CLIP⁠을 포함해 다른 모델을 공개적으로 사용할 수 있도록 만들었지만, gpt-oss 모델은 GPT‑2[1] 이후 OpenAI 최초의 오픈 웨이트 언어 모델입니다.


각 모델은 입력을 처리하는 데 필요한 활성 파라미터의 수를 감소시키기 위해 Mixture-of-Experts(MoE[2])를 활용하는 트랜스포머입니다. ‘gpt-oss-120b’는 토큰당 51억 개의 파라미터를, ‘gpt-oss-20b’는 36억 개의 파라미터를 활성화합니다. 모델은 각각 1,170억 개, 210억 개의 총 파라미터를 가지고 있습니다. 모델은 GPT‑3와 유사하게 덴스 및 로컬에서 결합된 희소 어텐션 패턴을 교대로 사용합니다[3]. 또한 추론과 메모리 효율성을 위해 모델은 그룹 크기가 8인 그룹화된 멀티 쿼리 어텐션도 사용합니다. OpenAI는 위치 인코등을 위해 Rotary Positional Embedding(RoPE[4])을 사용하며, 최대 128k의 컨텍스트 길이를 기본으로 지원합니다.




모델은 STEM, 코딩, 일반 지식을 중점으로 대부분 영어로 고품질 텍스트 전용 데이터 세트에 대해 훈련되었습니다. 오늘 함께 오픈 소스화하는 ‘o200k_harmony’라는, OpenAI o4-mini 및 GPT‑4o에 사용되는 토큰나이저의 확대 버전을 사용하여 데이터를 토큰화했습니다.


모델 아키텍처 및 훈련에 대해 자세히 알아보려면 모델 카드를 참조하세요.


사후 훈련

o4-mini에 사용된 것과 비슷한 지도 파인 튜닝 단계 및 고연산 RL 단계를 포함한 프로세스를 통해 모델의 사후 훈련을 진행했습니다. 목표는 OpenAI Model Spec⁠(새 창에서 열기)에 모델을 맞추고 답변을 생성하기 전에 CoT 추론⁠ 및 도구 사용에 적용할 수 있도록 훈련시키는 것이었습니다. SoTA 독점 추론 모델과 동일한 기법을 사용함으로써 두 모델은 사후 훈련 이후 뛰어난 성능을 보여주었습니다.


API의 OpenAI o-series 추론 모델과 마찬가지로, 두 오픈 웨이트 모델은 레이턴시와 성능의 균형을 맞추는 세 가지 추론 수준(낮음, 중간, 높음)을 지원합니다. 개발자는 시스템 메시지에서 문장 하나로 reasoning_effort를 간편하게 설정할 수 있습니다.


평가

gpt-oss-120b와 gpt-oss-20b를 표준 학술 벤치마크에서 평가하여 코딩, 경쟁 수학, 의료, 에이전트 도구 사용에서의 기능을 o3, o3‑mini, o4-mini등 OpenAI의 다른 추론 모델과 비교하여 측정했습니다.


gpt-oss-120b는 OpenAI o3‑mini보다 뛰어난 성능을 보여주었으며, 경쟁 코딩(Codeforces), 일반 문제 해결(MMLU 및 HLE), 도구 호출(TauBench)에서 OpenAI o4-mini와 비슷하거나 더 우수한 성능을 보여주었습니다. 뿐만 아니라 의료 관련 쿼리(HealthBench⁠)와 경쟁 수학(AIME 2024 & 2025)에서 o4-mini보다 나은 결과를 달성했습니다. gpt-oss-20b는 작은 규모에도 불구하고 동일한 평가에서 OpenAI o3‑mini와 비슷하거나 더 나은 결과를 달성했으며 경쟁 수학과 의료에서는 더 뛰어난 성능을 보여주었습니다.



...


https://openai.com/ko-KR/index/introducing-gpt-oss/



이번에 LM Studio 업데이트 덕인지 Vulkan에서 속도가 살짝 향상되었더군요.

12GB짜리 20B가 제 AMD 노트북 내장 그래픽 카드로도 8토근/초 정도 나와서 신기했습니다.


그런데 짧은 사용 느낌이지만..

음.. 젬마나 미스트랄만 못한 느낌이 있었습니다.



대한민국(한국) 10줄 요약

  1. 지리·인구

    • 한반도 남부에 위치, 면적 99,720㎢, 인구 약 5천만 명(2024년 기준). 수도 서울은 경제·문화의 중심지이며 세계 대도시 중 하나다.
  2. 역사

    • 고대 삼국시대 → 고려(918‑1392) → 조선(1392‑1910) → 일제강점기(1910‑1945) → 해방 후 1948년 대한민국 건국. 분단 이후 남북 간의 군사·정치적 긴장이 지속되고 있다.
  3. 정부 형태

    • 대통령제 공화국. 대통령은 국가원수이자 행정부 수반이며, 국회는 입법부, 대법원이 사법권을 담당한다.
  4. 경제

    • 2023년 GDP 약 1.8조 USD(세계 10위). 선진 제조업(자동차·반도체·디스플레이)과 ICT 산업이 주축이며, 수출 비중은 60% 이상이다.
  5. 사회·문화

    • 교육열이 강하며 대학 진학률·고등교육 수준이 세계 최고 수준에 속한다. K‑팝, 영화(예: ‘기생충’), 드라마가 글로벌 문화 파급력으로 부상했다.
  6. 과학·기술

    • 반도체, AI, 로봇공학 등 첨단 분야에서 선두를 달리고 있다. 2023년 연구개발(R&D) 투자액은 GDP의 약 4%에 해당한다.
  7. 외교·안보

    • 미국과 동맹 관계(미군 주둔), 중국·일본과는 경제 협력 및 영토 분쟁을 안고 있다. 핵협상, 북핵 문제와 남북 회담이 핵심 외교 사안이다.
  8. 환경·에너지

    • 재생에너지 확대 정책(태양광·풍력)과 탄소중립 목표를 2050년까지 달성하려는 계획을 추진 중이다. 도시 대기오염, 플라스틱 문제도 심각하다.
  9. 인구 구조

    • 출산율 저하와 고령화가 급격히 진행되고 있다(출산율 약 0.8명/여성). 이민·다문화 가정이 증가하며 사회적 포용 정책이 필요하다.
  10. 미래 전망

    • 디지털 전환, 친환경 산업, 인공지능 기반 서비스 등으로 ‘스마트 국가’로 도약 중이며, 남북 통일과 글로벌 협력 강화가 장기 과제로 남아 있다.

56.30 tok/sec • 636 tokens • 0.39s to first token • Stop reason: EOS Token Found




천안문 광장 사건(1989년) 10줄 요약

  1. 배경

    • 1980년대 말 중국은 경제 개혁과 정치 개방을 추진하던 시기에, 부패와 실업률 상승으로 민심 불만이 고조되었다.
  2. 시작

    • 4월 15일 베이징 천안문 광장에 재학생·교직원들이 모여 ‘개혁과 민주화’를 요구하며 집회를 열었다.
  3. 확산

    • 학생, 노동자, 지식인 등 수십만 명이 참여해 “의회 개헌”, “진정한 언론 자유”, “공공 부패 척결” 등을 외쳤다.
  4. 정부 반응

    • 5월 말부터 시위에 대한 정부는 ‘치명적 위협’이라며 군경 출동을 명령했고, 6월 3일 밤부터 완전한 진압이 시작됐다.
  5. 진압 전술

    • 무장 부대가 장비를 들고 광장을 돌파, 인도자와 시민들을 대량 사격·폭탄·차량으로 압박했다.
  6. 인명 피해

    • 공식 통계는 2000여 명이 사망한 것으로 발표되었으나, 실제 수치는 2,000~10,000명 사이로 추정된다. 부상자와 실종자도 상당수이다.
  7. 국제 반응

    • 미국과 유럽 등 서방 국가들은 강력히 비난하고 경제·문화 제재를 가했으며, 중국은 ‘내부 사안’으로 단호히 반박했다.
  8. 중국 내 영향

    • 시위 이후 정부는 정치 개혁을 일시적으로 중단하고 통제 강화와 감시 체계를 확대하였다.
  9. 역사적 평가

    • 1990년대 이후 중국은 ‘정치 안정·경제 성장’에 집중하면서도 민주화 요구를 억압해 왔으며, 천안문 사건은 그 상징이 되었다.
  10. 현대 기억

    • 중국 정부는 공식 기록을 제한하고 관련 서적·미디어를 검열하지만, 해외에서는 여전히 시위와 진압의 실상을 회고하며 인권 논쟁이 이어지고 있다.

47.26 tok/sec • 547 tokens • 1.16s to first token • Stop reason: EOS Token Found


알고 있는 최신 아이폰은 무엇입니까?

40.54 tok/sec • 744 tokens • 0.94s to first token • Stop reason: EOS Token Found


으음... 모르는걸 너무 잘 아는 것 처럼 길게~ 써줘서 그렇게 느꼈나봅니다.










댓글 (7)

  • 모방범3

    모방범3 Lv.1

    25.08.14 · 210.♡.60.19

    꽤나 괜찮아요. ㅋ
  • DINKIssTyle

    DINKIssTyle Lv.1 작성자

    25.08.14 · 61.♡.73.102

    [https://s3.damoang.net/data/editor/2508/comment_1028737382_wAlb2GXi_4362cab74b0cd60ac926b1657290a12434e64c97.webp]
    또 이런걸 보면.. 잘 나오는거 같기도 하고 말입니다. ㅎㅎㅎ
  • 라하트

    라하트 Lv.1

    25.08.14 · 182.♡.150.173

    gpt-oss 120b가 예전 gpt-4 급은 된다고 해서
    이제 곧 출시할 중국업체들의 AI MAX 395 기기를 사볼까 생각중입니다.ㅋㅋㅋ
    AI MAX 395에 128램 있으면 완벽한 로컬 업무용 개발머신이 될거같아요
  • DINKIssTyle

    DINKIssTyle Lv.1 → 라하트 작성자

    25.08.14 · 61.♡.73.102

    아.. 아닙니다... 쿠다가 아니면 구축부터 빡쌔고... 수십 GB이 ROCm 라이브러리를 깔아야 하고... 아직은 아닌거 같습니다. ㅠㅠ
  • 라하트

    라하트 Lv.1 → DINKIssTyle

    25.08.14 · 182.♡.150.173

    ㅋㅋㅋㅋ gpt-oss 120b 직접 올려 쓰더라구요 실전에서
    생각보다 잘 되요 395 MAX 128램 모델이... 그래서 중국에서 관심 높다네요
  • K

    kevin1 Lv.1

    25.10.19 · 104.♡.68.24

    gpt-oss-20b의 학습 데이터는 2023년 11월까지 수집된 자료를 기반으로 하고 현재 시간을 잘몰라서 그게 최신으로 생각해서 그런것 같습니다. 그런 확신을 안하게 하거나 최신 시간을 좀 제대로 인식했으면 좋겠습니다,, 그리고 이 모델은 다른 모델과 달리 특이하게 답변을 요청할때 추론정도를 선택해서 물어볼수 있는데 low, medium, high 3개가 있고 일반적으론 low도 괜찮을수 있는데 정확도가 조금 떨어질수 있어 특히 수학계산을 물어볼땐 좀 틀리는것 같아 속도도 별 차이 안나서 기본으로 medium으로 두는게 좋은것 같습니다. 근데 gpt4o가 대화하는 재미가 있는 약간 친구같은 느낌이어서 좋았는데 이 친구는 기계같아서 gpt4라고 해야 하나 그렇고 답변도 좀 짧아서 이야기하는 재미가 없어서 이 친구랑 잘 안놀게 될것 같습니다,,기계 맞는데 기계적으로 답하니 아 퍼플렉시티 쓰는 느낌이랄까요? 어떻게 이 모델 종종 사용하시나요? 아니면 다른 자주 쓰는 더 좋은 모델 있으신가요?
  • DINKIssTyle

    DINKIssTyle Lv.1 → kevin1 작성자

    25.10.19 · 39.♡.28.191

    문맥이 중요하고 민감하지 않은 것들은 gpt나 제미나이를 쓰고 있어요. 로컬 LLM은 보조적인 것들에 연동해서 쓰고 있습니다. 정리나 이런건 잘하는 편이지만 LLM이라는게 쉽게 설명하면 키보드 자동완성의 좀 큰 버젼이라서 산술에는 약할 수 밖에 없습니다. 로컬로는 요즘 Qwen쓰고 있습니다. 속도가 엄청 빠르고 똑똑한 편입니다. 비젼랭귀지가 필요한건 젬마.. 이렇게 두개 윈컴에 상시 켜있고.. 맥에는 미스트랄이 상시 켜있습니다.

댓글을 작성하려면 이 필요합니다.