구글, Gemma 2 공개
페이지 정보
본문
구글에서 Gemma 2 막 공개 했습니다. :-) 추가 비교 자료가 나오면, 댓글 남기겠습니다.
조사 You.com, 요약: Claude 3.5 Sonnet, 번역 deepl
Google의 새로운 모델에 대한 핵심 사항을 요약해 보겠습니다.
Gemma 2 개요
Gemma 2는 기존 Gemma 모델의 성공을 기반으로 구축된 Google의 최신 개방형 LLM(대규모 언어 모델)입니다. 개발자와 연구자를 위한 효율성과 접근성을 유지하면서 최첨단 성능을 제공하도록 설계되었습니다.
모델 크기 및 변형
Gemma 2는 크게 두 가지 크기로 제공됩니다:
1. 90억 개의 파라미터
2. 270억 개의 파라미터
각 사이즈는 두 가지 변형으로 제공됩니다:
- 기본(사전 학습) 모델
- 인스트럭션 튜닝 모델
주요 기능 및 개선 사항
1. 향상된 성능: Gemma 2는 벤치마크에서 기존 모델을 두 배 이상 능가하는 성능을 제공합니다. 이는 특히 27B 파라미터 버전에서 두드러집니다.
2. 훈련 데이터 증가: 첫 번째에 비해 약 2배 더 많은 데이터로 학습되었습니다:
- 27B 버전: 13조 개의 토큰으로 학습
- 9B 버전: 8조 개의 토큰으로 학습
3. 컨텍스트 길이: Gemma 2는 8,192 토큰의 컨텍스트 길이를 유지합니다.
4. 효율성: 동급 최고의 성능과 효율성을 위해 설계되어 개방형 모델 환경에서 새로운 표준을 제시합니다.
5. 다목적성: Gemma 2는 요약 또는 검색 증강 생성(RAG)과 같은 특정 작업에 맞게 미세 조정할 수 있습니다.
향후 개발 계획
Google은 다음과 같은 향후 개발 계획을 발표했습니다:
- 가벼운 접근성과 강력한 성능 사이의 간극을 메우기 위해 곧 출시될 2.6B 매개변수 Gemma 2 모델.
- 새로운 아키텍처를 탐색하고 더 광범위한 AI 작업과 과제를 위한 특화된 Gemma 변형을 개발합니다.
접근성 및 통합
- Gemma 2는 CPU, GPU, TPU 등 다양한 하드웨어 구성에서 실행되도록 설계되었습니다.
- 또한 널리 사용되는 AI 개발 도구 및 프레임워크와의 통합을 지원합니다.
- Google은 애플리케이션을 구축하고 Gemma 2 모델을 미세 조정하기 위한 실용적인 예제와 레시피를 제공하는 Gemma Cookbook과 같은 리소스를 제공하고 있습니다.
책임감 있는 AI 고려 사항
Google은 Gemma 2에서 다음과 같은 책임감 있는 AI 관행을 강조합니다:
- 안전하고 책임감 있는 결과물을 위한 엄격한 표준을 준수합니다.
- 개발자가 적절한 콘텐츠 안전 보호 장치를 구현하도록 권장합니다.
- 잠재적인 오용을 완화하기 위한 교육 리소스 및 보고 메커니즘 제공.
Gemma 2는 AI 개발자와 연구자에게 향상된 성능, 효율성, 다용도성을 제공하는 개방형 LLM의 중요한 진보를 의미합니다.
- 게시물이 없습니다.
가사라님의 댓글
LMSYS leaderboard 에 보니 Gemma 2 27b 가 Llama 3 70b 보다 점수가 더 좋네요.
Gemini 1.5 Flash 보다 살짝 떨어지는 정도입니다.
파인튜닝 모델들도 나오기 시작했고요.
연말에 Llama 3 400b 도 나온다고 하고, 오픈소스 LLM 들이 계속 흥하겠네요.
엉클머리님의 댓글
엉클머리님의 댓글의 댓글
plaintext님의 댓글
돌려볼 스펙이 안되는게 아쉽지만요 ㅎㅎ
동탄토깽이님의 댓글
지켜줄게님의 댓글의 댓글
동탄토깽이님의 댓글의 댓글
지켜줄게님의 댓글의 댓글
동탄토깽이님의 댓글의 댓글
엉클머리님의 댓글의 댓글
로얄가드님의 댓글
대체로 ollama나 GP4ALL 정도면 할만 할겁니다
x파리도새다님의 댓글
모바일 3070으로 13B 겨우 돌아가는데.쩝. nvidia 주식 더 오르겠네요.
엉클머리님의 댓글