구글, Gemma 2 공개

알림

엉클머리 220.♡.180.115

2024.06.28 10:11

4,101

쓰기 분류

구글에서 Gemma 2 막 공개 했습니다. :-) 추가 비교 자료가 나오면, 댓글 남기겠습니다.

조사 You.com, 요약: Claude 3.5 Sonnet, 번역 deepl

Google의 새로운 모델에 대한 핵심 사항을 요약해 보겠습니다.

Gemma 2 개요

Gemma 2는 기존 Gemma 모델의 성공을 기반으로 구축된 Google의 최신 개방형 LLM(대규모 언어 모델)입니다. 개발자와 연구자를 위한 효율성과 접근성을 유지하면서 최첨단 성능을 제공하도록 설계되었습니다.

모델 크기 및 변형

Gemma 2는 크게 두 가지 크기로 제공됩니다:

1. 90억 개의 파라미터
2. 270억 개의 파라미터

각 사이즈는 두 가지 변형으로 제공됩니다:
- 기본(사전 학습) 모델
- 인스트럭션 튜닝 모델

주요 기능 및 개선 사항

1. 향상된 성능: Gemma 2는 벤치마크에서 기존 모델을 두 배 이상 능가하는 성능을 제공합니다. 이는 특히 27B 파라미터 버전에서 두드러집니다.

2. 훈련 데이터 증가: 첫 번째에 비해 약 2배 더 많은 데이터로 학습되었습니다:
- 27B 버전: 13조 개의 토큰으로 학습
- 9B 버전: 8조 개의 토큰으로 학습

3. 컨텍스트 길이: Gemma 2는 8,192 토큰의 컨텍스트 길이를 유지합니다.

4. 효율성: 동급 최고의 성능과 효율성을 위해 설계되어 개방형 모델 환경에서 새로운 표준을 제시합니다.

5. 다목적성: Gemma 2는 요약 또는 검색 증강 생성(RAG)과 같은 특정 작업에 맞게 미세 조정할 수 있습니다.

향후 개발 계획

Google은 다음과 같은 향후 개발 계획을 발표했습니다:

- 가벼운 접근성과 강력한 성능 사이의 간극을 메우기 위해 곧 출시될 2.6B 매개변수 Gemma 2 모델.
- 새로운 아키텍처를 탐색하고 더 광범위한 AI 작업과 과제를 위한 특화된 Gemma 변형을 개발합니다.

접근성 및 통합

- Gemma 2는 CPU, GPU, TPU 등 다양한 하드웨어 구성에서 실행되도록 설계되었습니다.
- 또한 널리 사용되는 AI 개발 도구 및 프레임워크와의 통합을 지원합니다.
- Google은 애플리케이션을 구축하고 Gemma 2 모델을 미세 조정하기 위한 실용적인 예제와 레시피를 제공하는 Gemma Cookbook과 같은 리소스를 제공하고 있습니다.

책임감 있는 AI 고려 사항

Google은 Gemma 2에서 다음과 같은 책임감 있는 AI 관행을 강조합니다:

- 안전하고 책임감 있는 결과물을 위한 엄격한 표준을 준수합니다.
- 개발자가 적절한 콘텐츠 안전 보호 장치를 구현하도록 권장합니다.
- 잠재적인 오용을 완화하기 위한 교육 리소스 및 보고 메커니즘 제공.

Gemma 2는 AI 개발자와 연구자에게 향상된 성능, 효율성, 다용도성을 제공하는 개방형 LLM의 중요한 진보를 의미합니다.

링크

https://www.kaggle.com/models/google/gemma-2

53 회 연결

댓글 14 / 1 페이지

엉클머리 (220.♡.180.115)

06.28 10:21

제목 수정. 발표 -> 공개로 변경합니다. :-)

가사라 (112.♡.211.243)

06.28 10:22

마침 ollama 에도 쓸 수 있다는 노티가 왔더군요.

LMSYS leaderboard 에 보니 Gemma 2 27b 가 Llama 3 70b 보다 점수가 더 좋네요.
Gemini 1.5 Flash 보다 살짝 떨어지는 정도입니다.

파인튜닝 모델들도 나오기 시작했고요.
연말에 Llama 3 400b 도 나온다고 하고, 오픈소스 LLM 들이 계속 흥하겠네요.