메타, 라마 3 공개 - 현존 공개 언어 모델 중 최상급이라고 주장

알림

아름다운별 117.♡.24.205

2024.04.19 01:19

2,690

쓰기 분류

공식 - Meta Llama 3
- https://llama.meta.com/llama3/

TechCrunch 기사 - Meta releases Llama 3, claims it’s among the best open models available
- https://techcrunch.com/2024/04/18/meta-releases-llama-3-claims-its-among-the-best-open-models-available/

(기사 일부 Claude 3 Opus 번역)

메타가 오픈 소스 생성형 AI 모델 라마 시리즈의 최신작인 라마 3를 발표했습니다.

정확히 말하자면, 회사는 새로운 라마 3 제품군에서 두 가지 모델을 오픈 소스로 공개했으며, 나머지는 아직 정해지지 않은 미래 날짜에 공개될 예정입니다.

메타는 80억 개 파라미터를 포함하는 라마 3 8B와 700억 개의 파라미터를 포함하는 라마 3 70B를 이전 세대 라마 모델인 라마 2 8, 70B와 비교하여 성능 측면에서 "큰 도약"이라고 설명합니다. (파라미터는 기본적으로 텍스트 분석 및 생성과 같은 문제에 대한 AI 모델의 능력을 정의합니다. 일반적으로 파라미터 수가 많은 모델이 파라미터 수가 적은 모델보다 더 유능합니다.)

실제로, 메타는 24,000개의 GPU 클러스터 2개에서 훈련된 라마 3 8B와 70B가 각각 파라미터 수와 비교하면 현재 사용 가능한 생성형 AI 모델 중 가장 성능이 뛰어나다고 합니다.

[이후 내용 생략]

댓글 11 / 1 페이지

잠만보 (121.♡.76.146)

04.19 01:48

아래 주소에서 해볼 수 있지만 아직 지원되지 않는 국가라고 나오네요.
https://www.meta.ai/

maplus (248.♡.48.138)

04.19 03:17

4050억 모델은 아직 학습 중이며, 올해 말 출시 예정이라고 합니다.
RAG 도 지원한다고 하고, 특히 이걸 오픈소스로 풀고 있으니 대단한거죠.

Gemini 1.5, GPT-4, Claude 3, Grok 1.5 에 이어 Llama 3 까지 선두다툼을 벌이는 형국이네요.
Mixtral 8x22B, Command R+ 같은 애들도 뒤쫓고 있는데 AI 군비경쟁은 끝이 없군요.

pkjoohwan (175.♡.249.53)

04.19 05:20

@maplus님에게 답글 Llama2 기준 60-70B 성능은… 선두보단 상당히 많이 뒤떨어집니다.
405B가 나와도 그래봐야 GPT4 1/4 수준이라… 큰 희망은 안 가져야 할듯 합니다.

현자타임 (125.♡.194.161)

04.19 10:10

@pkjoohwan님에게 답글 instruct모델 기준으로, Llama3 8B가 Llama2 70B 를 모든 벤치마크에서 압도하던데요.
405B는 MoE가 아니라서 MoE인 GPT4보다 낫다고 해도 이상하지 않고요. 학습 도중의 벤치마크 결과도 이미 인상적입니다.

pkjoohwan (255.♡.12.162)

04.19 10:43

@현자타임님에게 답글 말씀대로 MoE가 아니라면, GPT 4 의 쿼리시 활성 파라미터 수에 조금 못미치는 규모인데.. 일상적인 분야의 추론능력 등에서는 인상적인 성능을 낼 수도 있겠네요. 이 부분은 더 정보를 보아야 결론이 나겠지만 기대 반 걱정 반이긴 합니다.