IT
메타, 라마 3 공개 - 현존 공개 언어 모델 중 최상급이라고 주장
아름다운별

Lv.1 아름다운별 (117.♡.24.205)

2024년 4월 19일 AM 01:19 · 수정됨(11:58)

조회 2,912 공감 0

 

 

(기사 일부 Claude 3 Opus 번역)

메타가 오픈 소스 생성형 AI 모델 라마 시리즈의 최신작인 라마 3를 발표했습니다.

 

정확히 말하자면, 회사는 새로운 라마 3 제품군에서 두 가지 모델을 오픈 소스로 공개했으며, 나머지는 아직 정해지지 않은 미래 날짜에 공개될 예정입니다.

 

메타는 80억 개 파라미터를 포함하는 라마 3 8B와 700억 개의 파라미터를 포함하는 라마 3 70B를 이전 세대 라마 모델인 라마 2 8, 70B와 비교하여 성능 측면에서 "큰 도약"이라고 설명합니다. (파라미터는 기본적으로 텍스트 분석 및 생성과 같은 문제에 대한 AI 모델의 능력을 정의합니다. 일반적으로 파라미터 수가 많은 모델이 파라미터 수가 적은 모델보다 더 유능합니다.)

 

실제로, 메타는 24,000개의 GPU 클러스터 2개에서 훈련된 라마 3 8B와 70B가 각각 파라미터 수와 비교하면 현재 사용 가능한 생성형 AI 모델 중 가장 성능이 뛰어나다고 합니다.

[이후 내용 생략]

댓글 (11)

  • 난나ㅋ

    난나ㅋ Lv.1

    24.04.19 · 121.♡.76.146

    아래 주소에서 해볼 수 있지만 아직 지원되지 않는 국가라고 나오네요.
    https://www.meta.ai/
  • 가사라

    가사라 Lv.1

    24.04.19 · 248.♡.48.138

    4050억 모델은 아직 학습 중이며, 올해 말 출시 예정이라고 합니다.
    RAG 도 지원한다고 하고, 특히 이걸 오픈소스로 풀고 있으니 대단한거죠.

    Gemini 1.5, GPT-4, Claude 3, Grok 1.5 에 이어 Llama 3 까지 선두다툼을 벌이는 형국이네요.
    Mixtral 8x22B, Command R+ 같은 애들도 뒤쫓고 있는데 AI 군비경쟁은 끝이 없군요.
  • pkjoohwan

    pkjoohwan Lv.1 → 가사라

    24.04.19 · 175.♡.249.53

    Llama2 기준 60-70B 성능은… 선두보단 상당히 많이 뒤떨어집니다.
    405B가 나와도 그래봐야 GPT4 1/4 수준이라… 큰 희망은 안 가져야 할듯 합니다.
  • 현자타임

    현자타임 Lv.1 → pkjoohwan

    24.04.19 · 125.♡.194.161

    instruct모델 기준으로, Llama3 8B가 Llama2 70B 를 모든 벤치마크에서 압도하던데요.
    405B는 MoE가 아니라서 MoE인 GPT4보다 낫다고 해도 이상하지 않고요. 학습 도중의 벤치마크 결과도 이미 인상적입니다.
  • pkjoohwan

    pkjoohwan Lv.1 → 현자타임

    24.04.19 · 255.♡.12.162

    말씀대로 MoE가 아니라면, GPT 4 의 쿼리시 활성 파라미터 수에 조금 못미치는 규모인데.. 일상적인 분야의 추론능력 등에서는 인상적인 성능을 낼 수도 있겠네요. 이 부분은 더 정보를 보아야 결론이 나겠지만 기대 반 걱정 반이긴 합니다.
  • 고약상자

    고약상자 Lv.1

    24.04.19 · 65.♡.134.109

    몇가지 제 연구에 필요한 정보를 물어봤는데, 정확하게 찾아주네요. 도움이 많이 될 것 같습니다.
  • 육손백언

    육손백언 Lv.1

    24.04.19 · 118.♡.10.161

    자화자찬 아닌가요
  • 지푸라기

    지푸라기 Lv.1

    24.04.19 · 1.♡.33.26

    많은 양을 처리할 수 있는건 장점이 되지만
    그 결과물이 의미 있어야죠

    지금까지 많은 대항마가 나왔지만
    기계적인 답변이 아닌 내가 대화하고 있구나~를 느끼게 해주는 AI로는
    ChatGPT가 가장 뛰어난 듯 합니다.
  • Life2Buff

    Life2Buff Lv.1

    24.04.19 · 59.♡.207.48

    경쟁 때문인지는 몰라도 Generative AI 발전이 엄청 빠르긴 하네요.
  • XZXZ

    XZXZ Lv.1

    24.04.19 · 119.♡.25.71

    메타가 열심히 해서 좋습니다.
    경쟁은 항상 좋죠!

댓글을 작성하려면 이 필요합니다.