논문 - 마이크로소프트 Phi-3 Mini 언어 모델, 스마트폰에서 실행 가능
페이지 정보
본문
- arXiv 논문 링크 - Phi-3 Technical Report: A Highly Capable Language Model Locally on Your Phone
- The Verge 기사 - Microsoft launches Phi-3, its smallest AI model yet
- Engadget 기사 - Microsoft's lightweight Phi-3 Mini model can run on smartphones
(Engadget 기사 일부 내용 Claude 3 Opus 번역)
마이크로소프트는 새 연구 논문에서 스마트폰 등 로컬 기기에서 실행되도록 설계된 최신 경량 AI 모델인 Phi-3 Mini를 공개했습니다. 이 모델은 마이크로소프트가 가까운 시일 내에 공개할 3가지 소형 Phi-3 언어 모델 중 첫 번째 모델입니다. 클라우드 기반 LLM보다 저렴한 대안을 제공하여 소규모 조직이 AI를 채택할 수 있도록 하는 것이 목적입니다.
마이크로소프트 말에 따르면, 새로운 모델은 이전 Phi-2 소형 모델을 크게 능가하는 성능을 보여주며, Llama 2와 같은 대형 모델에 견줄 만한 수준을 보입니다. Phi-3 Mini가 자체 크기의 10배에 달하는 모델 수준에 근접한 응답을 제공한다고 합니다.
"혁신은 훈련 데이터셋에서 비롯된다"라고 연구 논문은 언급합니다. 논문에서는 언급합니다. 해당 데이터셋은 Phi-2 모델을 기반으로 하지만, "대폭 필터링한 웹 데이터와 합성 데이터"를 활용한다고 연구팀은 설명합니다. 실제로, 별도의 LLM이 이 2가지 작업을 수행하는 데 사용되었으며, 작은 언어 모델이 더 효율적일 수 있도록 새로운 데이터를 효과적으로 생성합니다. The Verge 기사에 따르면, 연구팀은 복잡한 주제를 전달하기 위해 더 단순한 언어를 사용하는 어린이용 책에서 영감을 얻었다고 합니다.
Phi-3 Mini는 아직 클라우드 기반 LLM 결과만큼 생성할 수는 없지만, 수학, 프로그래밍, 학업 시험 등 다양한 작업에서 Phi-2나 다른 소형 언어 모델(Mistral, Gemma, Llama-3-In)보다 우수한 성능을 보여줍니다. 동시에, 인터넷 연결 없이도 스마트폰과 같은 단순한 기기에서 실행될 수 있습니다. [이후 내용 생략]
점수 표
표면장력님의 댓글