[MS] 미니 AI 모델(Phi-3 Mini) 출시
페이지 정보
본문
AI Tool Report 기사 : Microsoft launches mini AI model (April 25, 2024)
Microsoft는 스마트폰에서 실행되도록 설계된 작고 가벼운 새 언어 모델을 출시했습니다.
Microsoft는 스마트폰 디바이스에 AI 기능을 제공하기 위해 설계된 경량 모델 제품군 중 첫 번째 모델인 Phi-3 Mini(Microsoft Azure AI Studio, Hugging Face 및 Ollama 프레임워크에서 사용 가능)라는 미니 AI 모델을 출시했습니다.
Phi-3 Mini가 더 작은 이유는 무엇인가요?
Phi-3 Mini의 파라미터 수는 38억 개로, 약 1조 개에 달하는 것으로 알려진 GPT-4 및 Llama 3와 같은 모델보다 훨씬 적습니다.
이것은 무엇을 의미할까요?
AI에서 매개변수는 AI 모델이 복잡한 작업을 처리하는 방식과 관련이 있습니다: 언어 모델에 매개변수가 많을수록 모델 규모가 커지고 실행에 필요한 컴퓨팅 성능이 높아집니다. 그러나 모델에 매개변수가 많을수록 미묘한 요청을 더 잘 처리할 수 있고 문맥을 파악하고 자연어 등을 더 잘 이해할 수 있다는 의미이기도 합니다.
하지만 더 작은 모델인 Phi-3 Mini는 복잡한 작업을 위해 설계되지 않았습니다. 이메일 초안 작성, 지역 맛집 찾기, 데이터 분석, 문서 요약, 기본적인 챗봇 상호작용과 같은 보다 단순하고 일상적인 작업을 처리하도록 설계되었습니다.
따라서 Phi-3 Mini는 크기가 작기 때문에 대형 LLM에 필요한 값비싸고 탄소 배출량이 많은 엄청난 양의 연산 능력이 필요하지 않으므로 스마트폰에서 더 저렴한 비용으로 실행할 수 있으며 환경에 미치는 피해도 적습니다.
Phi-3 Mini는 다른 대형 언어 모델과 비교했을 때 어떤 성능을 발휘하나요?
Phi-3 Mini는 더 작고 가벼우면서도 대형 언어 모델에 버금가는 성능을 제공합니다: 예를 들어, 자연어 이해력에서는 라마 3를 능가하고 산술 추론에서는 GPT-3.5와 라마 3를 모두 능가했습니다.
비록 퀴즈와 사실적인 지식에서는 낮은 점수를 받았지만, 연구자들은 이러한 '약점'이 검색 엔진과 통합되면 해결될 것으로 보고 있습니다.
Phi-3 Mini는 어떻게 대형 모델의 성능을 따라잡을 수 있나요?
Phi-3 Mini는 고품질의 교육용 웹 및 합성 데이터로 학습되었습니다. 연구원들은 데이터의 양보다 질에 우선순위를 두었기 때문에 더 적은 수의 파라미터로 실행하면서도 정확도를 유지할 수 있습니다.
고품질 데이터뿐만 아니라, 연구원들은 아이들이 더 쉬운 언어로 된 이야기를 읽으며 학습하는 방식에서 영감을 얻어 동화책에 대한 학습도 진행했습니다.
- DeepL 번역후 부분 수정
아름다운별님의 댓글
* 논문 - 마이크로소프트 Phi-3 Mini 언어 모델, 스마트폰에서 실행 가능
https://damoang.net/new/4318