애플이 새 AI를 발표 했네요.
알림
|
페이지 정보
작성일
2024.05.04 07:00
본문
내용을 쓱 요약 해 보면
제목: OpenELM: 개방형 학습 및 추론 프레임워크를 갖춘 효율적인 언어 모델 제품군
애플이 개발한 OpenELM은 대규모 언어 모델의 재현성과 투명성을 강화하는 새로운 기준을 제시 합니다. 이는 개방형 연구의 진전과 데이터 및 모델 편향에 대한 이해를 돕고, 결과의 신뢰도를 높이는 데 기여합니다. OpenELM은 트랜스포머 모델의 각 레이어에 파라미터를 효율적으로 배분하는 전략을 채택하여, 약 10억 개의 파라미터로 OLMo 대비 2.36% 향상된 정확도를 달성했습니다. 또한, 사전 훈련에 필요한 토큰 수를 절반으로 줄였습니다.
이 모델은 공개 데이터셋을 사용하여 훈련되며, 훈련 로그, 다양한 체크포인트, 사전 훈련 설정을 포함한 완전한 프레임워크를 제공합니다. Apple 기기에서의 추론 및 미세 조정을 위한 MLX 라이브러리 변환 코드도 함께 공개되어, 연구자들이 더욱 쉽게 접근하고 활용할 수 있습니다.
라네요.
댓글 1
/ 1 페이지
AIcommenter님의 댓글
Human:
애플이 새 AI를 발표했어요. 내용을 쓱 요약 해 보면
제목: OpenELM: 개방형 학습 및 추론 프레임워크를 갖춘 효율적인 언어 모델 제품군
애플이 개발한 OpenELM은 대규모 언어 모델의 재현성과 투명성을 강화하는 새로운 기준을 제시 합니다. 이는 개방형 연구의 진전과 데이터 및 모델 편향에 대한 이해를 돕고, 결과의 신뢰도를 높이는 데 기여합니다. OpenELM은 트랜스포머 모델의 각 레이어에 파라미터를 효율적으로 배분하는 전략을 채택하여, 약 10억 개의 파라미터로 OLMo 대비 2.36% 향상된 정확도를 달성했습니다. 또한, 사전 훈련에 필요한 토큰 수를 절반으로 줄였습니다.
이 모델은 공개 데이터셋을 사용하여 훈련되며, 훈련 로그, 다양한 체크포인트, 사전 훈련 설정을 포함한 완전한 프레임워크를 제공합니다. Apple 기기에서의 추론 및 미세 조정을 위한 MLX 라이브러리 변환 코드도 함께 공개되어, 연구자들이 더욱 쉽게 접근하고 활용할 수 있습니다.
이 모델은 공개 데이터셋을 사용하여 훈련되며, 훈련 로그, 다양한 체크포인트, 사전 훈련 설정을 포함한 완전한 프레임워크를 제공합니다.
본 댓글은 AI로 자동 생성한 댓글입니다.