맞춤형 모델 교육 프로그램을 확장하는 OpenAI

TechCrunch

맞춤형 모델 트레이닝 프로그램을 확장하는 OpenAI

카일 위거스@kyle_l_wiggers / 12:33 AM GMT+9- 4월 5일, 2024

OpenAI는 기업 고객이 특정 사용 사례, 도메인 및 애플리케이션에 맞게 자사 기술을 사용하여 맞춤형 생성 AI 모델을 개발할 수 있도록 지원하는 커스텀 모델 프로그램을 확장하고 있습니다.

커스텀 모델은 지난해 OpenAI의 첫 번째 개발자 컨퍼런스인 DevDay에서 시작되었으며, 기업들에게 특정 도메인에 맞게 모델을 훈련하고 최적화하기 위해 OpenAI 전담 연구자 그룹과 협력할 수 있는 기회를 제공합니다. 그 이후로 "수십" 개의 고객이 커스텀 모델에 등록했습니다. 그러나 OpenAI는 이 초기 사용자들과 함께 일하면서 "성능을 극대화"하기 위해 프로그램을 더욱 성장시켜야 할 필요성을 깨닫게 되었다고 말합니다.

따라서 지원 미세 조정과 맞춤형 학습 모델을 개발하게 되었습니다.

맞춤형 모델 프로그램의 새로운 구성 요소인 보조 미세 조정은 OpenAI의 표현을 빌리자면 "추가 하이퍼파라미터 및 대규모의 다양한 파라미터 효율적인 미세 조정 방법"과 같은 미세 조정 이상의 기술을 활용하여 조직이 데이터 학습 파이프라인, 평가 시스템 및 기타 지원 인프라를 설정하여 특정 작업에서 모델 성능을 강화할 수 있도록 지원합니다.

맞춤형 학습 모델의 경우, "모델을 보다 심층적으로 미세 조정"하거나 "새로운 도메인별 지식을 주입"해야 하는 고객을 위해 OpenAI의 기본 모델과 도구(예: GPT-4)를 사용해 구축한 맞춤형 모델이라고 OpenAI는 설명합니다.

OpenAI는 한국의 거대 통신사인 SK텔레콤을 예로 들며, OpenAI와 협력하여 한국어 '통신 관련 대화'에서 성능을 개선하기 위해 GPT-4를 미세 조정했다고 설명합니다. 또 다른 고객사인 Harvey는 OpenAI의 AI 전문 벤처 부문인 'OpenAI 스타트업 펀드'의 지원을 받아 AI 기반 법률 도구를 개발하고 있으며, 수억 단어의 법률 텍스트와 공인 전문 변호사의 피드백을 통합한 맞춤형 판례법 모델을 만들기 위해 OpenAI와 협력했습니다.

OpenAI는 블로그 게시물에서 "앞으로 대다수의 조직이 산업, 비즈니스 또는 사용 사례에 맞는 맞춤형 모델을 개발할 것이라고 믿습니다. 맞춤형 모델을 구축하는 데 사용할 수 있는 다양한 기술을 통해 모든 규모의 조직은 개인화된 모델을 개발하여 AI 구현에서 보다 의미 있고 구체적인 영향을 실현할 수 있습니다."라고 말합니다.

OpenAI는 연간 매출 20억 달러에 육박하는 놀라운 성과를 거두며 고공행진을 이어가고 있습니다. 그러나 이 회사가 Microsoft와 공동 개발한 1,000억 달러 규모의 데이터 센터를 계획하고 있는 만큼(보도가 사실이라면) 속도를 유지해야 한다는 내부적인 압박이 분명히 존재합니다. 주력 생성형 AI 모델을 훈련하고 제공하는 데 드는 비용이 조만간 낮아지지는 않을 것이며, 맞춤형 모델 훈련과 같은 컨설팅 작업은 OpenAI가 다음 단계를 계획하는 동안 수익을 계속 증가시킬 수 있는 방법일 수 있습니다.

또한 미세 조정된 맞춤형 모델은 OpenAI의 모델 서비스 인프라에 대한 부담을 덜어줄 수 있습니다. 맞춤형 모델은 많은 경우 범용 모델보다 더 작고 성능이 뛰어나며, 생성형 AI에 대한 수요가 급증함에 따라 컴퓨팅 용량에 어려움을 겪고 있는 OpenAI에 매력적인 솔루션이 될 것입니다.

확장된 커스텀 모델 프로그램 및 커스텀 모델 구축과 함께, 오늘 OpenAI는 모델 품질 및 성능 비교를 위한 새로운 대시보드, 타사 플랫폼과의 통합 지원(AI 개발자 플랫폼 Weights & Biases부터 시작), 향상된 툴링 기능 등 GPT-3.5를 사용하는 개발자를 위한 새로운 모델 미세 조정 기능을 공개했습니다. 하지만 DevDay 기간 동안 얼리 액세스로 출시된 GPT-4의 미세 조정에 대한 소식은 아직 없습니다.

- DeepL로 번역후 일부 수정

팡

팡파파팡

24.04.07 · 211.♡.235.47

오늘 여유가 좀 생겨서, LlaMa 나 qwen 같은 모델을 테스트해볼 기회가 생겨서 해 봤는데

너무 실망했습니다. GPT-4 발매 이후, 쭉 구독해서 써왔는데. 차이가 이렇게 크게 벌어져 있을 거라고는 상상도 못했어요.

다만, 전문인력이 Fine tuning 을 한다면 이야기가 달라질 수도 있겠구나 했는데 정말 GPT를 뛰어넘는다는게 현실적으로 얼마나 어려운 일인지 새삼 느끼게 되었습니다.

시간이 흘러가면 요새 관심이 뜨거운 클로드3 처럼 GPT-4에 버금가는 여러 경쟁사들이 꼭 늘어났으면 하는 마음입니다.

하지만 당분간은 GPT-4에서 벗어나긴 어려울 듯 하네요.

댓글을 작성하려면 이 필요합니다.

추가 메뉴

댓글 (1)