아무도 모르는 AI 능력, 측정과 평가는 어떻게?
알림
|
페이지 정보
작성일
2024.04.18 11:05
본문
AI 모델을 끊임없이 사용하는 사람도 다양한 제품 중 상대적인 장단점을 파악하는 것은 어렵습니다. 대부분 회사는 사용자 설명서나 자세한 릴리즈 노트를 제공하지 않습니다. 모델이 너무 자주 업데이트되기에 어제의 작업에서 어려움을 겪던 AI가 다음 날에는 (신기하게도) 훌륭하게 수행할 수 있습니다. 표준화된 평가가 없으므로 다양한 AI 모델의 한계와위험을 체계적으로 비교하는 것은 매우 힘든 일입니다.
공공과 민간의 공동의 노력이 필요합니다. 정부는 AI 모델의 기본 기능과 안전 위험을 모두 측정하는 강력한 테스트 프로그램을 마련해야 합니다. 지난해 미 정부는 국립표준기술연구소를 포함한 여러 연방기관에 AI 시스템을 평가하는 새로운 방법을 만들고 감독하도록 지시했습니다. 기업도 제3자 평가자/감사자와 협력해 AI 모델을 테스트하고, 업데이트될 때마다 투명하게 공개해야 합니다. 미디어와 인간 평가자가 참여해 AI 모델을 지속해서 평가하고, 그 결과를 공개하는 것도 좋은 방법입니다.
댓글 4
/ 1 페이지
엘레지님의 댓글의 댓글
@누구나님에게 답글
올바른 방향으로 AI를 활용하고 고도화하기 위해서도 정부의 정책적 노력이 필요해 보입니다. 사익을 추구하는 기업에게 정의로운 책임감을 바라는 것은 무리이지 않을까 싶습니다.
스토니안님의 댓글
한국에서 모델 평가? 순위 매기는 서비스가 있는 것으로 봤습니다. 공공 주도는 그렇게 좋지 않습니다. 미국에서 정부가 나서는 것은 그만큼 중요한 아젠다여서 의지를 보여주느라 하는 것이고, 결국은 민간이 주도할 것입니다. 예를 들어, 자동차, 소비재 등등의 평가는 민간이 훨씬 잘 하고, 정부는 규제, 법규 관리를 하지요. 미국에서도 정부가 initiative 를 가질 수는 있지만, 결국은 민간이 제일 잘 할 수 있을 것입니다. // 미국에서 오래 살아 보면서, 한국을 바라보면, 너무 정부 주도가 많습니다. 정부가 자원을 배부하고, 무슨 일이 있으면 정부가 과제를 정하고, 민간에게 시키는 형식입니다. 그건 예전 개발도상국 시절에는 가능하고 좋은 방식인지 몰라고, 지금은 민간이 나서서 하고, 정부는 최소한의 지원 및 규제 정비 정도를 해야하지요.
엘레지님의 댓글의 댓글
@스토니안님에게 답글
매우 어려운 문제이지만, AI 관련해서는 정부와 민간의 균형이 그 어느 기술보다 필요해 보입니다. 개인적으로 AI가 인류의 미칠 영향은 그 이전 다른 기술보다 더 (엄청나게) 클 것으로 예상되기 때문입니다. 공동의 노력과 공동의 협력/합의에 의한 측정과 평가 지표가 있어야 하지 않을까 싶기도 합니다. 또한 각 나라마다 AI 기술 수준과 상황이 다르니 이러한 부분도 고려해야 할 것 같습니다. AI 주권 문제와도 연계돼 있으니 말이죠.
누구나님의 댓글