인공지능 벤치마크 Geekbench AI 1.0 버전 출시
페이지 정보
본문
[공식 블로그] Geekbench AI 1.0
https://www.geekbench.com/blog/2024/08/geekbench-ai/
* Tom's Hardware 기사
Geekbench AI gets renamed, hits version 1.0
[※ 내용 일부 Claude 3.5 Sonnet 번역 후 다듬음]
Geekbench가 인공지능 벤치마크를 본격 출시합니다.
개발사 Primate Labs에서 최근 Geekbench AI를 버전 1.0으로 업그레이드했습니다.
(이전 프리뷰 때는 'Geekbench ML'이라는 이름이었음)
윈도우, 리눅스, 맥OS와 함께
구글 플레이 스토어를 지원하는 안드로이드 기기,
애플 앱 스토어를 통해서 아이폰과 아이패드용으로도 출시됐습니다.
일반 Geekbench에서 CPU에 대해 2가지 점수를 제공하듯이, Geekbench AI도 여러 점수를 사용합니다.
정밀도마다 다른 3가지 점수를 매깁니다. 단정밀도 데이터, 반정밀도 데이터, 양자화 데이터입니다.
(※ 원어 표현 : single-precision data, half-precision data, quantized data)
Primate Labs 설명으로는 'AI 성능의 다차원적 특성과 다양한 하드웨어 설계 영향을 더 잘 설명하기 위해서'입니다.
여기에 또 다른 요소도 있습니다. 바로 정확성입니다.
테스트마다 추가로 이루어지는 측정은 워크로드(workload)가
예상 결과를 얼마나 정확히 제공하는지 확인합니다.
Primate Labs는 이것을 설명하기 위해 핫도그 존재를 감지하는 모델을 예로 들었습니다.
"여러분의 핫도그 객체 감지 모델이 아주 빠르게 작동할 수 있지만,
실제로 핫도그가 있을 때 정확히 감지할 확률이 0.2%에 불과하다면,
그렇게 좋은 모델이 아닙니다"라고 설명했습니다.
"이런 정확도 측정은 개발자들이 더 작은 데이터 유형 장단점을 파악하는 데도 도움이 됩니다.
작은 데이터 유형은 성능과 효율성을 높일 수 있지만, 정확도가 낮아질 가능성이 있습니다.
성능 평가 시 저희 데이터베이스를 통한 정확도 비교는 개발자들이 상대적 효율성을 예측하는 데 유용할 수 있습니다."
AI 1.0 공개와 함께 많은 새로운 프레임워크가 제공됩니다.
- 윈도우에서 OpenVINO, ONNX, Qualcomm QNN을
- 리눅스에서 OpenVINO를
- 안드로이드에서 Samsung ENN, ArmNN, Qualcomm QNN 등 '벤더별 TensorFlow Lite Delegates'를 지원합니다.
회사는 더 많은 데이터셋도 추가할 것이라고 밝혔습니다.
[…이후 내용 생략…]
[아래 윈도우 11에서 실행하는 화면입니다. 출처는 공식 블로그.]
MDBK님의 댓글
(다 안읽었습니다..)핫도그 감지로 ai성능을 측정하다니요..