생성형 AI API에서 instruction도 비용이 나갈까요?
듀
듀프 (211.♡.197.152)
2024년 12월 6일 AM 08:56 · 수정됨(09:59)
조회 224 공감 0
생성형 AI의 API를 사용해서 상품 평가에 대한 감성분석을 진행 중입니다.
그런데 Input 비용이 output 비용보다 30배가 더 나오네요.
통상 Output이 비싼 것으로 알고 있는데, 왜 그럴까 생각을 해보니,
model에 Instruction 주고,
for 문을 사용해서 DB각각의 문장을 확인하는 방법이라
질문을 할 때 마다 Instruction까지 같이 Input으로 포함되서 비용이 나가는 것으로 의심이 됩니다.
구글링해봐도 정확히 답은 안나오는데,
model에서 Instruction 주는 것은 한번만 정의하는 것이 아니라, 매 질문마다 질문에 포함이 되는 형태로 비용이 계산될까요?
댓글 (2)
- B
BT302546
24.12.06 · 203.♡.98.129
저도 API를 사용만 하는 입장이라 정확하게 말씀드리기는 힘들지만, 인스트럭션도 프롬프트에 합쳐져서 나가기 때문에 인풋에 포함되는 것으로 봐야할 것 같습니다. 그리고 for문으로 하면 매번 똑같이 들어갈 것으로 생각됩니다. - 듀
듀프
→ BT302546 작성자
24.12.06 · 211.♡.196.90
귀한 답변 감사합니다.
댓글을 작성하려면 이 필요합니다.