생성형 AI API에서 instruction도 비용이 나갈까요?

Lv.1 듀프 (211.♡.197.152)

2024년 12월 6일 AM 08:56 · 수정됨(09:59)

조회 224 공감 0

생성형 AI의 API를 사용해서 상품 평가에 대한 감성분석을 진행 중입니다.

그런데 Input 비용이 output 비용보다 30배가 더 나오네요.

통상 Output이 비싼 것으로 알고 있는데,  왜 그럴까 생각을 해보니,


model에 Instruction 주고, 

for 문을 사용해서 DB각각의 문장을 확인하는 방법이라

질문을 할 때 마다 Instruction까지 같이 Input으로 포함되서 비용이 나가는 것으로 의심이 됩니다. 


구글링해봐도 정확히 답은 안나오는데, 

model에서 Instruction 주는 것은 한번만 정의하는 것이 아니라, 매 질문마다 질문에 포함이 되는 형태로 비용이 계산될까요? 

댓글 (2)

  • B

    BT302546 Lv.1

    24.12.06 · 203.♡.98.129

    저도 API를 사용만 하는 입장이라 정확하게 말씀드리기는 힘들지만, 인스트럭션도 프롬프트에 합쳐져서 나가기 때문에 인풋에 포함되는 것으로 봐야할 것 같습니다. 그리고 for문으로 하면 매번 똑같이 들어갈 것으로 생각됩니다.
  • 듀프 Lv.1 → BT302546 작성자

    24.12.06 · 211.♡.196.90

    귀한 답변 감사합니다.

댓글을 작성하려면 이 필요합니다.