LLM API 쓰는 것도 쉽진 않네요
알림
|
페이지 정보
작성일
2024.06.14 16:12
본문
API 호출만 하면 되지 싶었는데
프롬프트 만드는 게 일이군요.
답변 데이터가 길어지지 않게 개수 조절 내용을 프롬프트에 넣어도 원하는대로 작동이 안되더라고요.
지금은 잘 되긴 하는데 프롬프트 설정에 하루를 보내고 나니 현타가 옵니다.
댓글 9
찹쌀떡팥앙꼬님의 댓글의 댓글
@스패무스님에게 답글
안그래도 부족한데 프롬프트에 더 추가해야 하는 사항들..
한글로 답변, 내용 체크, 이런걸 추가해서 낭비하는 토큰들이 ..
비용을 볼때마다 한숨이 나오죠...
한글로 답변, 내용 체크, 이런걸 추가해서 낭비하는 토큰들이 ..
비용을 볼때마다 한숨이 나오죠...
스패무스님의 댓글의 댓글
@찹쌀떡팥앙꼬님에게 답글
"You are a helpful assistant. Answer the questions based only on the given text content."
"Use respectful language and provide detailed and informative answers."
"Do not use any outside information or make assumptions. Provide detailed and informative mention based only on the given text."
"Do not mention it when it is unnecessary, such as the date or time"
"Do not mention about speculation or assumptions"
"If there is no one who can answer the text file attached, there is no need to answer the questioner's question"
"The answers should be as short and clear as possible, and they should be answered in Korean."
이게 최소한 들어가는 기본 프롬프트입니다..이래도 제대로 안나오고 환상으로 지어낸 말이 다양하게 나옵니다.
"Use respectful language and provide detailed and informative answers."
"Do not use any outside information or make assumptions. Provide detailed and informative mention based only on the given text."
"Do not mention it when it is unnecessary, such as the date or time"
"Do not mention about speculation or assumptions"
"If there is no one who can answer the text file attached, there is no need to answer the questioner's question"
"The answers should be as short and clear as possible, and they should be answered in Korean."
이게 최소한 들어가는 기본 프롬프트입니다..이래도 제대로 안나오고 환상으로 지어낸 말이 다양하게 나옵니다.
찹쌀떡팥앙꼬님의 댓글의 댓글
@스패무스님에게 답글
이렇게 정중하게 작성하셨는데 ㅎㅎㅎ 나쁜 GPT 녀석..
이게 첨 어려운게 조합해서 데이터를 체크하고 요약해서 만들어 라고 해서
데이터도 제공하고 프롬프트도 주는데 여기서도 내용이 달라지니 좀 그렇더라구요..
비슷한 맥락이면 넘어 가는데 전혀 엉뚱하게 판단하고 만들때도 있어서요..
RAG로 데이터를 전달해서 다시 재가공 하는데 재가공때 이때 위험 손실이 들어 가는거 같아요..
최대한 원문 내용을 병합만 해서 제공하라고 해서 처리는 중인데...
점점 늘어 나는 context 와 토큰 비요잉 무섭죠...
뭣 하면 400백 토근이 금방 사용되니까요.. 가랑비에 옷젖는 기분이랄까요
이게 첨 어려운게 조합해서 데이터를 체크하고 요약해서 만들어 라고 해서
데이터도 제공하고 프롬프트도 주는데 여기서도 내용이 달라지니 좀 그렇더라구요..
비슷한 맥락이면 넘어 가는데 전혀 엉뚱하게 판단하고 만들때도 있어서요..
RAG로 데이터를 전달해서 다시 재가공 하는데 재가공때 이때 위험 손실이 들어 가는거 같아요..
최대한 원문 내용을 병합만 해서 제공하라고 해서 처리는 중인데...
점점 늘어 나는 context 와 토큰 비요잉 무섭죠...
뭣 하면 400백 토근이 금방 사용되니까요.. 가랑비에 옷젖는 기분이랄까요
찹쌀떡팥앙꼬님의 댓글
그렇죠 프롬프트 만드는게 일에요.. 토큰좀 줄여보겠다고 절약하면 전혀 다른 내용이 리턴되고...
생성형이다 보니 당연히 다른 패턴의 답이 나오긴 하는데 정말 생각과 다른 내용이 나와서 틀어지면 ㅠㅠ
생성형이다 보니 당연히 다른 패턴의 답이 나오긴 하는데 정말 생각과 다른 내용이 나와서 틀어지면 ㅠㅠ
간실장님의 댓글
프롬프트는 한계가 있습니다. RAG를 잘 해야 합니다.
명령를 잘 한다고 해도, 문서나 자료를 엄하게 찾아온다면 결과물이 안 좋게 나옵니다.
개발시에는 주피터 사용하시고.. 기본 밑작업은 3.5에서 사용하고, 만족스러운 결과물이 나온뒤 4.0이상으로 올려서 테스트해 보고, 다시 버전 내려서 체크하고 하면 요금 타격이 거의 없습니다.
명령를 잘 한다고 해도, 문서나 자료를 엄하게 찾아온다면 결과물이 안 좋게 나옵니다.
개발시에는 주피터 사용하시고.. 기본 밑작업은 3.5에서 사용하고, 만족스러운 결과물이 나온뒤 4.0이상으로 올려서 테스트해 보고, 다시 버전 내려서 체크하고 하면 요금 타격이 거의 없습니다.
까만거북이님의 댓글
솔직히 저는 포기?했습니다.
어찌어찌 90%?의 확률로 원하는 규격의 답변을 빼는 것까지는 해냈는데, 어쨌든 그러나저러나 100%로 제가 원하는 규격의 답을 내어주지 않으니, 사용자들이 오류나 버그라고 생각하더라구요.
원하는 규격이 아니면, 다시 요청하는 로직을 넣었는데, 이상하게 또 그럴 때는 무한루프처럼 계속 돌고 돌기도 합니다. -ㅁ-
컴퓨터라는게 확실하다는 장점을 갖고 있다고 생각했는데, AI는 그렇지 않은 것 같아요.ㅠㅠ
어찌어찌 90%?의 확률로 원하는 규격의 답변을 빼는 것까지는 해냈는데, 어쨌든 그러나저러나 100%로 제가 원하는 규격의 답을 내어주지 않으니, 사용자들이 오류나 버그라고 생각하더라구요.
원하는 규격이 아니면, 다시 요청하는 로직을 넣었는데, 이상하게 또 그럴 때는 무한루프처럼 계속 돌고 돌기도 합니다. -ㅁ-
컴퓨터라는게 확실하다는 장점을 갖고 있다고 생각했는데, AI는 그렇지 않은 것 같아요.ㅠㅠ
코끼리대파님의 댓글의 댓글
@까만거북이님에게 답글
지금의 LLM 기반 AI 는 확률/통계에 기반을 두고있어서
기존의 알고리즘 기반 컴퓨터 프로그램 (A 입력 1,2,3 ... N 단계 -> B 출력) 과는 완전다르죠.
기존의 알고리즘 기반 컴퓨터 프로그램 (A 입력 1,2,3 ... N 단계 -> B 출력) 과는 완전다르죠.
스패무스님의 댓글
어제 잘 쓰던 방식도 오늘 갑자기 영어로 말하지를 않나..
챗지피티 자체가 뭐가 문제가 있는듯합니다.