네, 토큰을 쉽게 바꾸어 말하면 글자를 처리하고, 사용자에게 대답하는 양입니다.

이 양은 제한적이에요. 일제한, 주제한, 얼마나 짧은 시간에 얼마나 썻느냐 등 다양하게 제한합니다.

대화가 길어지면 길어질 수록 AI는 이 대화창의 대화내용 전체(실제로는 컴팩트는 되어 있지만)을 처리하는 토큰도 소모합니다.

즉 사용자가 보낸 메세지의 글자수도 토큰,

LLM이 지금까지 누적된 대화를 저장하고 읽고 쓰는 것도 토큰,

LLM이 사용자 메시지와 누적된 대화를 생각하는 것도 토큰,

사용자에게 최종 대답하는 글자수도 토큰.

모든게 토큰입니다.

요즘 채팅창은 제한이 없습니까~? 막상 채팅창은 길게 안쓰고 있네요 ㅎㅎㅎ

짧게 하는 편이 좋습니다.

그리고 길게 하면 문맥이 완벽히 이어질거 같지만 실제로는 컨텍스트는 그리 길지 않기 때문에

컨텍스트를 컴팩트화 시키고, 메모리에 저장하고..

최대한 사람에게는 문맥이 이어지는듯 보이지만 손실된 양의 문맥도 많을거에요~

따라서 메모리되었다면 새 대화에서도 어느정도 이전 문맥을 다시 참고 합니다.

아뇨 원래 지피티 플러스던 제미나이 프로던 일반 대화창에서도 토큰량 제한해서 연산 많이 하는 모델을 제한하는데.. 요즘은 안그럽니까~?