챗gpt 답변속도가 느려져씁니다...
E
Exhaust (14.♡.247.236)
2025년 4월 16일 PM 09:54 · 수정됨(04. 17. 00:04)
조회 1,093 공감 0
메모리 기능 때문인건지 아니면 대화가 많이 쌓여 분석할 게 늘어나서 그런건지
원래 파파팍 하고 떴는데 조금 버퍼링이 걸리네요
댓글 (7)
-
귤귤알갱이
25.04.16 · 211.♡.137.78
한 대화가 길어져도 버벅이고 누적된 대화가 많아도 버벅입니다. 주기적으로 관리해줘야 합니다. - E
Exhaust
→ 귤알갱이 작성자 25.04.16 · 14.♡.247.236
아 누적될수록 정확한 데이터 쌓인다고 해서 일부러 누적시키고 있었는데 이런 문제가 또 있었군요 -
도도깨비방뫙
25.04.16 · 106.♡.66.19
그러다가 대화가 많이 쌓여서 더 진행안된다고 빨갛게 뭐라 그럽니다.
새로 대화열면 좀 나아집니다. (이전 이력은 이전안됨) - E
Exhaust
→ 도깨비방뫙 작성자 25.04.16 · 14.♡.247.236
그래서 대화별로 챕터 파서 재정리 중입니다 -
칼칼쓰뎅
25.04.16 · 119.♡.210.192
대화가 쌓이면 느려질수밖에 없는 구조입니다. 지금까지의 대화가 모두 프롬프트로 들어가거든요.
본질적으로 llm은 stateless 구조에요. 그래서 대화를 이어간다기보다는...
지금까지 했던 얘기를 계속 입력하고 거기에 덧붙이는겁니다.
그러다가 context window를 넘어가게되면 젤 앞에 했던 얘기는 까먹죠 ㅋ - E
Exhaust
→ 칼쓰뎅 작성자 25.04.16 · 14.♡.247.236
흑흑 아직은 한계가 명확하군요 - 칼
칼쓰뎅
→ Exhaust 25.04.17 · 119.♡.210.192
https://www.reddit.com/r/LocalLLaMA/comments/1jsx7m2/fictionlivebench_for_long_context_deep/
길어지면서 떡락하는 수치들 보실수있습니다.
거기에다가 요새 다들 reasoning 붙이기때문에 토큰소모가 굉장히 큽니다.
댓글을 작성하려면 이 필요합니다.