새로이 선보인 LM Studio API의 Stateful Chats이 대단합니다.

이 /api/v1/chat엔드포인트는 기본적으로 상태를 유지합니다. 즉, 모든 요청에 ​​전체 대화 기록을 전달할 필요가 없습니다. LM Studio가 컨텍스트를 자동으로 저장하고 관리해 줍니다.

이전에 LLM과 대화중 문맥을 유지하려면 계속 LLM에게 문맥줘야 했습니다.

예를 들어

A: 나는 바나나야

B 안녕 바바나야

라는 첫 대화가 있었으면 두번째 대화는

A: 나는 바나나야

B 안녕 바바나야

A: 그래 만나서 반가워

B: 내 이름은 딸기야

이런식으로 주고받은 내용을 매번 보내는 방식이었습니다.

그래서 히스토리에 제한이 커서 한 10개 정도 잡아서 사용했었는데요.

새 LM Studio API는 이제 서버에 채팅 내용을 기억하기 때문에 그냥 새 메세지만 보내면 되는 것입니다. ㄷㄷ

DINKIssTyle-Local-LLM-Gateway-with-TTS ( https://damoang.net/ai/1766 ) 대응하도록 업데이트 하고 있는데..

새로운 문제는 어떻게 문맥을 끊어내느냐가 되었습니다. ㄷㄷ

모델을 다시 로딩해도, 히스토리를 지워도 저를 기억하고 있습니다.

2026-02-04 11:23:16 [INFO] [qwen/qwen3-vl-30b] Running api/v1/chat on history with 47 messages.

47번의 대화동안 기억을 유지하고 있다니 ㄷㄷㄷ 무섭네요.

그리고 클로드 쓰시는 분들은 클로드코드 Anthropic API도 LM Studio와 호환되기 시작해서

https://lmstudio.ai/docs/developer/anthropic-compat

LM Studio를 이용한 클로드코드를 사용할 수 있습니다.. (Ollama에서는 되던거긴 합니다)

이래도 되는건가 모르겠네요 ㄷㄷ 클로드 수익 모델은 어쩌라고!