처음엔 그냥 너무 빠르게 바뀌는 세상이 무서워서, 나도 최소한 그 흐름에 한발이라도 담가 봐야 겠다.

이런 생각으로 시작한게 로컬에서 LLM을 돌려보는 거였습니다.

제미나이나 chatGPT랑 대화하는 건 사실 너무 평범해져서 흐름을 따라간다고 말하긴 힘들잖아요.

그래서 올라마로 로컬 LLM을 구동해 보다, LM-studio로 구동하다가, 드디어 llama.cpp로 구동하고 있습니다.

그런데 단순히 그렇게 구동해서 쓰면 그냥 제미나이나 GPT랑 대화하는것고 사실 다를게 없더라고요. 그저 LLM이 내 머신에서 돈다 ? 정도.

제가 개발자나 그쪽 관계자가 아니다 보니 유료버전을 쓴다는게 의미도 없고.

그런데 세상은 가속이 붙어서 바뀌고 있네요.

이제는 에이전트를 써서 별거를 다한다는데, 도대체 그게 뭔지도 모르겠고, 그걸로 뭘하는지도 모르겠습니다.

하여간 세상이 너무나 내가 모르는 세상으로 바뀌고 있어서 그래도 뭔말인지는 알아들어야 겠다는 마음이 꽤 큽니다.

그래서 이것저것 해보고 있습니다. 요즘.

얼떨결에 오라클에 무료서버도 만들고, 이거랑 연결한다고 vscode 원격 접속도 해보고,

git 도 배우고, 드뎌 에이전트 해본다고 hermes도 깔아 보는데, 이게 윈도우에서는 WSL이 필요하다고 해서

WSL 설정하고 우분투도 깔고.

우분투 깔고 hermes 설정하고, 오늘은 아침부터 로드런너를 만들어 달라고 해서 그거와 씨름하고.

딴길로 새서 Open WebUI 인스톨할려니 도커가 필요하다고 해서 도커도 깔고..

도대체 최근 며칠 사이에 별걸 다 건드려 보고 있습니다.

이것저것 하다보니 그렇게 좋아하는 게임을 한번도 안하고 있습니다. 게임 할 시간이 안나요.

스크린 샷은 Hermes에 glm5.1 연결해서 만들고 있는 로드런너 인데, 게임 자체는 순식간에 만들었는데,

버그 잡는다고 하루 종일 걸립니다. open LLM의 한계 같기도 합니다만, 이녀석이 오픈 LLM이지만

파라미터가 750B 정도이고 40B가 활성화 되는 MoE 모델이라 제법 대형 LLM입니다.(오픈 중에서요.)
그래도 뭔가 세계적인 흐름에서 떨어지진 않고 있다는 게 조금 위안이 되고 있습니다.