AMD Strix Halo PC (RAM 128GB) 시스템에 Arch linux 돌리고 있고

로컬LLM은 그냥 평범하게 RoCM 7.2 + Ollama 입니다.

최근에 OpenClaw가 핫 할때 귀챦아서 시도 안 해 보다가,

좀 있으니깐 Hermes-agent라는 대항마가 나왔다길래 이걸로 시도를 해 보았는데요.

정량적인 퍼포먼스 이런건 잘 모르겠공 그냥 개인적인 사용소감입니다.

Nemotron3 120B 모델 올려서 우선 돌려봤는데...

일단 답변 퀄리티는 Gemini 같은 퍼블릭 LLM 보다 못할 것이 없어 보이더라고요.

물론 응답 속도는 처참은 합니다. ㅋㅋ

그래서 챗봇으로 사용하기에는 로컬LLM으로는 아무래도 응답속도 때문에 무리가 있지만

백그라운드에서 cron으로 주기적으로 뭔가 실행시키고자 할 때는 쓸만하겠구먼 합니다.

모델을 qwen3.6 27B로 바꾸니깐, 응답속도가 크게 개선은 됩니다.

자연어 응답 퀄리티는 Nemotron 120B 보다는 당연히 저하되는게 느껴지는데

그래도 명성 답게 에이전트 스스로 지령을 수행하기 위해서 각종 파이썬 코드를 만들어서 테스트하면서 작업을 수행하는 퀄리티는 뭐 아주 훌륭하더라고요.

예를 들어서, 컴퓨터에 Blender가 설치되어 있는데 아무런 플러그인도 없는 상태인데

MCP로 블랜더를 조작하는 설정 하나도 안한 상태에서

"그냥 블랜더 실행해서 적당하 캐릭터 하나 만들러 넣고 조명이랑 카메라 적절하게 해서 Cycles로 랜더릴 뽑아서 이미지 파일로 저장해봐." 라는 식으로 지령을 했더니,

한 2시간 정도 혼자 이것저것 시도를 하면서 Blender가 외부로부터 지령을 받을 수 있는 소켓 애드인을 혼자 개발하더니 Blender에 집어넣고 셋팅한 후, Blender를 실행해서 시킨대로 모델 만들고 랜더링하고 이미지를 뱉아내더라고요.

그리고 이걸 스킬로 만들어라 하니깐 지가 그냥 만들어 놓고요.

이정도 일은 전에 Antigravity로 시도해 봤을때는 퍼블릭 gemini 모델이었는데도 제대로 못했었거든요...

즉 LLM 모델이 좀 지능이 낮은 놈이라도, 순수하게 에이전트빨로 차력쑈를 해내더라고요.

그 다음에 텔레그램은 쓰기 싫어서, Whatsapp을 연결하는데... 설명서 보고 해도 잘 안되길래 한 3일 정도 문답 하면서 시행착오 무수히 겪은 후에, 결국 Hermes-agent 자체 소스코드 일부를 수정해서 성공했습니다.

Whatsapp 계정이 하나밖에 없어서 자문자답 식으로 해야 하는데 그걸 막아놨더라고요.

(그냥 실험적으로 해 본 거라서 제대로 쓸 생각은 없음)

대신 Hermes WebUI 소프트웨어를 추가하거나, 또는 기존에 돌리고 있던 Open-WebUI에 연결시켜서 이걸 매신저 대신 사용하려고 생각하고 있습니다.

OpenClaw보다 안전성이 낫다고 하는데 실제로 지금까지는 별 다른 사고를 안치고 잘 수행을 하는 것 같아요.

실무 적용을 해 보기 위해서,

매일매일 주고받는 이메일 내용 분석해서 일일업무일지 자동으로 쓰게 해 보고는 있는데

사실 마음에 썩 들지는 않지만...

조금씩 개량해 나가면서 쓸만한 수준까지 올려보면 어떨까 싶습니다.

다른 좋은 사용 방법들이 있으면 좋겠네요.

아직은 딱히 참신한 아이디어가 없는지라... ㅋ