전 하네스가 뭔지 모르지만 초반에 비슷하게 구현했었습니다.

툴패턴이 모델마다 다르니깐 스스로 파악해서 파싱 하게요 ㅋㅋㅋ <- 이것도 LLM이 판단하죠 ㅋㅋ

그리고 컴파일 된 환경 외부에 툴패턴 기록하게하고 툴 실행할 때 그걸 참고하게 합니다.

그정도 되면 다른것도 되지 않겠습니까? LLM들 지가 잘못한거까지 4차원의 벽을 뚫고 나와 쳐다보니깐요.
그걸 떠나서 제미나이랑 GPT가 장기적인 연구하려면 하네스화 하래서 하네스화 하니깐 좋습니다.

레고 블록처럼 끼우고 빼기가 좋네요~

솔라드한 결과물을 내기 위해서는 결국 ai에게 코딩을 시켜서 스크립트든 코드든 프로그램을 짜게해야죠

요즘은 명확하고 안정적인 구간이 필요한게 있고 추론이 필요한 구간을 잘 분리해서 써야한다고 느끼게 됩니다

특히 사고/판단 부분은 ai의 그것을 쓰고 워크플로우 정의나 특히 결과물의 출력은 스크립트로 명확하게 나오도록 하지 않으면 결과물의 퀄리티가 중구난방이더라구요.

그리고 중간중간 워크플로우가 나뉘면서 작업주체가 바뀌는 부분은 json 등으로 표준적으로 데이터화해서.. 작업을 이어받은 ai나 코드가 명확하게 업무를 전달받게 해줘야 하고요

하네스는 실제 코드(python이나 쉘스크립트 같은)로 동작시키는게 맞아요. 말씀하신 loop제어를 외부 script에서 해야해요. agent sdk로 worker agent을 실행시키고, 그게 끝나면 reviewer agent을 실행시키고(혹은 script자체에서 판단하게 할수도 있고요), review결과에 따라 한번 더 반복할지 말지 script에서 결정합니다. 한번더 반복할땐 review 결과를 새로운 worker agent한테 넘겨주고 수정하게 하죠.

지시어를 100% 출력을 못 할 확률이 높으니까 하네스로 가드레일을 주는거 아닌가요?
실제로 oh-my-opencode 같은 하네스 기반 써보면 결과물 차이가 심하긴 하잖아요
잘못된걸 방지하려면 실제 테스트코드로 방어까지 할수있을테구요

그리고 좀 다른 얘기긴한데, 프로바이더가 제공하는 sota 모델이 코딩 잘한다 그러지만
자기들 마음대로 너프해버리는것땜에 오늘 잘만들어주는것도 한달후엔 개악이 될 확률이 크더라구요
몇년 써보니까 일정한 결과물을 못내는 프론티어모델을 더 못믿겠더라구요

저는 이제 막 Gemini CLI 쓰기 시작한 단계라 잘은 모르겠지만, 안 될 이유는 없어 보이는데요?

어중간한 유튜버 말고 엔트로픽 블로그는 어떤가요.

https://www.anthropic.com/engineering/harness-design-long-running-apps

이것도 재미있어 보입니다.

https://ghuntley.com/ralph/

해보면 울트라플랜이나 수퍼파워즈 멀티에이전트랑 큰 차이 없습니다.

3개 프로젝트 돌려봤는데

헛점들이 각각 있습니다.

물론 이거 만들어줘 했을때 생각하지 못한걸 해주지만

개발자 입장에서 고려 해서 만들것들은 아쉽게 빠질때도 있고

기능 하나 수정하는데 많은 터큰을 써서.. 그냥 터미널 5개 켜고 내가 지시해서 만드는게 빠를 수도 있습니다.