사실 그냥 설치형 LLM은 재미로 쓰고 있지만, 조만간 놋북에서 돌릴 경량 모델을 찾고 있던 중에 Ornith 가 나왔네요.

한줄요약 : 코드작성은 못하는데 훈수는 잘 둠

두줄요약 : 그렇게 훈수두지말고 지가 하라면 또 못함

아래는 제가 만들어 쓰는 코덱스 파이썬 딸깍 벤치 (aka 랩탑에서 돌리기 기준)

조건은 raw Ollama 모델, num_ctx=4096, temperature 0, Python 3.9 호환

전체 점수

항목별 점수

에러 검출

코드 구조 이해

해석은 이렇다:

• 9B는 리뷰/검출에서 진짜 쓸 만하다. 특히 놓치는 것보다 더 잡으려는 recall 성향이 강함.

• Qwen 30B는 더 보수적이다. false positive는 구조 이해 쪽에서 적지만, reachable bug 하나를 놓쳤음.

• false positive control에서는 둘 다 약점이 있었다. 9B는 가짜 버그 2개, Qwen은 3개를 추가로 찍음.

• 포맷은 9B가 더 위험하다. 내용은 맞는데 JSON array를 안 지키고 {"A","B"} 형태를 냄. reviewer로 쓰려면 parser 보정이 필요함.

추천 구조는 그대로 명확해졌어:

• 코드 작성/수정: Qwen3-Coder 30B

• 에러 검출/구조 리뷰 1차: Ornith 9B

• 최종 적용 판단: Qwen 결과와 9B 리뷰 결과를 교차검증

• strict block_patch.json 같은 출력은 9B 단독에 맡기면 안 됨.