회사 로컬 컴퓨터에 ollama로 qwen3-vl:30b-a3b-instruct 모델을 설치해서

pdf 논문 번역을 시켜 봤는데

기존의 다른 모델들을 압살하는 성능이네요.

대량의 논문을 문서화하고 번역하고 싶어서 

적절한 로컬 LLM 모델을 찾아헤메고 있었는데

아직은 딱 맘에 드는게 없었어요.

그나마 쓸만한게 gpt-oss:20b 였는데

이 녀석은 종종 번역을 포기하거나 헛소리를 늘어놓는 경우가 있었는데요.

qwen3-vl:30b-a3b-instruct

이 모델은 속도는 그보다 한 수십배 빨라서 동시통역하는 것 보다 더 빠르고

문서 인식 및 번역 퀄리티도 아주 좋습니다.

수학식 인식, 표 인식 성능도 좋고요.

100% 완벽에 가장 가까워요.

로컬 컴퓨터에서 돌리는 수준의 중소형 모델 가지고 이정도 퀄리티 나오는건 상상도 못했습니다.

차원이 다른 퍼포먼스를 보여줘서 너무 놀랍습니다.

참고로 pdf를 md파일로 변환하는데는 Marker-API를 사용하고,

번역작업을 위해서는 Ollama의 Qwen3-VL을 사용해 보았습니다.

이를 위해 바이브코딩으로 간단한 파이썬 코드를 만들고

온도는 한 0.3 정도 주고

프롬프트는 적당히 줬습니다.

소스코드는 아래에 공개해뒀어요.

https://github.com/dhkima-higenmotor/PDF2MD.git

실행하려면 Marker-API 서비스와 Ollama 서비스가 먼저 올려져 있는 상태여야 해서 약간 준비가 번거롭습니다.

클라이언트측에는 문서변환기로 Quarto를 사용하도록 되어 있어서 이걸 설치해 두면 됩니다.

이제 수 백개의 논문을 한꺼번에 md 파일로 만들어서 자료화하고

한국어 번역본까지 얻을 수 있게 되어서 너무 좋아요.

상용서비스 LLM을 사용하면 이런 대량의 작업을 하기에는 토큰이 부족해서 불가능한데

로컬에서 이정도 퍼포먼스와 퀄리티로 나와주니깐 진짜 햄볶아요.

그리고 중국 오픈웨이트 LLM 모델들이 지금 오픈소스 진영을 거의 장악해 버린 것 같은 느낌인데

한국에서 개발되는 소버린 LLM들도 오픈웨이트로 다양한 버전으로 공개가 되기를 바랍니다.