Dymaxion (119.♡.24.253)
2026년 5월 4일 AM 11:14
한컴에서 새로 OpenDataLoader-PDF 라는 소프트웨어를 오픈소스로 공개했는데요.
성능이 상당히 좋다고 각종 기사들이 나오네요.
자체 웹UI가 없어서 Antigravity로 간단하게 만들어 붙였습니다.
https://codeberg.org/dymaxionkim/opendataloader_with_streamlit
자신의 PC에는 우선 git, uv, java 런타임 22 버전 깔아두고
(이때 scoop 및 winget 같은 패키지 관리자 사용 추천)
위의 git 저장소를 git clone 받은 후에,
uv sync
명령 때려줘서 자동으로 필요한 파이썬 패키지 내려받고
opendataloader.bat
실행하면 터미널이 뜨면서 조금 기다리면 웹UI가 뜹니다.
여기에 pdf 파일들을 올려서 추출하고 내려받으면 됩니다.
설치해서 테스트해 보니...
기능은 간단히 pdf 파일을 md 파일로 변환하는 능력만 보았고요.
일단 기본적으로 내장된 ocr 기능은 Tesseract를 갖다 쓰는 것 같습니다.
pdf 추출은 IBM의 Docling을 쓰는 것 같고요.
덩치큰 LLM은 안 쓰는 것 처럼 보입니다.
덕분에 속도는 상당히 좋네요.
기존에 애용하던 Marker와 비교해 보면....
Marker도 Tesseract 기반이니 ocr 능력은 비슷할 거고, pdf 내용 추출은 Docling이 아닌 독자적인 것을 쓰는데 앞서거니 뒷서거니 하는 것 같습니다. 가시적인 품질 차이는 솔직히 모르겠어요.
다만 Marker는 외부 LLM도 갖다 붙여서 품질을 좀 더 높일 수 있으므로 이 점에서 차이가 있는 것 같습니다.
제 생각엔 Marker와 비슷한 수준인 듯 하네요.
다시말해 역시 이것도 완벽하지는 못합니다.
특히 공학 논문의 수학식을 LaTeX으로 변환해서 마크다운으로 랜더링할때
원체 수학식의 문법이 너저분한 이유도 있을 거고
논문 자체의 수학식도 표준에서 벗어난 이상한 것들도 많은지라
그런 것들은 여전히 제대로 추출하지는 못하네요.
하지만 90% 이상 대부분은 대체로 그럭저럭 해 내더라 수준....
로컬LLM을 위한 RAG 구축용으로는 모르겠는데
완벽하게 논문 같은 복잡한 포멧의 문서 내용을 그대로 뽑아내는데는 아직 갈 길이 좀 납은 것 같아요.
댓글 (2)
- D
drymoon
05.04 · 175.♡.179.6
- D
Dymaxion
→ drymoon 작성자 05.04 · 144.♡.83.13
아마 java 실행파일을 못 찾는거 아닌가 싶은데요... 터미널에서 java 쳐보시고 없다고 나오면 java 실행파일 경로를 수동으로 path 환경편수로 등록해 보시면 어떨까 합니다. gemini같은데에 위의 에러 메시지를 통째로 넣어서 답변 참고해 보셔도 도움이 될 것 같습니다!
댓글을 작성하려면 이 필요합니다.
git 과 uv 설치 하였고 git 으로 clone 후 pdf 선택하니 아래와 같이 에러가 나네요.
opendataloader.bat
Starting OpenDataLoader Hybrid Server (Docling-fast) for Math LaTeX Support...
Waiting for Hybrid Server to initialize (this may take up to 20 seconds)...
error: Failed to spawn: `opendataloader-pdf-hybrid`
Caused by: program not found
Warning: Hybrid Server took too long to start. Extraction may fail.
Starting Streamlit App...
2026-05-04 16:30:53.215 Uvicorn server started on 0.0.0.0:8501 You can now view your Streamlit app in your browser. Local URL: http://localhost:8501 Network URL: http://192.168.0.28:8501 2026-05-04 16:31:19.501 Uncaught app execution
Traceback (most recent call last):
File "C:\jb\opendataloader_with_streamlit\.venv\Lib\site-packages\streamlit\runtime\scriptrunner\exec_code.py", line 129, in exec_func_with_error_handling
result = func()
^^^^^^
File "C:\jb\opendataloader_with_streamlit\.venv\Lib\site-packages\streamlit\runtime\scriptrunner\script_runner.py", line 689, in code_to_exec
exec(code, module.__dict__) # noqa: S102
^^^^^^^^^^^^^^^^^^^^^^^^^^^
File "C:\jb\opendataloader_with_streamlit\main.py", line 117, in <module>
success, err = extract_pdf(uf)
^^^^^^^^^^^^^^^
File "C:\jb\opendataloader_with_streamlit\main.py", line 78, in extract_pdf
result = subprocess.run(
^^^^^^^^^^^^^^^
File "C:\Program Files\WindowsApps\PythonSoftwareFoundation.Python.3.12_3.12.2800.0_x64__qbz5n2kfra8p0\Lib\subprocess.py", line 548, in run
with Popen(*popenargs, **kwargs) as process:
^^^^^^^^^^^^^^^^^^^^^^^^^^^
File "C:\Program Files\WindowsApps\PythonSoftwareFoundation.Python.3.12_3.12.2800.0_x64__qbz5n2kfra8p0\Lib\subprocess.py", line 1026, in init
self._execute_child(args, executable, preexec_fn, close_fds,
File "C:\Program Files\WindowsApps\PythonSoftwareFoundation.Python.3.12_3.12.2800.0_x64__qbz5n2kfra8p0\Lib\subprocess.py", line 1538, in executechild
hp, ht, pid, tid = _winapi.CreateProcess(executable, args,
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
FileNotFoundError: [WinError 2] 지정된 파일을 찾을 수 없습니다
java runtime 22 는 하기 링크에서 설치 하였습니다.
https://www.oracle.com/java/technologies/javase/jdk22-archive-downloads.html
java 설치 후 리부팅을 한번 했어야 할까요?