완전 초보 ollama, transformers 관련 질문드립니다.

알림
|
X

페이지 정보

작성자 no_profile 지상의별들
작성일 2025.02.03 20:51
분류 질문
331 조회
0 추천

본문

로컬에가 llm을 사용을 시도해보려고 합니다. 거의 입문자이고, 검색으로는 제가 알고 싶어하는 것이 나오지 않아 질문드립니다.


llm을 사용하기 위해서는 ollama를 설치한고 ollama에서 llm 모델을 설치한 다음 open webui를 사용하는 것이 llm 이용에 편하다는 것까지 알고있습니다.


문제는 제가 사용하고 싶은 번역 llm 모델인 marianmt ( https://huggingface.co/Helsinki-NLP/opus-mt-ko-en/tree/main )이 ollama에서는 지원을 안하고 hugging face transformers 에서만 지원한다는 것입니다.


그런데 transformers 에 대해 검색하면, transformer에 관련된 지식이 주를 이루고 있는 상황입니다.


그래서 제가 알고싶은 부분은,

1. 국내에 transformers 사용자 커뮤니티가 있는가?

2. 필요에 따라서 transformers 와 ollama, 2개 다 설치해두고 번갈아가며 사용 가능한가? 

입니다.


관련 지식이 전무하여 잘 아시는 분들에게는 질문 내용이 이상하게 보일 수 있습니다. 해당 부분은 양해 부탁드리며 답변 주시는 분들, 미리 감사드립니다.


0추천인 목록보기
댓글 2 / 1 페이지

드라마중독님의 댓글

작성자 no_profile 드라마중독
작성일 02.04 21:14
단순 번역이라면 구지 LLM까지 갈 이유가 없어요. 무료 구글 번역이 훨씬 잘합니다.
말씀해주신 링크 가보니 모델 크기가 500M밖에 안되네요... 이정도면 LLM이라고 불리지못하는 일반 번역 전용 모델인것같네요

이것을 실행시키려면 그냥 python 에 transformers를 설치하시면 실행됩니다. GPU도 필요없어요

ollama나 open webui는 LLM이라고 불리우는 아이들이 작은크기의 GPU나 맥에서 쉽게 동작하도록 만든 패키지들이라고 생각하시면 됩니다.

말씀해주신 질문으로 돌아오면
1.transformers 사용자 모임은 없습니다. 공식 사이트의 개발자 문서가 가장 잘되어있습니다. 매우 훌륭하며 사용예제까지 자세히 나와있습니다.
2. 위에 말씀드린대로 trasnfomers와 ollama는 완전히 다른 용도이며 당연히 둘다 사용가능합니다.

엔뜨님의 댓글

작성자 엔뜨
작성일 02.06 12:56
음. 저도 잘은 모르지만 제가 허깅페이스에서 다운받은 다양한 커스텀 모델을 gguf 형식으로 변환해서(올라마) open-webui로 사용하고 있거든요. 변환하는건 어렵지 않던데 우선 제가 참고하던 링크는 아니지만 여기에 전반적으로 나와있는것 같아서 공유드려요.
https://grip.news/archives/3000/?t

그런데 marianmt ( https://huggingface.co/Helsinki-NLP/opus-mt-ko-en/tree/main ) 모델의 경우 Transformers에서 직접 로드 사용을 권장하네요.

아래는 ai에게 물어본 답변이에요.

Helsinki-NLP의 opus-mt-ko-en 한영 번역 모델을 GGUF로 변환하여 Open WebUI에서 사용하는 것은 현재로서는 어려울 것으로 보입니다. 그 이유는 다음과 같습니다:

호환성 문제
• 이 모델은 MarianMT 아키텍처 기반의 번역 특화 모델입니다
• llama.cpp의 GGUF 변환 도구는 주로 LLaMA, Falcon, GPT 등의 대형 언어 모델 구조를 지원하도록 설계되어 있습니다
• MarianMT와 같은 특수 목적 모델은 현재 GGUF 변환을 공식적으로 지원하지 않습니다

대안 제시
1. Transformers 라이브러리 직접 사용
• Hugging Face Transformers 라이브러리를 통해 모델을 직접 로드하여 사용하는 것이 권장됩니다
• Python 환경에서 Transformers 라이브러리로 구현하는 것이 안정적입니다
2. Open WebUI의 다른 번역 모델 활용
• Open WebUI에서는 다음과 같은 대안을 제공합니다:
• GGUF 형식의 다국어 LLM 모델 사용
• LibreTranslate와 같은 번역 플러그인 활용
결론
현재로서는 이 특정 번역 모델을 GGUF로 변환하여 Open WebUI에서 사용하기는 어렵습니다. 대신 Transformers 라이브러리를 통한 직접 구현이나, Open WebUI에서 지원하는 다른 번역 솔루션을 활용하시는 것을 추천드립니다.
홈으로 전체메뉴 마이메뉴 새글/새댓글
전체 검색