오년삼촌 (115.♡.156.11)
2025년 8월 16일 PM 12:47 · 수정됨(13:14)
요 며칠 테스트를 해본 결과 다음과 같은 생각으로 정리되었습니다.
1. ollama 에서 4060ti 2개를 사용해서 여러가지 잡다한 모델들을 테스트 해본결과 gpt-oss 도 좋기는 하지만, 일단은 qwen3 를 쓰기로 결정. 좋은 장비에서는 다를지 모르겠지만, 일단 개인이 쓸 수 있는 이 정도 장비에서는 qwen3 의 반응이 월등히 빠르다...
2. gpt-oss 가 나오면서 뭐가 추가된건지는 잘 모르겠지만, gpt-oss 는 ollama 가 실행되는 환경의 날자를 가져온다. qwen3 는 그러지 못하다. 아무래도 뭔가.. model core 버전에 차이가 있는지를 모르겠다.
3. 확실히 open webui 에서 인터넷 검색(RAG)를 켜뒀을때 gpt-oss 와 qwen3 는 반응이 다르다. 인터넷검색을 해야한다면 조금 느려도 gpt-oss 가 정확할거고, 내부에서 정보를 줘서 정리시키는건 qwen3 정도로 충분하다고 생각.
이상의 결과로 좀 더 ollama 를 활용해보기 위해 RAG 와 MCP 를 이용해서 뭔가를 해보고 싶은데... 그나마 제가 가지고 있는 리소스중에서 쓸만한건 manticore 를 이용한 RAG 를 첫번째 목표로 삼는게 좋을거 같더라구요.... 이를 위해서 개인적으로 데이터가 많은것을 고르자면 아무래도 개안적으로 필요한 일이 있을때 관리하는 번역위키가 비교적 분량이 되는 편입니다. (별건 아니지만 일반 서적 기준으로 4천page 이상의 내용이 들어가 있거든요) 그래서 ollama 에서 mediawiki 의 자료를 manticore + RAG 를 이용해서 적용해본다면.. 괜찮겠다.. 라는 생각이 든거죠.
고뤠서... 이걸 기준으로 mediawiki 서버에 manticore docker instance 를 설치하려고 했거든요?
그런데 해당 서버는 gentoo 입니다..(제가 쓰는 서버중에.. 몇개 안남은 gentoo 서버죠)
docker 기본을 설치하기 위해서 살펴보니 update 해야할게 좀 있네요? 이 중에 glibc, ssl/ssh, llvm/clang 이 있군요?
....ollama 의 활용에서 시작된 삽질이 gentoo update 로 귀결되는 신비한 이야기..... 그리고 오늘중으로는 안끝날거같은... 뭐 그런 느낌적인 느낌이 듭니다. ㅋㅋㅋ
댓글 (6)
-
일일리케
25.08.16 · 221.♡.121.81
4060 2개를 사용해서 하나같이 사용은 못하죠? nvlink도 안되니...그냥 작업을 나눠서 하시는건가요? -
오오년삼촌
→ 일리케 작성자
25.08.16 · 115.♡.156.11
하나처럼... 인지는 모르겠습니다만.. 일단 2개 메모리를 합쳐서 쓸 수는 있습니다. 아니라면 굳이 2개를 꼽아둘 일은 없죠. ㅎㅎㅎ
[https://s3.damoang.net/data/editor/2508/comment_1930796043_4xokZHOc_4430bd1ebe0108c8f1528943c69bcd5eff77cfdf.webp] -
일일리케
→ 오년삼촌
25.08.16 · 221.♡.121.81
오잉!!!
chatgpt에서는 죽어도 nvlink가 없으면 두개를 하나같이 메모리를 사용할수 없다고 해서 저는 시도를 아예 안하고 있었는데....이게 되나요????
그래서 3090같이 nvlink 있는 모델 사용한다고 했었는데....헐....chatgpt 이녀석....ㄷ ㄷ ㄷ ㄷ -
오오년삼촌
→ 일리케 작성자
25.08.16 · 115.♡.156.11
네 됩니다. 예전에는 nvidia docker 를 써서 됐었고.. 나중에 docker 에 gpu 관련된 기능이 merge 되고 있는 중이라 알고 있습니다. 일단 저는 nvidia-docker 로 실행을 하고 있기는 합니다. (HOST 가 ubuntu 라서요) - 이
이하아
25.08.16 · 211.♡.206.74
이번에 5090으로 가심이.. -
오오년삼촌
→ 이하아 작성자
25.08.16 · 115.♡.156.11
취미...로 해보는거라.. 그런녀석은 가격이..(덜덜)
댓글을 작성하려면 이 필요합니다.