오년삼촌 (115.♡.156.11)
2025년 9월 23일 PM 05:54 · 수정됨(21:24)
해보다보니 ollama / openweb UI / ComfyUI / meloTTS 를 로컬로 세팅하면서 할 수 있게 된것들..입니다. 한번 중간정리는 필요할거 같아서요. ㅎㅎㅎ
자아.. 최근에 ollama 를 시작으로 할 수 있게된 작업을 나열해 보겠습니다.
1. 질문과 답변. 일반적인 LLM 이 하는 기본적인 작업
2. cli 코딩 에이전뚜(qwen-code cli, claude code cli)
3. vscode 코딩 에이전뚜(continue-vscode)
4. comfyui 이미지 생성(open webui연동)
5. comfyui 이미지 편집/개량(open webui연동)
6. meloTTS 를 이용한 TTS(open webui연동)
7. LLM 이 해주는 간단한 OCR 작업
여튼 이게 다 된다는거죠. 모두 다 local 에서 구현한 걸로 말이죠... 이제 이걸로 뭐를 할 지만 잘 고민해 보면 되겠다 싶습니다. 헤헤헤
아... STT 가 남았(?)습니다만... 이건 안할 생각입니다. STT 는 영상편집할때 사용하는 다빈치 리졸브가.. 제일 짱이더라구요..... 몇시간이 되었던 미친듯이 잘 해주기도 하고... 음성인식은.. 아직까지 저는 영상 자막만들때나 쓰는거라 욕심 부리지 않고 있습니다. :D
댓글 (15)
- 셀
셀레본
25.09.23 · 112.♡.41.1
하아... 싼 맛에 산 라데온에 땅을 치고 후회합니다 ㅠ.ㅜ - 오
오년삼촌
→ 셀레본 작성자 25.09.23 · 115.♡.156.11
라데온도... 되지.. 않나요? 저는 이중에서 라데온만 안쓰고 있습니다..... 일단 LLM 은 nvidia 로 하고 comfyui 는 intel arc 로 했습니다. 둘 다 중고로 했구요. ㅎㅎㅎ - 셀
셀레본
→ 오년삼촌 25.09.23 · 118.♡.3.27
Llm은 vulcan으로 되긴 하는데, comfy ui는 답이 없네요. 인텔 Arc는 씨피유 내장인가요? 그나마도 전 Amd라서 ㅠ.ㅜ - 오
오년삼촌
→ 셀레본 작성자 25.09.23 · 115.♡.156.11
아.. arc a770 을 중고로 구했습니다. comfyui 도 rocm 지원하지 않나요? -
전전투사슴
25.09.23 · 106.♡.79.84
이정도 하실려면 사양이 어느정도되야하나요? - 오
오년삼촌
→ 전투사슴 작성자 25.09.23 · 115.♡.156.11
흐음.... LLM 은 gpu 가 중요한거같고...(4060ti 2장) comfyui 는 메인램도 중요합니다(32G 이상) TTS 는 cpu 로 연산하고 있습니다..@.@; -
DDINKIssTyle
25.09.23 · 175.♡.35.249
이제 욕심은 50번대 엔당 카드입니다. 블랙웰에 무슨 기능이 들어간지 몰라도 블랙웰 최적화 된 모델들이 보이기 시작했거든요 ㅋㅋㅋ - D
DINKIssTyle
→ DINKIssTyle 25.09.23 · 175.♡.35.249
2. 2세대 트랜스포머 엔진과 FP4
AI 모델, 특히 트랜스포머 기반의 거대 언어 모델(LLM)을 가속화하기 위해 트랜스포머 엔진이 2세대로 업그레이드되었습니다. 가장 큰 특징은 새로운 4비트 부동소수점(FP4) 데이터 형식을 지원하는 것입니다. 이는 데이터의 정밀도를 낮추는 대신 연산 속도와 메모리 효율을 극대화하는 기술로, AI 모델의 추론 성능을 이전 세대 대비 최대 30배까지 향상시킵니다.
아마 이것 때문인가 보네요. - 오
오년삼촌
→ DINKIssTyle 작성자 25.09.23 · 115.♡.156.11
워.... 살벌하네요....(덜덜) -
SStarMix
25.09.23 · 106.♡.194.188
되긴 한다
정도이지 실제로 쓰려면 고생 좀 할거 같더라구요.
그래도 동작하는 게 신기하긴합니다.
댓글을 작성하려면 이 필요합니다.