휘소 (210.♡.27.154)
2025년 8월 12일 PM 01:42 · 수정됨(08. 13. 08:48)
Vram이 8 GB인 RTX3070을 쓰고 있습니다.
open AI의 오픈소스인 whisper 라는 STT(Speech To Text)와
파이썬 라이브러리인 pyttsx3를 써서 TTS(Text to Speech)를 굴리고 있습니다.
문제는 저 작고 귀여운 8 GB 위에 LLM까지 올려서 local에서 답변을 하는건데요(돈만 있으면 gpt api로 빼서 음성만 text 추출, 후 답변을 tts 시키는게 제일 ㅠㅠ)
대부분 양자화 시킨 가벼운 LLM을 돌리라고 하지만
자료 넘겨주고 필요한 답변만 주는 챗봇 수준은 나중에 완성하고
일단은 제너럴한 대답도 다 할 수 있는 LLM으로 돌리고 있습니다.
그러다보니 속도도 속도지만 이게 참... 가벼운 1 b(10억) 2 b(20억) 파라메터 모델들은 자료 넘겨주기 전 까지 할루시네이션이 장난 아니네요... ㄷㄷㄷ
whisper도 large 못 돌려서 medium에서 버티고 있지만
사실 이것도 답변이 정확한 걸 원하면 다른걸로 대체해야하고, whisper 모델을 가벼운 걸로 바꾸면 또 잘 못알아듣고
딜레마에 빠졌습니다 ㅠ
근래 RX7900xtx 24GB 싸게 팔던데
CUDA가 아니라서 애로사항이 꽃 필것 같고
방구석 프로젝트는 참 어렵습니다 ㅠㅠ
댓글 (16)
-
DDINKIssTyle
25.08.12 · 61.♡.73.102
amd는 아닙니다. 제가 부푼꿈에 360 샀지만... 빌어먹은 암당만 외치고 있을 뿐입니다. -
마마이스토리
→ DINKIssTyle 25.08.12 · 183.♡.253.117
갓사수 미워하지 마요..{emo:DINKIssTyle-face-005.webp:150} - D
DINKIssTyle
→ 마이스토리 25.08.12 · 61.♡.73.102
{emo:DINKIssTyle-ang-016.webp:150} 사랑합니다. 시퓨에 한해서요 ㅎㅎ -
아아우님
25.08.12 · 61.♡.230.119
ㅜㅜ 전 장비는 있지만, 코딩 실력이 안되어서 썩히고 있습니다.
3090 24Gb * 2ea 장비인데.. 겨우 vllm 질문 성공시키고.. 있습니다. - 휘
휘소
→ 아우님 작성자 25.08.12 · 210.♡.27.154
저도 코파일럿한테 물어가면서 하고있습니다.
"AI 없으면 어케 했을까"를 연발하면서요...
ㅠㅠ
저도 병렬 해보고 싶어요... - 아
아우님
→ 휘소 25.08.12 · 61.♡.230.119
흐흐흐 사실..
이글 보고 지난주 결재한 claude 에다가 이거랑 똑같은 형태의 프로그램 개발에 관한 코드 짜달라고 질의한 상태입니다. - 휘
휘소
→ 아우님 작성자 25.08.12 · 210.♡.27.154
저는 windsurf 쓰는데, claude code 쓰려고 넘어가야 하나 생각하고 있습니다.
코딩용이니 구독만 하고 잘 안쓰네요 ㅠㅠ - 아
아우님
→ 휘소 25.08.12 · 61.♡.230.119
SpeechRecognition==3.10.0
python 모듈인데 인식률은 거지지만 그래도 뭔가 돌아갑니다. :)
claude code 를 우분투에서 실행시켜서 (IDE 는 VS Code 사용)
기존에 vllm 돌아가는거랑 연결시키고 웹에서 마이크 연결해서 녹음한다음
실시간 인식 글자 보여주고 녹음 끝나면 요약해줘 하니까 잘 되네요. :) -
문문명A
25.08.12 · 116.♡.210.150
이제 막 llm에 흥미를 느껴 이것저것 해보는 사람으로써...RTX3070 중고로 팔아버리시고 api키 발급받아서 토큰값내는게 더 편하지 않으실까....?ㅎㅎㅎ - 휘
휘소
→ 문명A 작성자 25.08.12 · 210.♡.27.154
그것도 맞는 말입니다. 그 비용에 비하면 api 토큰값이 낫죠.
근데 local tts 돌리려면 글픽카드 하나는 있어야 하지 않을까요? ㅎㅎㅎ
댓글을 작성하려면 이 필요합니다.