요 몇주 ai모델을 돌려본 결과 느낀점
남극백곰

Lv.1 남극백곰 (114.♡.188.135)

2026년 4월 22일 AM 01:05

조회 3,017 공감 0

클라우드가 최곰미다

집에서 ai모델을 취미로 한다면 ㅡ컴퓨터 사양에 맞게 파라미터와 양자화 된거 계산해서 vram이나 통합램 여유있게 해서 모델 고르시면 되는데...

챗창(터미널)으로 뭔가 물어보고 하는건 대부분 괜찮은 속도를 내 줌미다

텔레그램 같이 외부에서도 내 컴퓨터와 연결 한다 생각하시면 실시간 양방향 통신 보다는 딜레이가 좀 큰 양방향 통신으로 생각 해야 함미다

가장 좋은건 사람들이 몰리지 않는 시간대의 대기업에서 서비스하는 제미나이 gpt 클로드 같은겁니다

그게 아니라면 로컬모델과 모델만 클라우드로 빌려주는 서비스로 하시면 됨미다(전 올라마 클라우드서비스 사용 중 임미다)

그냥 내가 직접 만들어서 나만의 ai를 가진다 라는 느낌은 들지만 생각보다 자주 개이트웨이문제와 모델의 문제때문에 서비스가 안 되는 경우가 빈번하게 발생 했었슴미다

대기업은 이런 일이 거의 없슴미다 엄청난 병렬컴퓨팅 파워로 서비스가 다운된다는건 파워가 모자르기 때문임미다 라는걸 온몸으로 말해 주기 때문 임미다

대기업과 클라우드 모델만 빌려주는 서비스의 차이는 사용량에서 오는거 같슴미다

내가 구축하고 서비스 유지하고 혹시나 모를 문제 대비하는 비용이 다 서비스 사용료에 녹아 들었다고 샹각하면 ..... 클로드님 제미나이님 토큰 양 좀 늘려 주세요 ㅠㅠ

댓글 (4)

  • 동독도

    동독도 Lv.1

    04.22 · 24.♡.107.198

    제가 로컬로 llm을 돌리면서 컴 업그레이드를 안하는 이유기도 합니다. 제대로 쓸려면 개인 단위로는 감당하기 힘든 돈이 들어갑니다.

  • 404page

    404page Lv.1 → 동독도

    04.22 · 211.♡.225.193

    로컬로 돌리러면 컴사양은 좋아야 되겠죠?

  • 동독도

    동독도 Lv.1 → 404page

    04.22 · 198.♡.207.102

    그나마 쓸만한 녀석을 돌릴려면 VRAM이 24GB정도 있어야 합니다. Rtx5090 이죠. 다른 방법으론 최근 맥 시리즈가 많이 사용됩니다. 맥시리즈가 VRAM과 메인 메모리 구분이 없어 VRAM을 많이 확보할 수 있습니다.

  • 쟘스

    쟘스 Lv.1

    04.22 · 14.♡.134.130

    뭔가 ai구동방식에 혁신적인 변화가 생기기 전에는, 제 개인 예산으로 개인머신에서 돌리는 건... 뭐 ㅋㅋ 불가능해 보이더라구요.

    요샌 그냥 필요할 때 한 달 씩 결제해서 대기업 ai 씁니다.

    프로그래밍에 많이 써보는데, 이거저거 만들어보고 싶은거 프롬프트 쫘~~악 정리해두고, 결제하면 날잡고 하나씩 다 만들어 보는 루틴입니다.

댓글을 작성하려면 이 필요합니다.