젬마3 로컬로 써보니 그래픽카드 업글 하고 싶네요.
셀
셀빅아이 (125.♡.200.218)
2025년 3월 16일 PM 08:17 · 수정됨(21:20)
조회 1,078 공감 0
RX580 8G로도 젬마3 4b 모델이 잘 돌아가니
12b 모델 돌려보고 싶어 그래픽카드 16G 짜리 중고장터 기웃하게 되네요.
어짜피 해볼꺼라곤 장난식으로 끄적거릴 뿐인데,
장난으로 이것저것 해보는게 재밌네요.
댓글 (8)
-
휘휘소
25.03.16 · 121.♡.21.222
- 셀
셀빅아이
→ 휘소 작성자 25.03.16 · 125.♡.200.218
제가 게임은 롤만 해서 이정도도 성능 남아 돌거든요.
젬마3 4b 모델도 원활히 도는데, 12b 모델 돌려보고 싶네요.
그런데 제가 헤비하게 쓰는것도 아니 장난으로 가볍게 쓰는거라 괜한 돈 쓰는게 아닌가 고민입니다. -
피피라미드
25.03.16 · 175.♡.68.166
ㅎㅎ 보통 로컬로 올려서는 뭐하면서 노나요?? - 셀
셀빅아이
→ 피라미드 작성자 25.03.16 · 125.♡.200.218
딥시크로 했을 땐 너무 오래 걸려서 (5~10분) 별로 해보질 못했습니다.
복리계산, 개인적인것들, 투자 생각 이런것들 테스트 해보고 있습니다.
용어 질문도 답 잘해줍니다.
솔직히 요즘 잘나가는 그록3, 딥시크에서 해도 되는데, 그냥 로컬로 하는게 재밌네요.
조금 복잡하고, 리포트 받아볼것들은 퍼플렉시티(유료)로 하고 있습니다. -
NNewsOfVictory
25.03.16 · 118.♡.80.172
저도 내일부터 삼실 노트북에 깔아보려고 합니다.
로컬로 돌리는 AI는 여러모로 쓸모가 있을것 같아서요. 개인논문이랑 코딩쪽으로 테스트 해보려고 하는데 좋은 자료나 링크 있으면 부탁드리겠습니다. ^^* - 셀
셀빅아이
→ NewsOfVictory 작성자 25.03.16 · 125.♡.200.218
저도 설치 이런건 복잡해서 (포기;)
LM Studio로 해당 모델들 다운받아서 해보고 있습니다.
개인 논문은 댓글 보면 젬마3 27b 3b 모델이 낫다고 하네요.
https://arca.live/b/alpaca/131183676?target=content&keyword=%EB%85%BC%EB%AC%B8&p=1 -
뚱뚱굴넓적
25.03.16 · 49.♡.212.131
음성대화도 할 수 있나요? - 셀
셀빅아이
→ 뚱굴넓적 작성자 25.03.16 · 125.♡.200.218
음성 대화는 아직 인것 같습니다.
음성대화는 코파일럿에서 무제한 무료로 풀렸으니 그걸 써보세요.
댓글을 작성하려면 이 필요합니다.
온라인 서비스 토큰 이용비용을 그래픽카드와 전기요금으로 대치하는 느낌이죠