gemma3 4b 모델이 내장그래픽에서도 돌아가네요.
페이지 정보
작성자
간큰남자
간큰남자
작성일
2025.03.18 15:56
본문
LM Studio 이거 대박입니다.
설치고뭐고 없이 컴퓨터 켤 줄만 알면 LLM을 설치해서 사용할 수 있네요.
물론, 원할한 설정/사용은 또 다른 얘기이겠지만요.
시험삼아 1b 설치했다가 돌아가는 것 확인하고 4b 설치했습니다.
10700, 32GB, 내장그래픽이고요,
성능이 성능인지라 질문 하나당 한 5분 정도씩 기다리는 단점은 있습니다.
그래도 그림 던져주면 (긴 기다림의 시간 끝에) 잘 설명도 하고 그럽니다.
방금 질문 하나 던졌는데 <unused32> 만 무한 반복으로 뱉어내고 있습니다.
작은 모델의 한계일까나요.
설정에서 GPU overloading 설정하니 추론 속도가 빨라졌습니다.
질문 던져주고 작업관리자를 보니 GPU 부하가 100% 뜨네요.
확실히 첫 답변 시작 지연이 많이 줄었는데, 초당 출력 토큰 수는 별 차이 없습니다.
퇴근후 집에 가서 3070ti로 더 큰 모델을 돌려봐야겠습니다.
1명
추천인 목록보기
댓글 6
/ 1 페이지
맛스타오렌지님의 댓글
작성자
맛스타오렌지
맛스타오렌지
작성일
03.19 10:34
GitHub 다시 깔아야하나 고민했거든요.
근데, 이 글 보고 LM studio 좀 전에 설치했는데, 정말 정말 쉽네요~~~😀😀😀
근데, 이 글 보고 LM studio 좀 전에 설치했는데, 정말 정말 쉽네요~~~😀😀😀
간큰남자님의 댓글의 댓글
작성일
03.19 11:06
@맛스타오렌지님에게 답글
네, 너무 쉽습니다.
게다가 단순한 질문에 대한 응답 내용은 현존 최강이라고 생각하는 claude와 별반 차이가 없습니다.
심지어 1b 모델도 상당히 괜찮습니다.
이제 간단한 것은 로컬로 돌리고 복잡한 것들만 claude로 하는 식으로 갈 것 같습니다.
게다가 단순한 질문에 대한 응답 내용은 현존 최강이라고 생각하는 claude와 별반 차이가 없습니다.
심지어 1b 모델도 상당히 괜찮습니다.
이제 간단한 것은 로컬로 돌리고 복잡한 것들만 claude로 하는 식으로 갈 것 같습니다.
다이아mond님의 댓글
한 대화창에서 지속되는것에 대한 제한? 이 있는 것 같습니다.