로컬로 생성형 인공지능 돌려보시는 분들 제가 원하는 기능을 로컬로도 구현이 가능할까요?
그린내

Lv.1 그린내 (211.♡.227.46)

2025년 2월 7일 AM 10:58 · 수정됨(02. 08. 00:58)

조회 363 공감 0

최근에 논문을 쓰면서 퍼플렉시티, 챗지피티 등 쓰면서 드는 생각이..


돈도 돈이지만 이거 죄다 이 회사들에 데이터 넘어가는건데 찝찝하다는 생각이 드네요. 물론 제가 저명한 사람도 아니여서 굳이 털까 싶긴 합니다만;


GPU야 그냥 나중에 연구실에서 말 나오면 그때 사면 되는거고 당장 GPU도 몇개월뒤 3090 생길 수도 있어서.. 지금부터라도 생성형 AI를 로컬 PC에서 굴려볼까 생각 중이네요.


제가 주로 쓰는 용도는 다음과 같습니다 :

--

1. 문장 다듬기
2. 영문 번역
3. 웹 상세 검색
4. 논문 서칭
--

이정도 용도인데 로컬로 굴리기 충분할지 모르겠습니다.


딥시크가 사양을 그다지 잡아먹지 않는다고 하던데, 딥시크 모델 정도면 괜찮을까요?


현 연구실 컴퓨터 사양은 AMD 라이젠 7700X/RTX 3070TI/64G RAM 입니다.

댓글 (5)

  • 셀빅아이

    셀빅아이 Lv.1

    25.02.07 · 125.♡.200.218

    https://damoang.net/tutorial/13604
    사용기 참고해보세요.
    저도 이거 보고 가벼운것으로 써봤는데, 생각보다 괜찮은데 느렸습니다.
    그린내님 사양으론 사용기에 나와있는 정도는 가능하지 않을까 합니다.
  • 그린내

    그린내 Lv.1 → 셀빅아이 작성자

    25.02.07 · 211.♡.227.46

    감사합니다! 참고해서 설치해보겠습니다.
  • 칼쓰뎅

    칼쓰뎅 Lv.1

    25.02.07 · 210.♡.41.89

    간단한거는 되는데.. 좀 심도 깊게는 상용ai들 발전이 매우 빠른편이라서 못따라갑니다.
    1,2번은 로컬용으로도 적당히, 3,4번은 상용서비스들도 이제서야 도입하고 있는 신기능들이죠.

    허깅페이스등에서 데모용으로 돌리는 모델들 있으니 사용해보심 됩니다.
    32b q8정도로 돌리면 나름 쓸만합니다만, 48GB vram이 있어야됩니다 ㅎㅎ
  • 그린내

    그린내 Lv.1 → 칼쓰뎅 작성자

    25.02.07 · 211.♡.227.46

    허허.. 확실히 사양을 많이 잡아먹는군요. ㅠㅠ
  • 칼쓰뎅

    칼쓰뎅 Lv.1 → 그린내

    25.02.08 · 119.♡.210.192

    그래서 local로 좀 퀄리티를 따지겠다 하면 3090 2대가 스타트입니다.
    물론 뭐.. 작은 모델이라도 내가 사용할 용도에 맞게 딱 꾸려서 쓰겠다.
    하면 파인튜닝을 하거나, RAG를 잘 구축해놓으면 되긴합니다만...

    사실 개떡같이 말해도 찰떡같이 알아듣는걸 하고싶은게 LLM일진데 그건 쉽지않죠 ㅋㅋㅋ

댓글을 작성하려면 이 필요합니다.