코딩 시킬 (물어볼) 용도로 로컬 AI 사용하시는 분 계십니까?
알림
|
페이지 정보
작성자
마이너스아이
마이너스아이
작성일
2025.01.31 16:22
본문
지금은 ChatGPT 유료로 코딩을 시키고 있습니다.
그런데 GPT4All 이라는 무료 툴이 있어서 AI 모델을 설치해서 돌려 보고 있는데
ChatGPT 가 자세하고 좀더 완벽한 코드를 주기는 하지만 유료라서 무료를 써보고자 했는데
답변의 질이 좀 떨어지긴 하나 크게 차이가 없는 것 같아서 무료로 로컬에서 돌려볼까 합니다.
고작 몇기가 안되는 엔진을 다운 받아서 돌리는데도 답변을 잘하는 걸 보면서
이게 뭔가 신기하고 원리도 신기해서 인터넷에서 이것 저것 찾아보는데 뭔소린지 하나도 모르겠다는건 함정입니다.
코딩 시킬 (물어볼) 용도로 로컬 AI 사용하시는 분 계십니까?
있으시면 또 어떤 방식으로 쓰시는지... 딥씨크 보니까 vscode 연동도 되는 것 같던데 말이죠.
1명
추천인 목록보기
댓글 2
/ 1 페이지
기적님의 댓글
작성자
기적
기적
작성일
02.03 21:16
로컬은 VS Code + Continue + Ollama 조합으로 사용하시면 됩니다.
Continue는 VS Code와 Ollama를 연결시켜주는 익스텐션이에요.
적절한 언어모델은 윗 댓글 참고하시고 관련 커뮤니티 모니터링 하다보면 앞으로 계속 더 나은 성능의 모델들이 나올 거예요.
(다모앙 개발 디스코드방에 놀러오세요~)
https://damoang.net/discord/34
Continue는 VS Code와 Ollama를 연결시켜주는 익스텐션이에요.
적절한 언어모델은 윗 댓글 참고하시고 관련 커뮤니티 모니터링 하다보면 앞으로 계속 더 나은 성능의 모델들이 나올 거예요.
(다모앙 개발 디스코드방에 놀러오세요~)
https://damoang.net/discord/34
찹쌀떡팥앙꼬님의 댓글
로컬 환경에서 LLM(Large Language Model)을 활용하려면 ollama나 LM Studio를 설치 하시면 쉽게 모델을 사용 하실 수 있습니다.
특히 LM Studio는 모델 검색, 다운로드, 실행, 채팅 인터페이스 등 이 직관적인 UI를 제공하고 있기 때문에, 좀 쉽게 다가가실수 있으실것 같습니다.
모델 개발용과 기타 문서 및 내용 처리시 아래 모델들을 돌려 가며 사용 하는 편입니다.
주로 사용하는 코딩 작업 모델 ( qwen2.5-coder, deepseek-coder-v2, phi4)
일반적으로 사용할때 (phi4, mistral, qwen2.5 )
저는 ollama를 주로 활용하며, 개발시 ollama 에 api 호출하여 사용하곤 합니다.
ollama를 사용할때 Open WebUI를 사용해서 모델별 비교를 하면서 결과를 도출 하기도 합니다.
그리고 vscode 에서 사용하시려면 Roo Code Extension을 설치하고 Ollama로 설정하시면 CursorIDE 처럼 자동 개발 및 에이전트 활성화가 가능해져 개발시 부려 먹을수 있습니다.
로컬에서 무료로(물론 Claude, ChatGPT 등 API 사용되됩니다) 사용하기에 괜찮습니다.
(CursorIDE, Windsurf 의 기능이 더 많긴 하지만)
저는...개발에 저렇게 로컬에서 사용하고 있습니다.
마지막으로...아무래도 모델의 parameter가 높은게 더 정보도 많고, 더 똑똑하게 답변을 생성 하겠지만 보통 개발환경의 피시별로 사양이 다르니까요.. 사용하실 모델의 parameter 는 사용해보시면서 타협점을 찾아보셔요..
전 70B를 원할하게 돌려 보고 싶네요 ㅠㅠ