ChatGpt 4o가 나오 시점에서 작년에 나온 meta의 llama 라니.. 

내 pc에 돌아가는 인공지능 AI중 가장 쉽게 접근 가능한것을 찾다보니 휴..

llama로 내 pc에서 구동시키고 그중에 ollama가 가장 쉽고 편하게 되어 있더군요.

해당구현은 ubuntu 22.04 기준입니다. 

결론 : 내 pc에 AI라니. 된다. 질문에 답변한다.

          돈 있으면 그냥 ChatGpt 4o 쓰자. 트렌드이고 지금 모든 유트버 들이 떠들고 있고. 

          돈 없으면 그냥 Copilot 쓰자 ms 계정만 있으면 된다. https://copilot.microsoft.com​

          내 PC에 AI도 돈이 많이 든다. 성능이 구리면 느리다.  예전 도트 프린터?? 느낌입니다. 

          아 영어 공부좀 열심히 할껄. 쩝.. 한글과 영어로 질문시 답변도 차이가 있고 속도도 차이가 있고 T_T;;

시작은 이 유트버 NetworkCheck라는 약 400만 유튜버 인데요. 

내용을 요약하자면 두 아이가 접근할수 있는 AI를 내 pc에 만들어 주자.. 그리고 그게 된다.. 이게 끝입니다. 

https://www.youtube.com/watch?v=Wjrdr0NU4Sk&t=475s

50대 독거 노인은 노안으로 중요한 점을 간과 합니다. 

유투버의 pc를 보면 그래픽 카드로 rtx 4090 두장이 설치되어 있는 것을 2번째 보면 확인 했네요 접.

와 이건 아니지 그 그래픽 카드 2장 들어간 PC가격이면 아이들 10년을  ChatGPT 유료로 써도 돈이 남을 것 같은데..

자 지금버터 설치 들어 갑니다. 

참조 사이트 : https://github.com/ollama/ollama​

선행조건 gpu가 ndivia일경우 드라이버를 잡아 놓으면 gpu를 이용하는 것으로 설치 됩니다. 

없으면 그냥 깡성능의 CPU로 구동됩니다. 

ollima 설치​

sudo curl -fsSL https://ollama.com/install.sh | sh

​pytorch 설치 

sudo pip3 install torch torchvision torchaudio​

cuda 사용시 

    sudo pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118

상태 확인 

sudo systemctl status ollama​

이제 ai model을 받아 봅시다. 

ai model을 받는 명령은 

    ollama pull llama3(모델명) , 전 참고로 ollama pull codellama 를 받았습니다.

모델은 다음 싸이트에서 확인 가능 합니다. : https://ollama.com/library​ 

모델 구동의   명령어 : ollama run codellama

who are you? 란 질문에 LLaMa라고 하네요 .. 영어가 짭아서 ..

이렇게 구동 되는 것을 확인 할수 있습니다. 

다음 편에 open-webUI를 이용하여 ChatGpt 비슷하게 대화형으로 볼수 있게 해보겠습니다. 

---------- ps -------------

2대의 pc로 작업을 해 보았는데.

하나는 인텔 3세대 i7 3620hq , ddr3 32G gpu gtx 670mx(4g) 모델과 인텔 11세대 i5-1150G7 내장 그래픽 ddr4 20G

두대로 같은 질물을 해 보았는데 최신? cpu 가 3배 이상 빠르네요. 최신 cpu가 짱짱입니다.T_T:;

역시 뭘 해도 젋음이 좋지요. 인텔 3세대 게이밍 노트북(그래픽도 달리고)이라 이게 선전할줄 알았는데. 아 세월은 견딜수가 없어요 

간만에 cpu 열라 갈구는 프로그램 이네요

-- 삭제 ----

ollama 서비스를 제거합니다.

sudo systemctl stop ollama
sudo systemctl disable ollama
sudo rm /etc/systemd/system/ollama.service
bin 디렉터리( , 또는 )에서 ollama 바이너리를 /usr/local/bin제거 /usr/bin합니다 /bin.

sudo rm $(which ollama)
다운로드한 모델과 Ollama 서비스 사용자 및 그룹을 제거합니다.

sudo rm -r /usr/share/ollama
sudo userdel ollama
sudo groupdel ollama