앞의 [삽질] ollama LLM 2탄으로 Open Web UI를 이용하여 AI 모델을 호출하는 방식입니다.

https://damoang.net/tutorial/6323​

ollama 모델이 설치되었다는 전제로 시작 합니다. 

open Web UI가 설치된 도커를 구동하여 PC에 설치된 AI 모델을 호출합니다. 

결과 : 된다. 조금 느린 느낌이 있지만. 

          commend 명령보다 편하고 UI도 이쁩니다. 

          Open UI에 잘 안다면 외부로 연결하여 사용도 가능 한것 같습니다. 

          상업용 이용은 라이센스를 확인 해 보시기 바랍니니다. 

docker 설치 
    1. 우분투 시스템 패키지 업데이트
        sudo apt-get update

    sudo apt-get install ca-certificates curl

    sudo install -m 0755 -d /etc/apt/keyrings

    sudo curl -fsSL https://download.docker.com/linux/ubuntu/gpg -o /etc/apt/keyrings/docker.asc

    sudo chmod a+r /etc/apt/keyrings/docker.asc

# Add the repository to Apt sources:

echo \
"deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.asc] https://download.docker.com/linux/ubuntu \
$(. /etc/os-release && echo "$VERSION_CODENAME") stable" | \
sudo tee /etc/apt/sources.list.d/docker.list > /dev/null

sudo apt-get update

#설치
    sudo apt-get install docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin

#도커 실행상태 확인

    sudo systemctl status docker
 #도커 실행 확인
    sudo docker run hello-world

Open Web UI 다운로드 및 실행

참고 문서 
​https://github.com/open-webui/open-webui​

문서대로 했는데 제PC에서는 

Open WebUI: Server Connection Error 발생 다음과 같은 docker 스크립트로 web UI 구동했습니다. 

스트립트가 들어가면 에디터가 오류가 나네요 그래서 이미지로 대처 합니다. 

상단 URL에서 Open WebUI: Server Connection Error 부분의 스크립트가 있습니다. 

이 부분을 사용한 이유가 ollama 와 open Web UI 연동부분에 타이핑을 해도 ollama 서비스를 찾지 못해서 

저 스크립트로 다시 구동 했습니다. 

웹 브라우저에서 로컬 호스트 : 8080 또는 원격지 pc :8080으로 접속을 하시면 open Web UI 사용이 가능 합니다. 

스크립트가 들어가면 계속 에디터에 에러가 나네요. 쩝. 

docker에서 구동되는 open Web UI를 확인 할수 있습니다.


이제 내 pc에 설치된 AI 모델을 이용하시면 됩니다.

이제 자비스는 제껍니다.

엉아가 영어가 짧고 가난한 50대 독거노인이라 좋은 cpu, 메모리, GPU를 달아주지 못해서 흑흑 미안하다. 자비스

-- ps --

이젠 일전에 설치한 code-server와 ai 모델을 연동하여 python 개발 환경을 업그레이드 하면 될것 같네요.

아 환경만 만들다. 시간 다 가네요 python 개발은 도데체 언제 하게 될지 ㅎㅎ

이게 다 대충 만든 삼성 덱스 때문입니다.???​

휴 에디터 에러땜시 1시간은 날리것 같네요 쩝.