오픈소스 - Ollama 기반 LLM 모바일 클라이언트

올해 꽤 많은 시간을 들여서 비디오와 관련한 LLM-RAG 관련 작업을 했습니다. 그러다 보니 부산물(?)이 좀 나왔는데 그중 일부를 정리해서 앱으로 만들고 오픈소스로 업로드했습니다.

데모를 위해 앱,웹 동시에 사용할수 있는 채팅 UI가 필요해서 플러터의 flutter_chat_ui 를 기반으로 작업을 했는데, 데모로 끝내기 뭣해서 Ollama 클라이언트로 모바일에서 사용할 수 있는 앱을 만들었습니다.

ChatGPT, Claude가 성능은 좋지만 비용이나 보안이 걱정되는 분들은 자신의 컴퓨터에 Ollama를 설치하고 필요한 적절한 LLM을 깔아서 사용해보는것도 좋은 방법입니다.
플러터(Flutter) 소스라서 아이폰, 안드로이드폰에 빌드해서 사용할수 있습니다.

소개

Ollama는 대규모 언어 모델(Large Language Models, LLMs)을 로컬 컴퓨터에서 쉽게 실행할 수 있게 해주는 오픈 소스 소프트웨어입니다. MyOllama를 사용하여 Ollama에 접속하여 다양한 LLM을 활용할 수 있습니다. MyOllama - Ollama 프로그램을 통해 자신의 컴퓨터에서 LLM을 실행하므로, 별도의 사용료 없이 AI 모델과 대화할 수 있습니다.

주요 기능

• 원격 LLM 접속: IP 주소를 통해 Ollama 호스트에 연결
• 커스텀 프롬프트: 사용자 정의 Instruction 설정 지원
• 다양한 오픈 소스 LLM 지원 (Llama, Gemma, Qwen, Mistral 등)
• 사용자 정의 Instruction 설정 가능
• 이미지 인식 기능 지원 (해당 기능을 지원하는 모델에 한함)
• 직관적인 채팅 형식의 UI
• 대화 기록: 채팅 세션 저장 및 관리
• iOS와 Android 지원
• 한국어, English, 日本語를 지원

사용 방법

• Ollama를 컴퓨터에 설치합니다 (macOS, Windows, Linux 지원). Ollama 설치 방법은 Ollama GitHub에서 확인할 수 있습니다.
• 소스를 다운 받아서 Flutter를 이용하여 빌드하거나, App Store에서 MyOllama 앱을 다운로드합니다.
• Ollama에 원하는 모델을 설치합니다. 모델다운로드
• Ollama를 원격 접속이 가능하도록 설정을 변경합니다.
• MyOllama 앱을 실행하고 Ollama가 설치된 컴퓨터의 IP 주소를 입력합니다.
• 원하는 AI 모델을 선택하고 대화를 시작합니다.

장점

• 이 앱은 오픈소스 LLM을 효율적으로 활용하고자 하는 개발자 및 연구자를 위해 설계되었습니다. API 호출, 프롬프트 엔지니어링, 모델 성능 테스트 등 다양한 기술적 실험에 활용 가능합니다.
• 무료로 고급 AI 기능 사용 가능
• 다양한 LLM 모델 지원
• 프라이버시 보호 (로컬 컴퓨터에서 실행)
• 프로그래밍, 창의적 작업, 일상적인 질문 등 다양한 용도로 활용 가능
• 대화의 맥락을 이어갈수 있도록 구성

주의사항

• 이 앱을 사용하려면 반드시 Ollama가 설치된 컴퓨터가 필요합니다.
• Ollama 호스트 설정 및 관리는 사용자 책임입니다. 보안 설정에 유의하세요.