Java 사용하시는 분들은 안계신가요?
알림
|
페이지 정보
작성일
2024.05.13 17:14
본문
로컬 LLM 을 구성해 보려고 하는데요.
OLlama + LangChain - LangServ (stremIt) 같은 예제가 많이 보입니다.
제가 하는 것은 오래된 고전 Java 웹 기반 인데요 (Spring4 기반), 파이선 코드를 내장하려고 하니 어렵고,
파이선이나, node 로 서버를 구성하면, LLM + 이 서버들을 또 관리해야 하고, 중간에 또 다시 통신을 해야 되서 여간 번거럽습니다.
LangChain4j 라는 오픈소스가 있긴 한데, 이게 LangChain 에 완벽히 대응하지는 못하는 것 같아요.
버전업은 꽤 된거 같은데 파져나 스플릿터등이 있어야 하는게 없어요.
혹 이런 환경 없으신가요? 다른 분들은 어떻게 하시나요?
당장 Chat-UI 부터 WebSocket 써서 만들고 있는데, 아주 매우 귀찮네요 ㅜ.ㅜ
------------------ (05/30 추가)
Spring-AI 도 있습니다!
댓글 6
/ 1 페이지
나우시카님의 댓글의 댓글
@간실장님에게 답글
파이선 서버를 써야 되는군요.. ㅜ.ㅜ 답변 감사 드립니다!
아. 그리고 langchain 아키텍처 보면 파이선 말고, javascript 도 있긴 하던데, 그건 서버쪽 node 를 얘기하는건가요??
아. 그리고 langchain 아키텍처 보면 파이선 말고, javascript 도 있긴 하던데, 그건 서버쪽 node 를 얘기하는건가요??
간실장님의 댓글의 댓글
@나우시카님에게 답글
네.. ai쪽은 javascript는 node.js로 보면 됩니다.
ai = 파이썬은 국룰입니다. 튜토리얼 돌릴거 아니면 그냥 파이썬..
왜냐면.. 주피터 노트북 사용 사용해서 그렇습니다.
주피터 사용안하고, 실 코드(파이썬, node.js)로 돌리면 장담하건데.. 작업시간 2~3배 늘어납니다.
주피터를 사용하면 부분 코드로 결과물 바로 확인및 비용 절감등을 볼수 있습니다..
ai = 파이썬은 국룰입니다. 튜토리얼 돌릴거 아니면 그냥 파이썬..
왜냐면.. 주피터 노트북 사용 사용해서 그렇습니다.
주피터 사용안하고, 실 코드(파이썬, node.js)로 돌리면 장담하건데.. 작업시간 2~3배 늘어납니다.
주피터를 사용하면 부분 코드로 결과물 바로 확인및 비용 절감등을 볼수 있습니다..
RaPo님의 댓글
langchain도 js를 지원합니다.
ollama도 js가 있습니다.
https://github.com/ollama/ollama-js
ollama는 결국 ai서버의 백엔드를 구성하기 때문에 파이썬을 몰라도 가능합니다만, 사용하는 모델의 파인튜닝을 하거나 ollama에서 지원하지 않는 LLM을 사용하려면 파이썬을 알아야 합니다.
ollama도 js가 있습니다.
https://github.com/ollama/ollama-js
ollama는 결국 ai서버의 백엔드를 구성하기 때문에 파이썬을 몰라도 가능합니다만, 사용하는 모델의 파인튜닝을 하거나 ollama에서 지원하지 않는 LLM을 사용하려면 파이썬을 알아야 합니다.
권절현도님의 댓글
langchain4j 라고 있긴 합니다. 저도 메인이 Java 이긴하지만 langchain4j의 성능은 실제로 어떨지는 모르겠습니다. 모델서비스 자체는 langchain 서비스를 이용해서 구현할 수도 있겠지만 결국 UI 구성이 python 또는 javascript 버젼으로 된 예제들이 많아서 변경하기가 쉽지 않은 상태입니다. 일단 python 으로 langserve로 rest 구성하고 streamlit ( 마음이 바뀌면 chainlit도 할지도 모르겠습니다. ) 을 이용한 UI를 생각하고 있습니다. 일단 구현하여서 필요한 기능을 확인한 후에 바꿔보려고 하고 있습니다. 아직 Spring AI는 확인하지 않았습니다. 느낌상 기존 WEB기반이 아닌 Spring에서 제공하는 서비스 기반으로 되어있어서 최신 버젼의 spring boot 혹은 framework를 무조건 사용해야 할 것으로 생각되어서요.
권절현도님의 댓글
ollama를 사용하고 계신다면 또하나의 방법은 stream 형식까지는 모르겠지만 바딘이랑 힐라 프레임워크 만든 회사에서 샘플예제가 있다고 할려고보니 역시나 Spring AI는 spring boot 기준 3.2 이상 3.3 미만의 경우만 지원하네요. ㅡ.ㅡ;; 임베딩까지는 ollama쪽 지원가능할지 모르겠는데 문서상에서 function은 불가능할거 같네요. 공식문서로는요... 대신 다른 사람들 샘플이 있다면 가능할지도.. 모르겠습니다.
간실장님의 댓글
우선 langchain이 나온지 얼마되지 않습니다. 좀 돌아다니는 코드들이 0.0.3x대 버전이 제일 많을것이고.. 현재 0.1.x로 나왔는데.. 이게 1년이 안 되나 그렇습니다.(정확치 않음) 현재 계속 버전업중이고, 버전이 생각보다 많이 낮습니다..
하지만, 랭체인없으면 많이 불편하고.. 있으면 확실히 편합니다.
파이썬으로 하는게 관리가 편합니다. 딴건 되는것처럼 보여도 불편한거 많으니.. 현재는 그냥 파이썬이 최선이고 생각하심 되고요..
실시간으로 데이타 받을거 아니면, 질의후 답변만 받아서 rest등으로 받으면 될거 같고요..
실시간으로 데이타를 받아야 한다 하면 node의 nest.js 배우셔서 데이타를 받아 보세요..
nest.js를 추천하는 이유는 spring이랑 아주 유사한 구조라서 java쪽 인력은 배우기 편해서 그렇습니다.
찾아보면 관련 글 많습니다.
그럼 수고하세용..