이번에 llm 을 이용한 RAG 시스템 구축 프로젝트를 하게 되었습니다.

업계 보안상 ChatGPT는 사용이 안된다네요 ㅠ

다행히 네이버 HyperClovaX는 보안 이슈를 잘 해결해서 사용이 가능했습니다.

근데 네이버가 한글 처리는 좋은데 RAG에 필수적인 임베딩 가능 토큰수와 llm에서 처리 가능한 토큰수 모두 ChatGPT에 비해 너무 작더군요.

그래서 고민하다가 이번에 meta에서 나온 llama3가 하도 좋다길래 써보니 아직 한글 처리가 불안하지만 json 출력, streaming 출력이 너무 잘되어서 병행해서 사용하기로 했습니다.

그리고 요즘 llm 모델 최적화 기술 덕분에 4bit 모델도 쓸만해져서 3090 2대에 llama3 70b 4bit도 잘 올라가더군요.

그리고 RAG를 구현하기 위에 오랜만에 langchain을 사용했는데 2023년도에서는 langchain이 너무 빠르게 발전해서 할때마다 개발해놓은 코드가 안돌아가서 짜증났는데 이번에 보니까 코드랑 메뉴얼이 매우 잘 정리되었더군요. 그리고 네이버는 아직 지원이 안되어서 따로 wrapping class를 만들어썼지만(커스텀 코드 만들기도 아주 좋게 되어 있습니다. python 상에서 상속도 신경 많이 써놓았고) llama3는 Ollama를 이용해서 올리면 langchain에서 쉽게 연동이 되더군요.

RAG의 성능을 높이기 위해서 병렬 처리를 통해 동시에 여러 문서를 검색하도록 했는데, 이럴 때 문제가 스트리밍 방식의 출력이었습니다. ChatGPT와 같이 대부분의 채팅 UI가 스트리밍을 지원하며 그렇지 않은 경우 체감속도가 엄청 떨어지는데 병렬처리 때에는 스트리밍 하는게 기획부터 어려웠습니다.

그런데 langchain에서는 input부터 output까지 전과정을 chain이라는 개념을 두고 이 chain 들에 대해 병렬 처리를 매우 쉽게 해주고 결과도 dictionary로 합해주는데, 스트리밍도 1개의 chain뿐만 아니라 병렬 처리 때에도 구분해서 처리를 해주는군요. 감동~!!

그리고 prompt 개발이라는 것이 참 어렵더군요. 개발이라고 하기에는 테스트/QA 요소가 많아서 일반적인 개발 방식으로 접근하면 결과가 잘 안나오더군요.

langchain으로 LLM을 이용한 prompt 작업을 하면서 2005~2008년도 AJAX가 한참 유행할때 개발자(대부분 백엔드)들이 javascript 작업을 코딩으로 볼건지 안볼건지 헷갈려할때 jquery가 나오면서 javascript 작업의 체계가 잡히면서 프런트엔드라는 영역이 만들어졌던게 생각이 나더군요.