예. 그렇게 하라고 계획 세우네요. ERP와 RAG를 분리하고 API로 연동.

OpenAI API 서비스에는 벡터DB 라는 것이 있습니다.

일반 적인 TXT 파일도 가능하고 정제된 JSON 파일로 DB에 직접 업로드 하면 RAG로 활용해서
LLM 답변생성에 직접 적으로 이용이 가능합니다.
저도 회사에서 해당 프로젝트 진행중이어서 참고삼아 말씀드립니다!
허허허

앗.. 전문가 이시군요.

외부 서비스는 저희 용량이 너무 커서 이걸 정리해야 가능한데 그게 안될거 같아서요...

임베딩이라는게 자료를 파싱하고 정리하는걸 의미하는거죠? 그렇게 할려고 자체 개발 고려중입니다.

벡터화 하는겁니다. 보통 긴 자료를 청킹해서 작게 쪼개고 쪼갠 데이터를 벡터로 만듭니다. 그래서 검색 쿼리가 오면 검색 쿼리도 벡터로 만들어서 벡터와 벡터 비교를 통해 검색합니다

벡터DB는 데이터 내의 문장들이 가진 의미(문맥) 정보를 임베딩(벡터화)하여 저장하는 DB이고, RAG 시스템은 벡터DB의 벡터값과 검색 질의 벡터값을 비교하여 의미적으로 유사한 검색 결과를 LLM 프롬프트에 반영하는 것을 말합니다. 최종적으로 RAG 시스템을 통해 검색된 결과 중 질의와 연관성이 높은 결과를 LLM이 참조하여 사용자에게 답변을 제공하게 됩니다.

즉, 자료를 파싱하고 정리하는 것과는 차이가 있습니다. NAS에 저장된 데이터를 어떤 식으로 사용하길 바라는 지가 중요하고, 사용방법에 따라 벡터DB가 필요할 수도 있고, 단순 RDB를 이용해서 처리할 수도 있습니다. RAG은 주로 자연어 질의에 담긴 의미를 토대로 유사한 의미를 가진 자료 검색을 할 때 필요한 것이고, 단순하게 키워드 검색을 위주로 할 경우에는 RDB 구성으로만 결과를 LLM 프롬프트에 반영해도 문제가 없습니다.

감사합니다. 큰 이해를 주셨어요~