실험가능적 하네스??에 이어

FTS5와 Vector DB를 구현했습니다

그냥 몰라서 물었을 뿐인데

제미나이도 GPT도 강력 추천했습니다.

둘다 자기네 토큰을 쓸거라고 기대했겠죠?

하지만 요즘 큰일은 GPT에게 맡기고 있기 때문에 Codex에서 구현 했습니다. 생성형 이미지모델 다룰때 많이보던 텍스트 인코더 모델이 여기서 쓰이네요!

코덱스 토큰 오늘 저녁이 리셋이었는데

주제한 반 가까이 날아갔습니다 ㄷㄷ

그렇게 지지고 볶아도 일주일 넉넉한 토큰이었는데 반 가까이 날아가다니 ㅜ ㅜ

구축하고 나니 성능은 대애애애애애박 입니다.

애풀실리콘에서 LLM 돌릴 때 제일 최약체였던 프리필이 없다싶이 까지는 아니고 조금찬 속도쯤 합니다. 매번 필요한 힌트만 주입, 매번 문맥 디비를 읽고 필요하면 전체 문맥을 읽습니다.

그렇게 배경과 문맥을 알아요.

속도가 정말 초고속으로 바뀌는군요.

왜 이런 좋은 기술이 있는데 런타임들에 적용하지 않나 모르겠어요.

아마도 추론 런타임 하나 더 돌려야 그런가 보다 생각중인데...

정말 대단하네요 ㄷㄷ

휴리스틱 대부분 걷어내고 CoT화 한 것도 큰몫하지만 FTS5 + Vector DB를 기억하세요 여러분!

1. FTS5 (Full-Text Search 5)

FTS5는 SQLite에서 제공하는 '가상 테이블' 모듈로, 대량의 텍스트 데이터에서 특정 단어나 문구를 빛의 속도로 찾아내기 위해 설계되었습니다.

• 작동 원리: 우리가 책 뒤편에서 '인덱스(찾아보기)'를 보고 페이지를 찾는 것과 같습니다. 텍스트를 단어 단위(Token)로 쪼개어 어떤 단어가 어디에 위치하는지 미리 색인을 만들어 둡니다.

• 장점: "정확히 일치하는 단어"를 찾을 때 가장 빠릅니다. (예: "M4 mini"가 포함된 모든 문장을 찾아줘)

• 단점: 의미를 이해하지는 못합니다. '사과'를 검색하면 'Apple'이나 '부사'라는 단어는 찾아내지 못합니다.

2. Embedding (임베딩)

임베딩은 컴퓨터가 이해할 수 없는 '글자'를 숫자의 나열(벡터, Vector)로 변환하는 기술입니다.

• 핵심 개념: 단어나 문장을 수백~수천 개의 숫자로 이루어진 좌표계 위의 한 점으로 표시합니다.

• 특징: '의미적 유사도'를 가집니다. 예를 들어, 좌표계 상에서 '강아지'와 '멍멍이'는 매우 가까운 위치에 놓이게 됩니다.

• MCP 활용: 웹페이지의 긴 텍스트를 임베딩하면, 모델이 "성능에 대한 내용"을 물었을 때 '성능'이라는 단어가 직접 없어도 관련 있는 수치나 벤치마크 문단을 찾아낼 수 있습니다.

3. Vector/Embedding DB

벡터 DB는 위에서 만든 임베딩(숫자 나열)을 저장하고 검색하는 데 특화된 데이터베이스입니다.

• 전통적 DB와의 차이: 일반 DB는 "값이 같은가?"를 묻지만, 벡터 DB는 "어떤 데이터가 가장 가까운(유사한) 위치에 있는가?"를 묻습니다.

• MCP에서의 역할: 1. 웹페이지를 읽어 수천 개의 문단으로 쪼갭니다.

2. 각 문단을 임베딩(벡터화)하여 DB에 넣습니다.

3. 사용자가 질문을 던지면, 질문도 벡터로 만듭니다.

4. DB에서 질문 벡터와 가장 거리가 가까운 문단 3~5개만 뽑아옵니다.

5. 이 짧은 조각들만 모델의 컨텍스트에 넣어줍니다.

FTS5 vs Vector DB: 무엇을 써야 할까요?

Dinki님의 상황에서는 두 방식을 혼합(Hybrid Search)하는 것이 가장 이상적입니다.