일리케 (221.♡.121.81)
2025년 9월 13일 AM 09:48 · 수정됨(15:15)
처음에 그렇게나 어려운것일까 라는 막연한 생각을 했었습니다.
그냥 어떤 데이터든, 어떤 형식이든 요즘 같은 기술로 공개된 엥간한 LLM 모델 붙여서 질문하면 웬만큼 답변이 나오지 않을까? 라는 생각이었지요.
그게 회사 CRM 자료이든, 엑셀로 된 대단위 회계자료든, 호주 건강보험 20년치 자료든, 백만건정도의 과학논문이든...
데이터만 있으면 요즘 같은 LLM 이라면 간편하게 기존에 하던 일일히 쿼리로 답을 구해야 하는 것을 대체해주지 않을까 생각을 진짜 막연하게 하고 대략 6개월 정도 걸린것 같네요. 혼자서...
장비는 이런저런 장비를 거치다가 NVIDIA 3090에서 좀 더 램을 많이 사용할수 있어서 큰 LLM 모델을 돌릴수 있다기에 맥스튜디오 64G까지 가서 셋팅하고 드디어 RAG 설정해서 LLM에서 데이터 접근까지는 완성을 했는데!!!!!
이 결과가 뭔가요 ㅋㅋㅋㅋㅋㅋㅋ
역시 AI 가지고 혼자서 앱을 만드네 뭘 만드네 하는 기자들의 허무맹랑한 이야기는 x도 모르는 소리...ㅋㅋㅋㅋ
개발자는 영원히 필요할듯 하네요...ㅋㅋㅋㅋ
혼자서 온갖 AI 동원해 가면서 만들어밨지만 결론은 원하는 만큼의 퀄리티는 절대 나오지 않군요.
이건 기본 지식이 있는 개발자 집단이 죽어라 개발해서 나올수 있는 결과이지 혼자서 방구석에 쳐박혀서 아무리 chatgpt든 gemini든 grok 이든 아무리 날밤을 세워가면서 돌려봐야 쓸만한 퀄리트이 결과물은 나오지 않는다는걸 ....
알고는 있었지만 확인 받았네요 ㅋㅋㅋㅋㅋ
하지만 그나마 gemini-cli의 위대함은 몸소 느꼈네요.....MCP 구축해서 어케 편하게 좀 해볼까 싶었는데....뭐 그냥 gemini-cli 하나면 엥간한건 하겠는걸요..ㅋㅋㅋ
혼자서 시간날때마다 혹시나 될까 싶어서 해밨는데....결과는 0.1%도 만족할만한 결과는 못냈지만...
그나마 RAG 구축하는게 어떤 건지 개념은 알고 가네요....
역시 기초가 있어야 뭐든 하겠네요..
이상 if 문 개념조차 모르는 코딩의 무뇌아가 경험한 6개월간의 삽질이었습니다. ㅋㅋㅋ
이젠 맥스튜디오도 팔고 맥미니 저렴이로 하나사서 웹서버나 만들어놓고 편히 지내야겠습니다....
그동안 재미있었네요 ㅋㅋㅋ
근데 arxiv 사이트 논문은 진짜 많기는 하네요...ㄷ ㄷ ㄷ ㄷ
댓글 (16)
-
삶삶은다모앙
25.09.13 · 61.♡.223.158
-
일일리케
→ 삶은다모앙 작성자
25.09.13 · 221.♡.121.81
그쵸...근데 AI 땜에 개발자들이 다 굶어 죽네 마네 호들갑 떠는 기자들 보면 진짜...ㅋㅋㅋㅋㅋㅋ
짤리는 개발자들 보면 그냥 실력없는 부류가 짤리고...실력있는 분들은 몸값 높여서 이직하고 안짤리죠....
어차피 도퇴될 부류들한테 이유나 달아주고.... -
홍홍천브람스
25.09.13 · 39.♡.25.192
딱 저랑 같은 생각을 하신것 같습니다. 어째 스펙 구성도 똑같으시네요 ㅎㅎ. 저는 이제 사서 해볼까 단계입니다만, 미리 스포를 당한 느낌입니다 ㅎㅎ. 친구한놈도 그렇게 하려다가 pdf에 이미지랑 표가 많으니까 아예 해석이 안된다고 머리뜯고 있는 중입니다 -
일일리케
→ 홍천브람스 작성자
25.09.13 · 221.♡.121.81
ㅋㅋㅋㅋㅋㅋ
주식하믄 망한다라고 미리 알려줬찌만 ...굳이 뛰어 들었다 본인도 망하는 선례를 보지만...또 뛰어드는....
뭐 그런거 아니겠습니꽈? ㅋㅋㅋㅋㅋㅋ - 외
외노자공돌이
25.09.13 · 45.♡.141.195
저도 RAG 해보려다가 그냥 컨텍스트 더 쓰거나 파이썬에서 기존 단어 찾아 씁니다….소설 끄적끄적 즁이에요 -
일일리케
→ 외노자공돌이 작성자
25.09.13 · 221.♡.121.81
ㅋㅋㅋ 아무튼 재미난 몇개월 이었습니다. -
쿠쿠키맨
25.09.13 · 112.♡.119.111
chatgpt나 gemini 사용하지 않고 로컬LLM으로 RAG를 구축 하신걸까요?
(그런걸로 보이는데...)
만약 그렇다면 일단 여러 문제가 있습니다.
1. 문서의 컨텍스트를 어떻게 유지하면서 파싱하여 임베딩하느냐에 대한 전략이 엄청 중요합니다. (청크, 문맥보강, 메타데이터 저장 전략이 중요합니다.)
2. 문서를 임베딩할때도 어떤 모델로 임베딩하느냐에 따라 성능차이와 정확도 차이가 큽니다.
3. 사용하신 모델이 어떤 모델인지 모르지만... 로컬LLM으로 돌리시는건 어느정도 파인튜닝을 해줘야 좋은 결과를 얻을 수 있습니다. 파운데이션 모델을 그대로 사용한다? 그런데 품질을 gemini만큼 원한다? 절대 안됩니다. ;; -
일일리케
→ 쿠키맨 작성자
25.09.13 · 221.♡.121.81
그러게요...말씀하신 내용중 대다수 단어들을 이번에야 알게되었네요 ㅋㅋㅋ
pdf를 처리해서 chromadb에 임베딩 한다는 개념조차도 몰랐는데 하다보니 그런과정이 필요하다는것도 알았고...
최대한 pdf 내용을 모두 chromadb에 저장하려고 계속 테스트한것만 해도 4달 정도 걸린것 같네요 ㅋㅋㅋ
나중에 테스트로 chromadb에 저장된 내용이 진짜 기존 pdf 안에 텍스트랑 이미지, 도표등도 다 들어갔나 싶어서 재조합해서 워드프레스에 등록하는 테스트도 해밨는데..오~ 되네요?? ㅋㅋㅋㅋ
이거 하나는 그나마 성공해서 위안을 삼고 있습니다. ㅋㅋㅋㅋ -
야야댕선생
25.09.13 · 211.♡.226.189
구글 엔지니어도 말했죠
프로토는 천국, 프로덕션은 지옥 -
SStarMix
25.09.13 · 116.♡.151.21
전회사에 그거 하는 팀이 있었어요.
현재 방법으로는 안된다는걸 잘 알고 있습니다.
AI 특징이죠. 그런데 이것도 조만간 누군가 방법을 찾아 내겠죠.
댓글을 작성하려면 이 필요합니다.
어디를 패야 할지... 각을 잘 재야겠네요
쉬우면 벌써 다 해 놨지요 어려우니까.....