아침소리 (211.♡.103.115)
2026년 7월 22일 PM 12:54
어차피 ERP에 allama 넣어서 청킹, 인덱싱 중이라 AI머신이 필요했는데 이걸 서버에 넣기로 했네요.
별도 워크스테이션으로 할까 하다가.. 블랙웰 5000 48gb 짜리로...
이왕 하는거 대리점에서 약간 상위 버젼 리퍼 서버 있다고 해서 그걸로 같이 구매하기로 했습니다.
이제 다음주면 GPU가진 서버가 들어오네요.
직원 할 수 있도록 커맨드 수준의 런북도 미리 만들어두고 시스템 변경되는거 설명하고..
같이 작업한 대표는 이번주부터 직원들 부서별로 불러서 시스템 개념, 사용 방법 등 설명하고..
저희 부서도 담당 직원 한명, 서브로 2명 붙어서 계속 개선해 나가고..
개선 하면서 자체 개발이 아니었으면 이런걸 구현할 수 있었을까 하는게 대부분입니다.
단순히 프로그램을 개선하는게 아니라 업무 시스템과 절차를 구현하네요.
퇴직 몇년 안 남은 저에게는 지난 30년 직딩 생활의 최종 레거시다 라는 생각이 듭니다.
최근 글
댓글 (6)
-
DDEFT
12:58 · 121.♡.110.211
- 아
아침소리
→ DEFT 작성자
13:10 · 211.♡.103.115
지금까지는 제 pc 5060-8gb 짜리로 겨우 최소 기능만 지원하던거라 allama에 작은 llm모델로 돌렸구요.
보통은 allama나 vLLM 등의 추론엔진을 넣는데 이 추론엔진들이 오픈소스 LLM 모델을 불러 올 수 있습니다.
저희는 메모리가 커져서 vLLM으로 옮길거고 거기서 30B정도의 모델을 한번 넣어볼까 합니다. 원래 목적은 nas의 청킹, 인덱싱을 통한 RAG검색의 구현이었는데 이거까지 너무 금방 되어서 GPU업글이 되면 어떻게 새로 구현을 해볼지 고민이긴 합니다 -
이이자하
13:03 · 59.♡.32.126
더 귀찮아 지실거 같은데 llm모델 서빙이 좀 노하우가 쌓여야 합니다.
vllm이나 sglang 이런게 은근 잘 죽어요
죽을때마다 자동으로 다시 돌아가게 하면 되긴 하는데 다운타임이 생기는건 어쩔 수 없습니다.
- 아
아침소리
→ 이자하 작성자
13:11 · 211.♡.103.115
다운타임 생기는게 검색쪽일거라 크리티컬 하지는 않을 거 같아요.
아직 AI 대응 같은건 안 만들어서..
-
FFV4030
13:04 · 210.♡.27.130
그냥 루비콘강을 건너셨군요 ㄷㄷㄷ
- 아
아침소리
→ FV4030 작성자
13:11 · 211.♡.103.115
그러게요 넘어 버렸네요.
댓글을 작성하려면 이 필요합니다.
오오..이런 거 저도 하고 싶은데, 어떤 식으로 해야 할지 간단한 설명을 들을 수 있을까요?.
allama 까지는 이해 했습니다. AI 모델은 어떤 것으로 해야 하는지 궁금하더군요.
opensource AI 모델을 선택해야 할텐데요. 만들 수는 없으니..