안녕하세요.

로컬 llm 공부해볼려고 삽질 중인 개발자입니다.

ollama과 open webui도 우분투에 설치하고, 여러가지를 공부삼아 배우고 있습니다.

최근에는 다양한 모델과 데이터셋을 찾는 재미가 있습니다. 처음에 이걸 잘 몰라서 페이스 허거로 검색했다가 험한거 보고 잠도 못잔 적이 있었거든요.

처음 배울 때 페이스 거시기에 학습 모델 찾기 쉽다는걸 기억했는데 나중에 몰라서 이러저리 찾다가 페이스 허거까지 갔던거였습니다…

왜 이름을 허깅페이스 인지는 지금도 모르겠지만 페이스허거 덕분에 완벽하게 외웠습니다!

저처럼 관련 검색하면서 웃픈일 있으시겠죠?

다음 번에는 v100 테슬라 10대로 open webui 도전기를 써보겠습니다.

대충 요약으로 경량모델(12B 이하)에선 v100 32gb 5대보다 5080 1대가 빠릅니다. 또한, 구형이 vram이 많다고 성능이 좋진 않았습니다.