개인적으로 사용하는 홈페이지 돌릴려고 그 고생해서 만들어놓은 서버가 터져버렸네요.

GHOST로 3개 정도 도메인 서비스중이고, 워드프레스 홈페이지 1개 만들어놓은것 뿐인데.

서버겸 나름 AI머신!!!!!  이라고 꾸몄는데 ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ

ollama엔 custom_llama3.1:8b-instruct-q4_0 를 CPU 전용으로 구동하게 해놓고...

pdf 파일 내용을 GHOST에 업로드하게 해줄 Marker 가 GPU를 사용하게 해두었는데...

이놈이 128기가 시스템 메모리까지 모조리 갉아 먹어버렸나보네요...

나름 32쓰레드에, 128기가 메모리라 설마했는데 부족한 VRAM12기가 다 사용하고 결국 이 사단을 내버렸나보네요.

지금 정자동 오피스텔에 있고...서버는 양평집에 홀로 있는데...이거야 원 양평집은 다음주 월욜 정도에나 갈꺼고...

그때까진 손 놓고 있어야 겠네요...