남극백곰 (223.♡.75.219)
2026년 5월 17일 PM 03:42
amd 395에 램128 머신을 새로 들여서 이것저것 해 보는 중 임미다
현실적으로 사용할만한 건 30B 까지 임미다 그 이상은 사용은 가능한데 MOE아니면 힘들고 느림미다
개인의 입맛에 맞게 커스텀 모델을 만드는 작업 중 인데 엄청 오래 걸림미다 내장그래픽이라 그런가 봄미다
그리고 열이 엄청남미다 그래서 전력제한 걸고 에어컨 켜두고 사용중인데.... 겨울에는 좋을거 같고 여름에는 전력제한 안 걸면 힘들거 같아요
리눅스 설치하고 사용 중 인데 AMD395 이것에 대응하는 파인튜닝용 프로그램이 제조사에서 뭔가 안 만들어 줘서 특정 페도라 43버전에서 성공한 깃허브 글 보고 그대로 따라하는 중 임미다
우분투에서는 안대요
여름 시러용
교육할 데이터가 50만개 인데 5000개 하는데 4시간 걸렸슴미다
하루 1만개씩 진행해야 할 거 같아요
댓글 (14)
- 도
도시방랑자
05.17 · 222.♡.237.152
- 남
남극백곰
→ 도시방랑자 작성자 05.17 · 114.♡.188.135
솔직히 클라우드가 짱짱맨 임미다 집에서 취미로 하기엔 발열 소음이 너무 심해요 그래픽카드 살 돈으로 클라우드 요금제 몇년치 사는게 나을거에요
-
AArch
05.17 · 175.♡.138.3
몇백만개 학습데이터용 모델 만들고 하다보면 몇개월 훌쩍갑니다... 요즘은 좀 많이 단축 됐지만요.
- 남
남극백곰
→ Arch 작성자 05.17 · 114.♡.188.135
새 기기 오고 나서 찾아보니 aws, azure 같은곳에서 gpu로 모델 튜닝하는거 지원해 주는데 지금제가 하는거에 확신이 있다면 그런 대기업 장비에 맏기고 싶슴미다 지금 제가 하는건 확신이 없어서 취미로 하는거라 더이상의 돈 나가는건 막아야 해요
-
말말없는
05.17 · 36.♡.112.153
개인적으로 돌리기엔 거의 불가능한게 아닌가.. 그런 생각이 들더라구요.
- 남
남극백곰
→ 말없는 작성자 05.17 · 114.♡.188.135
지금 파인튜닝 하는게 14b 모델임미다 이걸 50만개 데이터 중 1000개씩 쪼개서 교육시키는데 램을 66기가 넘게 먹네요 이 이상 되는건 너무 오래걸리고 램을 얼마나 더 먹을지 몰라서 이정도가 딱 맞는거 같아요
-
마마을이
05.17 · 175.♡.109.85
그래서 딥시크처럼 효율적 활용도 좋지만
그냥 모니터의 거거익선처럼
GPU 도 성능 좋은 넘이 깡패라고 보더군요.
CAPEX 생각하면 엔비디아 나쁜 넘 싶지만
한 단계 낮은 넘으로 두 배의 시간을 돌리면
그게 그거라는 생각에 최신을 쓸 수 밖에요. -_-;;
- 남
남극백곰
→ 마을이 작성자 05.17 · 114.♡.188.135
집에서 그래픽카드 5090 32g 2장 해서 사용하시는분 아니면 파인튜닝은 별루일거 같아요 연구소나 회사에서 h100 80g 많이 들어간 기기라면 몰라도 집에서 취미용으로 하기엔 엔비디아 ㄱㄱㄲ
- 마
마을이
→ 남극백곰 05.17 · 106.♡.79.48
파인튜닝 자체가 개인 장비로 하기엔 버겁죠. ^^
- 남
남극백곰
→ 마을이 작성자 05.17 · 114.♡.188.135
전 느긋하게 하는 중이라 지금 당장 이걸 가지고 뭘 할 생각은 없어서 하는 중 임미다 급하게 해야 하면 돈내고 대형서버 빌려서 해야죠 시간은 돈인 연구소나 업체는 그런게 좋을거 같아요
댓글을 작성하려면 이 필요합니다.
재미있는거 많이 하시네요. 그래픽 카드 없이 RAM 만으로 충분히 속도 나오시던가요? 모델을 램에 일부 올리면 속도가 많이 느려지던대. 저도 남극백곰님 올리시는 글들 보고 흥미가 많이 생겨서요.
이러다 그래픽 카드 지를지도 몰라요. 책임 지세요. ㅋㅋㅋ