남극백곰 (114.♡.188.135)
2026년 5월 27일 AM 07:36
https://github.com/1ordo/strix-halo-unsloth?utm_source=chatgpt.com
로컬모델로 실제 쓸만하게 사용하는건 30b정도? 인듯 함미다
그래서 전 파인튜닝 할 모델로 14b모델을 가져와서 파인튜닝을 준비 하는데 amd가 이렇게 문제가 되는지 출시 1년이 넘은 프로세서의 드라이버가 안 나와서 문제가 있는지 몰랐었슴미다
그냥 모델을 올라마나 lmstudio에서 사용하는데는 문제가 없지만 파인튜닝을 하려면 지금 정식으로 나온게 없고 편법을 사용해야 파인튜닝이 가능함미다
그래서 구글링을 통해 깃허브에서 이런 방법이 있다 라는걸 찾았고 페도라43버전을 사용하게 되었슴미다 다른 컴들은 다 우분투인데...
업데이트도 다 막고 특정버전의 os와 파이토치와 특정 커널만 사용이 확인되었고 처음 우분투로 설치했을때는 아무리 해도 ai에이전트가 힘내봐도 안 되서 이런 방법이 있다고 알려주니 적용하고 파인튜닝이 되었슴미다
혹시나 이 프로세서를 사용하시는 분은 파인튜닝까지 생각하시면 이런 방법이 있다 라는것만 알아두시면 됨미다 파인튜닝 안 하시면 그냥 사용하시면 되요
6월말이나 7월초에 amd가 뭔가를 발표 한다고 하는데 그때쯤 이것에 대한 드라이버가 나올거라고 기대를 하고 있슴미다
댓글 (5)
-
빅빅데이트
05.27 · 121.♡.147.135
-
남남극백곰
→ 빅데이트 작성자
05.27 · 223.♡.75.89
gpu사용 함미다 전 파인튜닝 때문에 뜩정 리눋스와파이토치 사용 했어요
-
Kkamziki
05.27 · 112.♡.3.91
Qwen3.7 27b기준으로 TPS가 어느 정도 나오는지 여쭤봐도 될까요?
-
Kkamziki
→ kamziki
05.27 · 112.♡.3.91
Reddit 따르면 15~30 tps 예상되긴하는데.. 실제로는 얼마나 될지 궁금함다. https://www.reddit.com/r/LocalLLaMA/comments/1m6b151/updated_strix_halo_ryzen_ai_max_395_llm_benchmark/
-
남남극백곰
→ kamziki 작성자
05.28 · 114.♡.188.135
전 소음때문에 원래 120w인데 지금은 전력제한 걸고 사용해서 80w라 제대로 성능체크가 안 됨미다 그리고 나중에 제대로 드라이버가 나와야 리눅스는 벤치성능이 나올거 같아요 윈도우 날려서 체크를 못 하 겠네요
댓글을 작성하려면 이 필요합니다.
이거 메모리가 많아 관심을 두고 있는데 CPU 가속으로만 LLM 돌리는건데 드라이버 지원에서 아쉽다는 해외 평을 봤습니다. 드라이버만 잘 지원되도 한번 시도해보고 싶네요. 근데 실사용 체감은 어떠세요 ?