logcat (112.♡.119.163)
2025년 8월 7일 PM 07:41 · 수정됨(20:12)
https://www.youtube.com/watch?v=RFBrw40K7_4
https://youtu.be/XUE0_R8416A
AI Max+ 395 CPU에 128GB램 사용하면 120B 모델이 구동속도가 빠르네요 ㄷㄷ
국내에서 판매된는 모델은 hp Z북 울트라 14 G1a 랩탑과 HP Z2 Mini G1A 워크스테이션 이렇게 있는데 이정도면 GLM 4.5 Air 106B (Q6 Excel 양자화), GPT-OSS 120B 도 작동가능합니다 ㄷㄷ
9700 XT 16GB에서는 vram 때문에 20B 모델만 돌아가네요
AI Max+ 395 128GB 모델과 비교할만한게 맥스튜디오 M4 Max 칩(16코어 CPU, 40코어 GPU, 16코어 Neural Engine) 에 128GB 모델인데 이건 584만원이고 AI Max+ 395 128GB 램 달린 HP 랩탑 워크스테이션은 459만원이라 대충 맥스튜디오보다 100만원 싼 느낌이긴하네요
gpt-oss-120b 모델이 OpenAI o4-mini 와 비슷하다고 하니 500만원정도의 돈만있다면 구독없이 로컬로 LLM과 MCP를 사용할수있는 세상이군요 ㄷㄷ
댓글 (4)
-
일일리케
25.08.07 · 221.♡.121.81
3060 12GB GPU에서도 oss-20b 잘 돌아가더라구요. - L
logcat
→ 일리케 작성자 25.08.07 · 112.♡.119.163
오 3060에서도 잘돌아가는군요 부럽습니다 ㅠㅠ 3050ti 4GB 램이라 할수있는게 없습니다 ㅠㅠ - 일
일리케
→ logcat 25.08.07 · 221.♡.121.81
oss-20b 가 가지고 있는 데이터는 2023년도것 까지 가지고 있다고 하는데 텍스트밖에 사용할수가 없어서...저는 이미지나 pdf 인식도 필요해서요 ㅠㅠ -
라라하트
25.08.07 · 182.♡.150.173
https://smartstore.naver.com/t2k/products/11889178405
여기 350만원짜리도 있긴 합니다. 다만 중국발 기기도 싸지않은게 위처럼 로컬 LLM돌린다고 중국에서 웃돈까지 줘가며 산다네요
댓글을 작성하려면 이 필요합니다.