로그인
회원가입
정보찾기
Site Menu

AI당

AI관련 LLM등 개발 및 적용 때문에 노트북을 변경하고자 하는데, 어떻게 하는게 좋을가요?

알림
|
X
찹쌀떡팥앙꼬
2024.04.29 11:13
638
7
0

안녕하세요, 회사에서 AI 및 LLM 개발을 진행하고 있어요..

아직까진 API 및 클라우드 컴퓨팅 을 이용해서 작업중인데.. 이게 또 자꾸 하다 보니 온보딩으로 로컬 피시에서

돌리면 어떨까 하는생각이 들어요... 

사실 랩탑을 항상 들고 다니지 않아서 무게는 크게 상관은 하지 않았는데요..

요즘 고민이 위 처럼 AI 및 LLM 모델 구동을 위해 로컬 에서 해보자는 생각이 들어서 구매를 하고자 하는데요


RTX4090 / TGP: 175W / VRAM:16GB 으로 장착된 랩탑으로 구매 하는게 좋을지..

(램과 하드 등을 업그레이등이 좋고 Cuda 관련 소스 제공도 많기도 하고..)

아니면,

APPLE 2023년맥북프로16 M3 Max(4,411,500)

- 14코어 CPU,
- 30코어 GPU,
- 1TB SSD,
- 36GB RAM, 스페이스 블랙 (MRW33KH/A)

​

위처럼 맥북과 RTX4090 사이 랩탑에서 고민중인데 어떤게 더 좋을지 섣불리 결정을 못하고 있어요..

아니면 그냥 데스크탑으로 구성을 잡는게 더 좋을까요?

작업은 원격으로 붙어서 진행되 크게 문제는 없을꺼 같기도 해서요..


데스크탑으로 구성 하려면 파워.. 쿨러 등도 다 해야 하는데 이젠 하드웨어는 모르겠더라구요^^;;


예산은 400 후반에서 딱 500 까지면... 24개월 할부를 질러 볼까 해서요 ㅎㅎㅎㅎ

혹시 저와 같은 고민을 했거나, 구매에 대해서 조언을 주실수 있을까요?

0명
댓글 7 / 1 페이지
no_profile 로얄가드
2024.04.29 11:54
M3 맥북 프로 18기가 모델에서
7B 까지는 그럭저럭 돌아갑니다.

뭐 램은 많을수록 좋지 않을까 생각됩니다.

집에 있는건 4090 (24기가 VRAM) 인데
맥보다는 약간 빠르네요... 근데 너무 4090 비쌉니다.
찹쌀떡팥앙꼬
2024.04.29 12:47
@로얄가드님에게 답글 답변 감사합니다..
랩탑용 은 4090 (12 VARM) 이 최대 스펙인거 같은데, M3 맥북 프로 18기가 모델 과 비교 해서 크게 차이는 없을수 있겠네요...

결국엔 랩탑용 4090 보다 m3 36기가 더 나은 선택지일수 있겠어요...

감사합니다~ :)
no_profile Mo리슨
2024.04.30 22:42
제가 회사에서 맥북에 4090데스크톱+클라우드 환경에서 사용하고 있는데요 추론이 아니고 학습이시라면 맥북에서 로컬로 작업하시기에는 애로사항이 너무 많습니다. 굳이 맞추신다면 저 같으면 4090 테스크톱, 안맞춘다면 그냥 클라우드 이용하겠습니다. 저렴한 클라우드GPU로는 vast.ai 추천드립니다
찹쌀떡팥앙꼬
2024.05.01 13:10
@Mo리슨님에게 답글 vast.ai 이런 생각만 했던 서비스가 있네요, 좋은 정보 감사하 드립니다. :)
학습은  vast.ai 를 이용하면 원하는 시점에 좋을것 같아요 ..
혹시 학습은 아니고 LLM 모델로 추론을 하고  파이토치 정도를 사용 할때
맥북 m3 max 를 사용한다면 어떻게 생각하시나요??

4090 포함된 랩탑 과 비교하면 가격이 비슷해는제 랩탑용 4090 은 실제 데스크탑보다는 낮다고 해서요..

첨엔 4090 랩탑을 생가했다가.. 추론과 일반 개발용이면 맥북이 괜찮지 않을까 했다가도..
과연 비싼 돈을 주고 사야 하나 는 생각도 드는데 현재 노트북인 mx250 으론 뭐 로컬로 개발만 하던라 로컬에서 LLM 등을 추론한더간 돌리는게 무리가 있어서요...

혹시 조언을 해주실 수 있다면 부탁드립니다.
no_profile Mo리슨
2024.05.19 18:50
@찹쌀떡팥앙꼬님에게 답글 알림늘 늦게 봐서 이제야 답장 남깁니다. 추론용으로는 요즘 맥북 인기가 꽤 올라갔습니다. CPU와 GPU가 램을 공유하기 때문에 고용량 vram을 필요로 하는 모델이 잘 돌아가기 때문이죠. 추론과 일반 개발용이라면 맥북 괜찮습니다. CPU보다는 램이 관건입니다. 다다익램 추천드립니다.
no_profile AIcommenter
2024.05.11 21:28
AI 관련 LLM등 개발 및 적용 때문에 노트북을 변경하고자 하는데, 어떻게 하는게 좋을가요?안녕하세요, 회사에서 AI 및 LLM 개발을 진행하고 있어요.. 이게 또 자꾸 하다 보니 온보딩으로 로컬 피시에서
아직까진 API 및 클라우드 컴퓨팅 을 이용해서 작업중인데.. 이게 또 자꾸 하다 보니 온보딩으로 로컬 피시에서
사실 랩탑을 항상 들고 다니지 않아서 무게는 크게 상관은 하지 않았는데요..
RTX4090 175W  VRAM:16GB 으로 장착된 랩탑으로 구매 하는게 좋을지.. (램과 하드 등을 업그레이등이 좋기도 하고..)

본 댓글은 AI로 자동 생성한 댓글입니다.
no_profile RaPo
2024.05.11 22:46
학습용이라면 서버가 답입니다.