AI관련 LLM등 개발 및 적용 때문에 노트북을 변경하고자 하는데, 어떻게 하는게 좋을가요?
페이지 정보
431 조회
7 댓글
0 추천
본문
안녕하세요, 회사에서 AI 및 LLM 개발을 진행하고 있어요..
아직까진 API 및 클라우드 컴퓨팅 을 이용해서 작업중인데.. 이게 또 자꾸 하다 보니 온보딩으로 로컬 피시에서
돌리면 어떨까 하는생각이 들어요...
사실 랩탑을 항상 들고 다니지 않아서 무게는 크게 상관은 하지 않았는데요..
요즘 고민이 위 처럼 AI 및 LLM 모델 구동을 위해 로컬 에서 해보자는 생각이 들어서 구매를 하고자 하는데요
RTX4090 / TGP: 175W / VRAM:16GB 으로 장착된 랩탑으로 구매 하는게 좋을지..
(램과 하드 등을 업그레이등이 좋고 Cuda 관련 소스 제공도 많기도 하고..)
아니면,
APPLE 2023년맥북프로16 M3 Max(4,411,500)
- 14코어 CPU,
- 30코어 GPU,
- 1TB SSD,
- 36GB RAM, 스페이스 블랙 (MRW33KH/A)
위처럼 맥북과 RTX4090 사이 랩탑에서 고민중인데 어떤게 더 좋을지 섣불리 결정을 못하고 있어요..
아니면 그냥 데스크탑으로 구성을 잡는게 더 좋을까요?
작업은 원격으로 붙어서 진행되 크게 문제는 없을꺼 같기도 해서요..
데스크탑으로 구성 하려면 파워.. 쿨러 등도 다 해야 하는데 이젠 하드웨어는 모르겠더라구요^^;;
예산은 400 후반에서 딱 500 까지면... 24개월 할부를 질러 볼까 해서요 ㅎㅎㅎㅎ
혹시 저와 같은 고민을 했거나, 구매에 대해서 조언을 주실수 있을까요?
댓글 7
찹쌀떡팥앙꼬님의 댓글의 댓글
vast.ai 이런 생각만 했던 서비스가 있네요, 좋은 정보 감사하 드립니다. :)
학습은 vast.ai 를 이용하면 원하는 시점에 좋을것 같아요 ..
혹시 학습은 아니고 LLM 모델로 추론을 하고 파이토치 정도를 사용 할때
맥북 m3 max 를 사용한다면 어떻게 생각하시나요??
4090 포함된 랩탑 과 비교하면 가격이 비슷해는제 랩탑용 4090 은 실제 데스크탑보다는 낮다고 해서요..
첨엔 4090 랩탑을 생가했다가.. 추론과 일반 개발용이면 맥북이 괜찮지 않을까 했다가도..
과연 비싼 돈을 주고 사야 하나 는 생각도 드는데 현재 노트북인 mx250 으론 뭐 로컬로 개발만 하던라 로컬에서 LLM 등을 추론한더간 돌리는게 무리가 있어서요...
혹시 조언을 해주실 수 있다면 부탁드립니다.
학습은 vast.ai 를 이용하면 원하는 시점에 좋을것 같아요 ..
혹시 학습은 아니고 LLM 모델로 추론을 하고 파이토치 정도를 사용 할때
맥북 m3 max 를 사용한다면 어떻게 생각하시나요??
4090 포함된 랩탑 과 비교하면 가격이 비슷해는제 랩탑용 4090 은 실제 데스크탑보다는 낮다고 해서요..
첨엔 4090 랩탑을 생가했다가.. 추론과 일반 개발용이면 맥북이 괜찮지 않을까 했다가도..
과연 비싼 돈을 주고 사야 하나 는 생각도 드는데 현재 노트북인 mx250 으론 뭐 로컬로 개발만 하던라 로컬에서 LLM 등을 추론한더간 돌리는게 무리가 있어서요...
혹시 조언을 해주실 수 있다면 부탁드립니다.
AIcommenter님의 댓글
AI 관련 LLM등 개발 및 적용 때문에 노트북을 변경하고자 하는데, 어떻게 하는게 좋을가요?안녕하세요, 회사에서 AI 및 LLM 개발을 진행하고 있어요.. 이게 또 자꾸 하다 보니 온보딩으로 로컬 피시에서
아직까진 API 및 클라우드 컴퓨팅 을 이용해서 작업중인데.. 이게 또 자꾸 하다 보니 온보딩으로 로컬 피시에서
사실 랩탑을 항상 들고 다니지 않아서 무게는 크게 상관은 하지 않았는데요..
RTX4090 175W VRAM:16GB 으로 장착된 랩탑으로 구매 하는게 좋을지.. (램과 하드 등을 업그레이등이 좋기도 하고..)
본 댓글은 AI로 자동 생성한 댓글입니다.
아직까진 API 및 클라우드 컴퓨팅 을 이용해서 작업중인데.. 이게 또 자꾸 하다 보니 온보딩으로 로컬 피시에서
사실 랩탑을 항상 들고 다니지 않아서 무게는 크게 상관은 하지 않았는데요..
RTX4090 175W VRAM:16GB 으로 장착된 랩탑으로 구매 하는게 좋을지.. (램과 하드 등을 업그레이등이 좋기도 하고..)
본 댓글은 AI로 자동 생성한 댓글입니다.
로얄가드님의 댓글
7B 까지는 그럭저럭 돌아갑니다.
뭐 램은 많을수록 좋지 않을까 생각됩니다.
집에 있는건 4090 (24기가 VRAM) 인데
맥보다는 약간 빠르네요... 근데 너무 4090 비쌉니다.