잡담
주말동안 ASUS Ascent GX-10 (DGX SPARK) 가지고 놀았습니다
Shue

Lv.1 Shue (141.♡.148.192)

2026년 7월 13일 PM 04:07

조회 501 공감 0

받자마자 배를 열고 스팀덱에 달아줬던 WD 2TB 2230 모델로 교체 해 줬습니다.

주말중 그동안 작성하던 코드를 열심히 테스트 돌려봤는데 메모리가 크니 좋네요 (그래도 부족하...ㄴ게 함정..)

처음엔 Qwen 3.6 27B모델로 돌렸는데 (그나마 가장 똑똑하다고 해서..) 돌아는 가는데...

fine tunning 시간이 너무 어마무시하게 걸려서 이리저리 여러 모델을 방황하다,

최종적으로는 제 사용목적에 200k context도 부족하다는걸 알게되어.. Qwen/Qwen2.5-7B-Instruct-1M 모델로 정착했습니다


For processing 1 million-token sequences:

  • Qwen2.5-7B-Instruct-1M: At least 120GB VRAM (total across GPUs).
    라고 되어있어서 7B 모델도 DGX SPARK에서 간당간당 할꺼 같습니다..

대충 100개 case study 후 돌려보니 우선은 잘 도네요

물론 한번 실행하는데 소요되는 시간의 90%프로는 프로그램 실행 및 weight loading 과정이 차지하고

결과는 거의 순식간에 나오긴 합니다 쿨럭...

이제 학습 숫자를 늘려서 원하는 결과를 내놓는 sweet spot을 찾는 여정에 들어갈듯 합니다.

튜닝 걸어놓고 아직 마무리 되지 않은 interface code 업데이트 해야지요...

지금 고민은 해당 프로젝트를 공식적으로 발표하고 과제로 만들어 투자를 받을것인지 (된다는 전제하에)

그냥 혼자만 몰래 쓰면서 월도 할지가 고민이 됩니다 ㅎㅎ

어짜피 업무용이라 사무실에 가져다놓고 (집에서 돌리기엔 내 전기요금은 소중하니까요..)

방열판 하나 위에 올려두었습니다.

댓글 (10)

  • 남극백곰

    남극백곰 Lv.1

    07.13 · 114.♡.188.135

    qwen2.5 모델을 사용하시는 이유가 있으실까요?? 컨택스트 1m이란거 빼곤 장점이 없는거 같은데요?? 이 모델만의 뭔가가 있나 궁금해서요

  • Shue

    Shue Lv.1 → 남극백곰 작성자

    07.13 · 141.♡.148.192

    컨텍스트 1m 때문에 선택했습니다..

    150k 짜리 인풋을 넣는데도 30만 context 이상이 필요하더군요..

    실무에 쓰는 파일은 MB 단위라... 압축하고 압축해도 1M도 간당간당 해보이는게 문제겠네요..

    분할하는순간 분석하려는 데이터의 문제점을 놓칠수있기때문에 고민중입니다.

    다른 모델이 더 좋다면 당연히 그걸 써야죠 ㅎㅎ

  • 남극백곰

    남극백곰 Lv.1 → Shue

    07.13 · 114.♡.188.135

    로컬모델 중 컨택스트 1m을 지원해 주고 스파크 단일로 운용 가능한게 거의 없군요 2대면 딥시크4나 미니맥스 같은거 쥐어짜서 사용하는거 같은데요

  • Shue

    Shue Lv.1 → 남극백곰 작성자

    07.13 · 141.♡.148.192

    스파크가 없을땐 스파크 한대만 있어도 모든걸 다 할 수 있을꺼 같았는데

    스파크 한대를 굴려보니 한대로는 안되는게 더 많고 여러대를 붙여야 한다는것만 배우고있습니다

    (배가 부른소리...)

  • 빅데이트

    빅데이트 Lv.1

    07.13 · 112.♡.148.44

    이거 열도 별로 안나고 전기세도 별로 안먹는걸로 알고 있는데 아닌가요 ? 전에 회사에서 만져봤더니 그냥 맥미니 같은 느낌이였는데 말이죠.

  • Shue

    Shue Lv.1 → 빅데이트 작성자

    07.13 · 141.♡.148.192

    계속 로드를 걸고있어서 그런가.. 전기는 그리 크게 먹진 않지만 발열이 어마무시하네요

    또 전 전기세가 비싼 독일 거주중이여서요... 집에선 휴대폰 충전도 태양열로 합니다 ㅠㅠ

  • 빅데이트

    빅데이트 Lv.1 → Shue

    07.13 · 112.♡.148.44

    생각해보니 로드를 안걸어서 그랬던거 같습니다.

  • 빅데이트

    빅데이트 Lv.1

    07.13 · 112.♡.148.44

    혹시 방열판 정보 공유 부탁드려도 될까요. 썬더볼트 독에 하나 붙여줄까 싶네요.

  • Shue

    Shue Lv.1 → 빅데이트 작성자

    07.13 · 141.♡.148.192

    예전에 DAC를 위해 사뒀던 방열판을 재활용한거라서요...

    알리에서 샀던 아래 방열판입니다
    120mm/ 150mm Heating Panel Heat Sink Aluminum Heatsink CPU Power Amplifier Radiator

  • 빅데이트

    빅데이트 Lv.1 → Shue

    07.13 · 112.♡.148.44

    감사합니다.

댓글을 작성하려면 이 필요합니다.