Shue (141.♡.148.192)
2026년 7월 13일 PM 04:07

받자마자 배를 열고 스팀덱에 달아줬던 WD 2TB 2230 모델로 교체 해 줬습니다.
주말중 그동안 작성하던 코드를 열심히 테스트 돌려봤는데 메모리가 크니 좋네요 (그래도 부족하...ㄴ게 함정..)
처음엔 Qwen 3.6 27B모델로 돌렸는데 (그나마 가장 똑똑하다고 해서..) 돌아는 가는데...
fine tunning 시간이 너무 어마무시하게 걸려서 이리저리 여러 모델을 방황하다,
최종적으로는 제 사용목적에 200k context도 부족하다는걸 알게되어.. Qwen/Qwen2.5-7B-Instruct-1M 모델로 정착했습니다
For processing 1 million-token sequences:
Qwen2.5-7B-Instruct-1M: At least 120GB VRAM (total across GPUs).
라고 되어있어서 7B 모델도 DGX SPARK에서 간당간당 할꺼 같습니다..
대충 100개 case study 후 돌려보니 우선은 잘 도네요
물론 한번 실행하는데 소요되는 시간의 90%프로는 프로그램 실행 및 weight loading 과정이 차지하고
결과는 거의 순식간에 나오긴 합니다 쿨럭...
이제 학습 숫자를 늘려서 원하는 결과를 내놓는 sweet spot을 찾는 여정에 들어갈듯 합니다.
튜닝 걸어놓고 아직 마무리 되지 않은 interface code 업데이트 해야지요...
지금 고민은 해당 프로젝트를 공식적으로 발표하고 과제로 만들어 투자를 받을것인지 (된다는 전제하에)
그냥 혼자만 몰래 쓰면서 월도 할지가 고민이 됩니다 ㅎㅎ

어짜피 업무용이라 사무실에 가져다놓고 (집에서 돌리기엔 내 전기요금은 소중하니까요..)
방열판 하나 위에 올려두었습니다.
최근 글
최근 댓글
- 예전에 DAC를 위해 사뒀던 방열판을 재활용한거라서요...알리에서 샀던 아래 방열판입니다120mm/ 150mm Heating Panel Heat
- 계속 로드를 걸고있어서 그런가.. 전기는 그리 크게 먹진 않지만 발열이 어마무시하네요또 전 전기세가 비싼 독일 거주중이여서요... 집에선 휴대폰
- 스파크가 없을땐 스파크 한대만 있어도 모든걸 다 할 수 있을꺼 같았는데스파크 한대를 굴려보니 한대로는 안되는게 더 많고 여러대를 붙여야 한다는것
- 컨텍스트 1m 때문에 선택했습니다..150k 짜리 인풋을 넣는데도 30만 context 이상이 필요하더군요..실무에 쓰는 파일은 MB 단위라..
- 학습 세트를 만들기위해 AI를 통해 파이썬으로 아주 간단한 예제 및 학습용 포멧 출력 코드를 만들었습니다..물론 만들어진 예제는 전수검사는 아니
댓글 (10)
-
남남극백곰
07.13 · 114.♡.188.135
-
SShue
→ 남극백곰 작성자
07.13 · 141.♡.148.192
컨텍스트 1m 때문에 선택했습니다..
150k 짜리 인풋을 넣는데도 30만 context 이상이 필요하더군요..
실무에 쓰는 파일은 MB 단위라... 압축하고 압축해도 1M도 간당간당 해보이는게 문제겠네요..
분할하는순간 분석하려는 데이터의 문제점을 놓칠수있기때문에 고민중입니다.
다른 모델이 더 좋다면 당연히 그걸 써야죠 ㅎㅎ
-
남남극백곰
→ Shue
07.13 · 114.♡.188.135
로컬모델 중 컨택스트 1m을 지원해 주고 스파크 단일로 운용 가능한게 거의 없군요 2대면 딥시크4나 미니맥스 같은거 쥐어짜서 사용하는거 같은데요
-
SShue
→ 남극백곰 작성자
07.13 · 141.♡.148.192
스파크가 없을땐 스파크 한대만 있어도 모든걸 다 할 수 있을꺼 같았는데
스파크 한대를 굴려보니 한대로는 안되는게 더 많고 여러대를 붙여야 한다는것만 배우고있습니다
(배가 부른소리...)
-
빅빅데이트
07.13 · 112.♡.148.44
이거 열도 별로 안나고 전기세도 별로 안먹는걸로 알고 있는데 아닌가요 ? 전에 회사에서 만져봤더니 그냥 맥미니 같은 느낌이였는데 말이죠.
-
SShue
→ 빅데이트 작성자
07.13 · 141.♡.148.192
계속 로드를 걸고있어서 그런가.. 전기는 그리 크게 먹진 않지만 발열이 어마무시하네요
또 전 전기세가 비싼 독일 거주중이여서요... 집에선 휴대폰 충전도 태양열로 합니다 ㅠㅠ
-
빅빅데이트
→ Shue
07.13 · 112.♡.148.44
생각해보니 로드를 안걸어서 그랬던거 같습니다.
-
빅빅데이트
07.13 · 112.♡.148.44
혹시 방열판 정보 공유 부탁드려도 될까요. 썬더볼트 독에 하나 붙여줄까 싶네요.
-
SShue
→ 빅데이트 작성자
07.13 · 141.♡.148.192
예전에 DAC를 위해 사뒀던 방열판을 재활용한거라서요...
알리에서 샀던 아래 방열판입니다
120mm/ 150mm Heating Panel Heat Sink Aluminum Heatsink CPU Power Amplifier Radiator -
빅빅데이트
→ Shue
07.13 · 112.♡.148.44
감사합니다.
댓글을 작성하려면 이 필요합니다.
qwen2.5 모델을 사용하시는 이유가 있으실까요?? 컨택스트 1m이란거 빼곤 장점이 없는거 같은데요?? 이 모델만의 뭔가가 있나 궁금해서요