Deepseek를 라즈베리파이에서 구동합니다.YouTube에서 반 쯤 낚였습니다.
Modelo

Lv.1 Modelo (96.♡.156.246)

2025년 1월 30일 AM 04:31 · 수정됨(06:54)

조회 2,036 공감 0

요즘 핫한 Deepseek.

경량화가 가능해서 Nvidia마져 위협한다는데...

그렇다면 라즈베리파이에서도 가능?


결론: 가능합니다. 하지만 속도가 너무 느려 실사용은 불가능.

그래서 AMD W7700을 사용했습니다.. 잘 됩니다.


예, 그렇습니다. 낚였습니다.

아직까지는 그냥 GPU를 사용할 수 밖에 없습니다.

그래도 꼭 Nvidiad의 고성능 GPU가 아닌 것만해도 큰 성과입니다.

댓글 (5)

  • 어머

    어머 Lv.1

    25.01.30 · 132.♡.75.90

    근데 많은 사람들이 잘못아는데 작은 모델들은 딥식이 아니고 가장 큰 모델만 사실 딥식이에요

    딥식 제대로 돌릴려면 최소 10억은 듭니다. VRAM이 1테라 넘게 들어서.
  • 1

    11235 Lv.1 → 어머

    25.01.30 · 140.♡.1.196

    제가 봤을때는 반은 맞고 반은 틀린 내용 같은데요?
    무슨 얘기나면, deepseek 논문의 핵심 내용은 deepseek이 자체적으로 개발한 모델에 포커스가 있기 보다는 강화학습에 대한 알고리즘과 그에 대한 결과에 보다 포커스를 맞춰져있습니다.
    즉, distilled model이고 그 베이스가 deepseek의 자체 모델이 아니라고 해서 그게 deepseek의 혁신적인 논문 내용을 벗어난다고 하기에는 무리가 있어보입니다.
    결과적으로 이 정도 파라미터로도 그거보다 훨씬 많은 파라미터를 가진 다른 모델을 성능면에서 앞설 수 있어가 핵심이니깐요.
  • 어머

    어머 Lv.1 → 11235

    25.01.30 · 172.♡.59.117

    그것도 반만 맞고 반은 틀린 내용입니다
    현재로는 디스트릴 모델은 정식 모델로 취급해 주지 않고 있죠. 또 모르죠 딥시크 방식이 정식 모델을 만드는 방법으로 인정 될지도요. 하지만 지금 기준으로는 디스트릴 모델은 정식 모델이 아닌걸로 취급할 뿐입니다. 올라마는 정식 모델로 네이밍 했고 허깅페이스는 아니라고 네이밍 했으니 제말이나 님말이나 둘다 반은 맞고 반은 아닌게 맞습니다

    참고로 올라마 네이밍은 욕 대차게 먹고 있습니다
  • 1

    11235 Lv.1 → 어머

    25.01.30 · 104.♡.77.153

    허깅페이스가 아니라고 네이밍 했다는 말이 무슨 말인가요?
    https://huggingface.co/collections/deepseek-ai/deepseek-r1-678e1e131c0169c0bc89728d
    이미 deepseek를 앞에 칭하고 distill이라고 명시한 다음에 베이스모델을 알려주고 있는데요?
    하기사 둘다 명시가 되었으니 반만 맞다고 보는게 맞겠군요.
    그나저나 deepseek로 인해 기존에는 없던 순혈주의 논란이 다있네요.
  • 어머

    어머 Lv.1 → 11235

    25.01.30 · 132.♡.75.90

    네 올라마는 베이스 모델을 알려주지 않고 허깅 페이스는 베이스 모델을 써주고 있습니다.

댓글을 작성하려면 이 필요합니다.