메타 Llama 3.1 70b 4bit 바보군요. M4 Max 128
마이너스아이

Lv.1 마이너스아이 (106.♡.236.154)

2025년 3월 13일 PM 12:46 · 수정됨(19:31)

조회 1,058 공감 0

맥북프로 128기가 Max 모델에서 돌려 봤습니다.


70b 를 돌리니 전체 메모리가 80기가 넘어가네요.


하도 시국이 시국이라 아래와 같이 질문을 던졌습니다.


나라 잃은 슾름에 대한 시를 만들어줘.



답변

나라 은 슬에 대한 시입니다.

나라 은 슬

나라 은 슬이 어갑니다 역사에 남겨진 아이 어갑니다 나라 은 슬이 흐르네 물이 흐르고 가슴이 아파합니다

나라 은 슬이 어갑니다 나라 은 슬이 어갑니다 역사에 남겨진 아이 어갑니다 나라 은 슬이 흐르네 물이 흐르고 가슴이 아파합니다

나라 은 슬이 어갑니다 나라 은 슬이 어갑니다 역사에 남겨진 아이 어갑니다 나라 은 슬이 흐르네 물이 흐르고 가슴이 아파합니다

나라 은 슬이 어갑니다 나라 은 슬이 어갑니다 역사에 남겨진 아이 어갑니다 나라 은 슬이 흐르네 물이 흐르고 가슴이 아파합니다

나라 은 슬이 어갑니다 나라 은 슬이 어갑니다 역사에 남겨진 아이 어갑니다 나라 은 슬이 흐르네 물이 흐르고 가슴이 아파합니다


이쯤에서 맥북프로가 이륙을 합니다.



나라 은 슬이 어갑니다 나라 은 슬이 어갑니다 역사에 남겨진 아이 어갑니다 나라 은 슬이 흐르네 물이 흐르고 가슴이 아파합니다

나라 은 슬이 어갑니다 나라 은 슬이 어갑니다 역사에 남겨진 아이 어갑니다 나라 은 슬이 흐르네 물이 흐르고 가슴이 아파합니다

나라 은 슬이 어갑니다 나라 은 슬이 어갑니다 역사에 남겨진 아이 어갑니다 나라 은 슬이 흐르네 물이 흐르고 가슴이 아파합니다

나라 은 슬이 어갑니다 나라 은 슬이 어갑니다 역사에 남겨진 아이 어갑니다 나라 은 슬이 흐르네 물이 흐르고 가슴이 아파합니다



무한 반복 중... 도저히 안되서 멈췄습니다.

그리고 속도도 처음 질문을 이해 하는데 걸리는 시간이 2분 이상 걸리는 것 같습니다.

테스트를 접고 다른 놈으로 잡아 와야 겠습니다.

댓글 (19)

  • B

    B739 Lv.1

    25.03.13 · 222.♡.231.180

    (도리도리)

    제가 무슨 소리를 했죠?
  • 시골길농부

    시골길농부 Lv.1

    25.03.13 · 118.♡.10.125

    딥씩은 저 사양에서 잘 돌아갈까요?
  • 어머

    어머 Lv.1 → 시골길농부

    25.03.13 · 66.♡.126.27

    안들어가죠 모델자체가.
  • 시골길농부

    시골길농부 Lv.1 → 어머

    25.03.13 · 118.♡.10.125

    앗 그런가요? 딥씩 작은거 돌려보려고 M4 Max 64G 주문해놨는데 ㅠㅜ
  • 어머

    어머 Lv.1 → 시골길농부

    25.03.13 · 66.♡.126.27

    딥식작은건 다른 모델을 가지고 딥식처럼 행동하게 만든 모델이고 사실 제일 큰 모델이 딥식입니다

    리즈닝이 필요한게 아니면 작은 딥식을 돌릴 이유가 크지 않아요. 밑에분 말처럼 qwq 돌리는게 낫습니다
  • 마이너스아이

    마이너스아이 Lv.1 → 시골길농부 작성자

    25.03.13 · 106.♡.236.154

    지금 딥씨크 다운 중에 있습니다. 같은 70b 돌려 보고 다시 게시 하겠습니다.
  • 시골길농부

    시골길농부 Lv.1 → 마이너스아이

    25.03.13 · 118.♡.10.125

    기다리고있겠습니다 ^^
  • 어머

    어머 Lv.1

    25.03.13 · 66.♡.126.27

    최신 모델 돌려보세요 요새 나온 작은 모델이 몇년전에 나온 큰 모델 보다 낫습니다. 최신 7b만해도 저거보다 잘나옵니다
  • 마이너스아이

    마이너스아이 Lv.1 → 어머 작성자

    25.03.13 · 106.♡.236.154

    추천 좀...
  • 어머

    어머 Lv.1 → 마이너스아이

    25.03.13 · 66.♡.126.27

    전 따끈따끈한 젬마3 해보는 중입니다

댓글을 작성하려면 이 필요합니다.