남극백곰 (223.♡.79.250)
2026년 4월 12일 PM 03:19
책상앞에 굴러다니던 uconsole(라즈베리파이4)가 보임미다
램4기가라서 최소한의 모델 설치 함미다
ai한테 물어보니 저장장치가 sd카드라도 램에 다 올라갈 용량이면 상관없다고 2기가짜리 딥씨크 설치 함미다
다 설치한 뒤 인사로 hi 했더니...
말이 무지 많슴미다
이제 스팀덱이랑 엑갈리가 남아 있네요
엑갈리는 온보드램이라 다른 윈도보다 빠를거 같슴미다???
댓글 (12)
-
솔솔고래
04.12 · 175.♡.0.55
-
지지나가던행인이
→ 솔고래 04.12 · 61.♡.201.240
new era의 둠을 대체하는 무서운 로컬llm 입니까? ㅋㅋㅋ
-
NNO8DO
04.12 · 106.♡.79.118
지금 PC가 5600X에 32기가램인데 Gemma4 26B가 꽤 긴 보고서 생성하는데도 10Tok/s 나오더군요. CPU만 가지고 돌리는데도요.
그거 보고 포기했던 "PC 업글 후 남는 부품으로 로컬 llm 서버 돌리기"가 다시 생각나고 있습니다 ㄷㄷㄷ
-
셀셀빅아이
→ NO8DO 04.12 · 125.♡.200.218
CPU 가지고도 26b 가 10 나오면 상당하네요.ㄷ
- N
NO8DO
→ 셀빅아이 04.12 · 182.♡.206.104
4비트 양자화 버전인 Q4_K_M이긴 합니다만, 그래도 CPU만으로 이 정도 속도가 나오는 건 정말 놀랍네요 ㄷㄷ
-
66미리
04.12 · 211.♡.202.218
개발자들도 귀찮아서 안할 것을 다 하시고 계시는군요 ㅎㅎㅎㅎㅎ
전 그냥 회사에서 돈 대줘서 클로드 맥스 씁니다. -_-ㅋ 돈이 최고다. 생각합니다.
-
DDINKIssTyle
04.12 · 14.♡.7.140
네트워크 가능 기기라면 어딘가 하나 서버 열어두시고 엔드포인트들만 연결해주시면 편합니다 ㅋㅋㅋ 모바일 애들은 LLM은 처리해도 배터리가 너무 순삭이라서 말이죠.
- 지
지나가던행인이
04.12 · 61.♡.201.240
문제는 hi 말고는 별로 할게 없어요 ㅠ
-
일일론머스쿵
04.12 · 118.♡.74.107
이런 것도 하다보면 현타가 쎄게 옵니다. AI LLM이라는게 별게 아니거든요
-
달달짝지근
04.12 · 49.♡.149.207
만화나 sf영화에서 주인공이 핸드디바이스에 탑재된 인공지능 가지고 별 것 다 하던데
그게 지금도 어느정도 가능한 세상이라니 놀랍습니다 ㅋ
사실 하드웨어적으론 이 얼마전에도 가능했지만 사전학습 데이터를 딥러닝으로 만들지는 못했을테니 지금 와서 겨우 가능한거긴 합니다만 ㅋㅋ
댓글을 작성하려면 이 필요합니다.
‘둠’ 같은 거군요 ㅎ