Lamma3를 설치해 봤습니다.
알림
|
페이지 정보
작성일
2024.04.23 10:14
본문
7B는 생각보다 작고 사양이 낮아도 설치 됩니다.
라즈베리파이에도 설치 했다니 말 다 했죠.
참조한건 이쪽 유튜브이고
https://www.youtube.com/watch?v=kZXE5KyFcHo
프로그램 사이트는 ollama.com 입니다.
설치 과정이랄것도 없고 맥북 프로에서 안정적으로 돌아갑니다.
Postman에서 쿼리 해보니 좀 느리네요
{ "model": "llama3", "prompt": "Why is the sky blue?", "stream": false }'
댓글 7
/ 1 페이지
maplus님의 댓글
저는 나중에 RTX 4090 2개 정도를 라마3 70B 전용기기로 세팅해서 써볼까 생각중입니다.
이미 예전부터 이렇게 세팅해서 쓰시는 분들도 있던데, LLaMa 3 70B 가 꽤 괜찮게 나와서 제가 디지털화한 모든 개인자료를 뒤져서 내게 내용과 인사이트를 줄 수 있게 한다면 근사할 거 같아요.
이미 예전부터 이렇게 세팅해서 쓰시는 분들도 있던데, LLaMa 3 70B 가 꽤 괜찮게 나와서 제가 디지털화한 모든 개인자료를 뒤져서 내게 내용과 인사이트를 줄 수 있게 한다면 근사할 거 같아요.
로얄가드님의 댓글의 댓글
@maplus님에게 답글
40기가라서 만만치 않겠네요
4090 4개를 추천한다고 합니다.
4090 4개를 추천한다고 합니다.
maplus님의 댓글의 댓글
@로얄가드님에게 답글
4개씩이나 해야 하는군요.
그럼 일단 시작은 8B 로 시작해서 나중에 좀 더 경량화버전을 기다리던가 5090? 같은 애들이 나오길 기다리던가 해야겠습니다.
그럼 일단 시작은 8B 로 시작해서 나중에 좀 더 경량화버전을 기다리던가 5090? 같은 애들이 나오길 기다리던가 해야겠습니다.
Fusion님의 댓글
LLama3 8b 모델은 맥북에서도 잘 돌아가네요. 저도 gpu 서버에 LLaMa3 70B 모델 설치해 보고 구독중인 gpt4랑 비교해서 비슷하면 gpt를 해지해야겠어요. 추후에 나올 400b 모델도 기대됩니다. 지금 gpu 서버로 400b 모델을 돌릴수 있을지는 모르겠지만요..
앙겔군님의 댓글
A6000 x2에서 70b web-ui로 사용중인데 속도도 빠르고 괜찮습니다. 한글지원되는 모델나오면 chatGPT4.0 유료화 그만할 것 같습니다.
유닉스님의 댓글