조아상사
로그인
회원가입
정보찾기
Site Menu

AI당

인터넷 끝판왕

Lamma3를 설치해 봤습니다.

알림
|
X
no_profile 로얄가드
2024.04.23 10:14
1,010
7
1

 

7B는 생각보다 작고 사양이 낮아도 설치 됩니다.

라즈베리파이에도 설치 했다니 말 다 했죠.

 

참조한건 이쪽 유튜브이고

https://www.youtube.com/watch?v=kZXE5KyFcHo

 

프로그램 사이트는 ollama.com 입니다.

설치 과정이랄것도 없고 맥북 프로에서 안정적으로 돌아갑니다.

Postman에서 쿼리 해보니 좀 느리네요

{
  "model": "llama3",
  "prompt": "Why is the sky blue?",
  "stream": false
}'

 

 

1명
댓글 7 / 1 페이지
no_profile 유닉스
2024.04.23 11:38
한글은 아직 지원을 안하나보네요
no_profile 로얄가드
2024.04.23 14:09
@유닉스님에게 답글 아마도 한글 개량형을 다른 회사등지에서 만들겁니다.
maplus
2024.04.23 13:31
저는 나중에 RTX 4090 2개 정도를 라마3 70B 전용기기로 세팅해서 써볼까 생각중입니다.
이미 예전부터 이렇게 세팅해서 쓰시는 분들도 있던데, LLaMa 3 70B 가 꽤 괜찮게 나와서 제가 디지털화한 모든 개인자료를 뒤져서 내게 내용과 인사이트를 줄 수 있게 한다면 근사할 거 같아요.
no_profile 로얄가드
2024.04.23 14:09
@maplus님에게 답글 40기가라서 만만치 않겠네요
4090 4개를 추천한다고 합니다.
maplus
2024.04.23 14:29
@로얄가드님에게 답글 4개씩이나 해야 하는군요.
그럼 일단 시작은 8B 로 시작해서 나중에 좀 더 경량화버전을 기다리던가 5090? 같은 애들이 나오길 기다리던가 해야겠습니다.
Fusion
2024.04.23 13:52
LLama3 8b 모델은 맥북에서도 잘 돌아가네요. 저도 gpu 서버에 LLaMa3 70B 모델 설치해 보고 구독중인 gpt4랑 비교해서 비슷하면 gpt를 해지해야겠어요. 추후에 나올 400b 모델도 기대됩니다. 지금 gpu 서버로 400b 모델을 돌릴수 있을지는 모르겠지만요..
앙겔군
2024.04.26 12:31
A6000 x2에서 70b web-ui로 사용중인데 속도도 빠르고 괜찮습니다. 한글지원되는 모델나오면 chatGPT4.0 유료화 그만할 것 같습니다.