안녕하세요. 

늦깍이로 AI 과제를 받아 맨땅 헤딩 중인 개발자입니다..

유휴장비를 받아서 로컬 LLM 테스트 배드를 구축하고 있습니다.  현재 라마3으로 기존 구축하여 초보수준으로 공부 중입니다.

장비는 V100 32GB * 4대로 하나의 서버랙입니다.

학습 데이터 반출이 안되는 등 제약사항이 많아서 머리가 아픕니다 ㅠ

그리고 성능도 낮아서 학습은 포기했고 라마-70b 모델로 이것저것 하고 있는데 원하는 결과가 안나오는것 같습니다.

최종 목표는 업로드 문서를 분석하고 통계 데이터 추출, 요약 보고서 작성, 기안 문서 템플릿 기반 자동 완성 정도로 목표를 잡고 있습니다.

위 장비로 라마3말고,  로컬로 돌릴만한 모델이 있는지 의견 묻습니다.