재작년부터  연구기관들의 최대 관심사는 AI 구축이었습니다.  작년 세미나에서 이대통령님 덕분에 GPU카드 수급에 숨통이 조금 트여서 센터를 짓고 투자한다고 했던것 같습니다.

제 쪽에서도 일반직이든 기술직이든  AI를 활용한 자기개발을 강조하고 장려하고 있습니다.

다만 현재 연구에 필요한 학습이나 추론에 사용해야 하는데 국가 데이터가 외산 AI로 반출되는게 큰 문제였습니다. 

그래서 로컬 LLM을 이용해서 내부 데이터가 반출하지 않고 자체적으로 사용해보자고 시도하려고 합니다.

그런데 그 과제가 저한테 떨어졌네요. 안쓰는 v100? GPU 서버가 있는데 로컬 LLM 찾고 그걸 테스트 배드로 구축하고  기관 내에서 활용 방법을 연구하라는 큰 과제입니다 ㅠ

일단 메타의 라마2, 라마3를 눈여겨 보고 있는데 레거시 개발자인 저에게 인프라 구축을 비롯한 생태계를 만들어 보라는데, 저에게는 맨땅에 해딩입니다..

잘 되면 제 업적이라고 하는데 너무나 부담스러운 상황이라 푸념해봅니다 ㅠ