사여?

6분의 1이면 기존대로 사면 6배의 능력인데 줄일까요 ㅋㅋ

압축기술이라고 하니까 마치 zip파일 압축하듯 생각하겠지만.. 데이터 양자화를 이용해서 정밀도를 낮추는대신 용량을 줄이는 기술이네요

근데 이미 ai 모델쪽은 모델 파라미터 크기나 연산을 줄이기 위한 양자화를 엄청나게 활용하고 있는데.. 과연 상기 기술로 얼마나 효과가 있을지는 의문이네요

대충 보기에 ai 데이터 중 사용자의 맥락을 저장하는 부분에 쓰이는걸로 나오는데.. 어쨌든 1/6 이라고 해서 지금 ai에 쓰이는 메모리 전체 사용량에는 실제로는 큰 영향은 없을것이라 봅니다

추론은 줄여주는데 학습은 전혀...줄여주진 않습니다. 추론쪽을 줄여주면 더 많은 컨텍스트를 보낼 수 있게 됩니다. 결론은 지금 보내는 토큰도 굉장히 제한적으로 처리되는건데 더 긴 대화 맥락을 유지할 수 있게 되죠. 결국은 AI의 궁극적인 목표는 인간의 중단기 기억력과 같이 긴 컨텍스트와 일관성을 갖는 것이기 때문에 6배 줄여주는 것이 굉장히 획기적일 수 있으나 지금 당장의 단기적인 메모리 수요에는 별 영향이 없을 것 같습니다.

적어도 중소기업정도 되는 비즈니스 모델을 지속적인 맥락 유지가 가능한 용량이 되어야하는데...거기까지 가기엔 6배 줄였다고 해서 지금 메모리 용량으로는 아직 멀었죠.

남들은 Full HD 30fps로 게임을 즐길 때 나는 4K, 100fps로 즐기고 싶은게 사람 마음이라~ 다다익램은 진리입니다.

1테라 메모리 쓰고 싶은데 안됬는데 160기가로 유사 성능 낸 수 있지만 결국은 1테라로 업 하려는 욕망은 계속 된다 봅니다

"더 많은 화력이 필요해"와 똑같습니다. 사용량을 줄였으면 더 많은 데이터를 올리면 됩니다

그럼 할 수 있는게 더 많죠

메모리는 다다익선.

왜 줄여요. 더 늘리면 더 좋아지는데.

제번스의 역설이 생각나네요 -__-ㅋ

미래는 흥미진진합니다