문과입니다. 봐도 모릅니다 ㅇㅁㅇ
다만 뭔가 좋은 걸 거라고 추측만 합니다 \ㅇㅁㅇ/

저도 뭔지 모르겠지만 알 것 같습니다. ^^;

한줄평: 북극성 존재에 대한 수학적이며 생동감 넘치는 찬사!
위의 좋은 글 써주신 앙님께 드릴 칭찬 표현법이 서투름을 용서해 주세요

이과인데... 뭔가 스치는 기억만 있네요...ㅠㅠ

비트맵과 벡터 이미지의 차이로 그래픽 독학할 때 봤었습니다. 어도비 일러에서 사용하는 벡터 이미지는 확대해도 그 해상도가 깨지지 않지만, 비트맵 이미지는 변환시 화질 손상이 발생합니다. 자세한 건 ↓ 분께서 설명해주실 겁니다.

그게 뭐예요.. 무서워......

한달에 두세번정도 데이터 모델링 하는입장에서 어떤 지표정도로만 인식하는 수준이었는데 그래프를 보니 직관적으로 와닿네요. 역시 시각화가 최고입니다 ㅎㅎ

매우 훌륭한 비유라고 생각합니다.
요즘 어디서나 들어보셨을 LLM(대용량 언어모델)을 산업/학계에서 사용을 하기 위해선 LORA(Low-Rank Adaptation)을 거의 필수 입니다. (물론 메타, 구글, 오픈ai, 알리바바처럼 엄청난 gpu를 가진 회사라면 처음부터 끝까지 모델을 학습할 수 있겠습니다). 즉 대용량 언어 모델는 엄청난 숫자의 매개변수의 숫자를 가지고 있고 (모델 옆에 30b, 72b 옆의 b는 billion(10억)이고 , 매개변수가 각각 300억개, 720억개), 이를 일반인, 학계, 산업에서 돌리기엔 엄청난 gpu 성능이 필요로 합니다. ( 최근에 우리 상목이가 말한 것처럼 2만개의 gpu가지고는 택도 없습니다). 그런데 이런 대용량 모델을 우리가 사용하려면 위에서 언급한 LORA를 사용하는 것이 가장 일반적인 부분이고, LoRA의 핵심 아이디어는 매개변수 행렬을 저차원 공간에서 근사하는 것이죠.(대형 언어 모델(Large Language Models, LLM)처럼 수많은 매개변수를 가진 모델에서, 모든 매개변수가 동일하게 중요한 역할을 하지 않으며, 일부 중요한 정보만이 모델의 성능에 큰 영향을 미친다고 가정하는 것입니다.)
즉, LoRA에서는 모델의 큰 매개변수 행렬을 저차원 근사로 분해하고. 이렇게 분해된 저차원 파라미터 행렬은 중요한 정보를 포함하고, 불필요한 정보를 최소화하는 역할을 합니다. 모델이 학습하는 동안 중요한 변화만을 반영하여 필요한 매개변수만을 업데이트하는 방식이고, 그래서 학습 시간이 단축되고, 메모리 절약이 가능하게 됩니다.

고윳값(eigen-vector)은 LoRA에서 중요한 차원을 선택하고, 저차원 근사를 통해 효율적인 학습을 가능하게 만드는 중요한 요소입니다.

유작가님은 유튜브, 네이버 포털, 인스타, 등등에서 쏟아지는 가짜뉴스의 범람하는 현재의 시국에서 중요한 뉴스를 선택하고, 그 뉴스를 일반인들이 알게 쉽게 설명해주시는 llm 시대에서의 LoRA에서 가장 중요한 고윳값같은 역할을 하고 계십니다.

유작가님이 없었다면 우리 모두 cuda out of memory 혹은 hallucination에 빠져서 제대로 된 학습을 못하게 되는 것이죠