몇일전 주식용 모델 파인튜닝을 했다고 글을 썼었는데요

몇일 사용해 보니 phi4 이게 좋긴한데 컨택스트가 너무 작아요 16k...

다른 모델들은 128k도 잘 나오는데

phi4이건 2024년에 만들어진 모델이라 그런지 ms에서 더이상 모델을 안 만드는건지 성능 자체는 좋은데 컨택스트가 작아서 주식 리포트용으로 무리인듯하여

qwen3-14b모델을 새로 들고와서 파인튜닝을 했슴미다

phi4가 수학과 통계에 특화된 모델이라 qwen3보다 퀄리티는 좋은데.... 14b모델에서는 더이상 대안이 없어서 qwen3로 정했슴미다 128k 컨택스트를 가져서 좋아 하면서 일단 파인튜닝을 했슴미다

음....

어...

이건 뭔가 잘 못 됐다고 생각해서 이것저것 여러 ai에게 물어보니 일단 모델 자체가 딸리고 파인튜닝은 미세조정이라 많이 바뀌지는 않는다고 해서 실망하던 차에 내 파인튜닝 데이터가 잘 못 된게 아닐까??? 하는 의문이 들었슴미다

그래서 리서치 리서치

찾아보니 양보다는 질이 중요한건데 전 일단 막 욱여넣고 데이터 포멧도 대충 하고 체계적이지도 않게 일단 좋아 보이는거 다 욱여 넣엇던 것이였슴미다

그래서 증권거래소의 공식자료 + 금융쪽 무료로 풀린 교과서 + Q&A용 예시 이렇거 저런거 해서 1000개 정도 만들어서 지금 파인튜닝 하고 있슴미다

제대로 된 교과서 중심으로 예제를 조금 하면 1만개의 양보다 1000개의 정제된 교과서와 예시가 더 좋은 효과를 낸다는 논문이 있다고 해서 그거 따라하는 중 임미다

계속 llm이 사람처럼 교육해야 한다는걸 까먹고 있어요 컴퓨터는 대충 데이터만 넣으면 알아서 자동으로 해 주는걸 기본으로 깔고 있는데 그 자동으로 알아서 하는것도 개발자들이 만든 메크로로 정제한 프로그램들인데 이 단순한걸 계속 까먹고 있슴미다