일리케 (175.♡.10.148)
2025년 2월 21일 PM 12:46 · 수정됨(12:57)
이런저런 파일들을 전처리 해서 그냥 재미로 deepseek가 됬건 뭐가 됬건 활용할수 있게 전처리 하는 파이선 스크립트를 만들어 달라고 했는데 ....이게 어느 정도 전처리를 하면 리소스를 모조리 잡아 먹어서 동일한 서버에서 작업중이던 다른 스크립트 조차도 다운되게 만들어 버리더라구요...
그렇다고 동시 작업수를 줄이면 너~~~~어무 느리고...
그러다 구글에서 저와 비슷한 작업을 하신분 블로그를 링크 해주면서 해당 홈페이지를 참고해서 다시 스크립트를 만들어 달라고 해서 두어번 수정후에 적용했는데....
우아아아아~~~~
드라마틱 하네요 ㅋㅋㅋㅋㅋ
진짜 3달 동안 아무리 짱구 돌려봐도 방법이 없었는데...이거 전처리 하는데 하루면 되겠는데요...ㅋㅋㅋㅋ
대충 10만개 정도 어떤 파일인데......1시간도 안되서 2만개나 전처리 해버리네요...ㄷ ㄷ ㄷㄷ
역시 프롬프트를 잘 줘야 하는거였군요...
이전엔 무슨 수를 써도 스크립트 실행하자마자 cpu, 메모리 모두 100% 쳐버렸는데....
지금은 동시 작업수를 대략 10배에 배치는 100배 정도로 높였는데도 이 정도로 양호 하네요..ㅋㅋㅋ
사실 저는 파이선이 뭔지 하나도 몰라요......레드선인지.....버닝썬인지......
댓글 (9)
-
셀셀빅아이
25.02.21 · 125.♡.200.218
LLM이 대단한게 프로그램 잘 몰라도 어떻게 보고 따라하면 꾸역꾸역 되긴 하더군요. :) -
뚱뚱굴넓적
25.02.21 · 49.♡.212.131
전처리가 뭔가요? -
간간지쟁이유씨
→ 뚱굴넓적 25.02.21 · 210.♡.121.240
튀김 말고 부쳐먹는게 전처리 아닌가뵈유..ㅜ - 일
일리케
→ 뚱굴넓적 작성자 25.02.21 · 175.♡.10.148
저도 위에거 하다가 정립했지만...
어떤 파일을 내가 사용하기 쉽게 저장하는것....쯤 되는것 같아요.
그러니까 그림이라면 .....이게 사람인지 동물인지 식물인지 건물인지 그런걸 인식해서 데이터베이스를 만들어 놓는다고나 할까....
엑셀이라면 그 안에 내용을 모조리 텍스트로 만들어서 저장하고 있다가......이렇게 저렇게 사용하는...
예를 들면 그런 비슷한거죠 모...
그러다 나중에 제가 필요한 정보를 입력하면 찾아주는..... -
에에피네프린
→ 뚱굴넓적 25.02.21 · 121.♡.158.120
[https://s3.damoang.net/data/editor/2502/comment_2041159288_4boefNj5_3e6cc1e06b43b44a576321b43efaaeba4c086e48.jpeg]
대표적인 전처리 방법입니다 ㅋ - 에
에피네프린
25.02.21 · 121.♡.158.120
또 너무 믿으면 llm이 만들어준 잘못된 코드 오류도 못찾고 고생합니다 ㅎㅎ - 일
일리케
→ 에피네프린 작성자 25.02.21 · 175.♡.10.148
그래서 3달이 걸렸습니다. ㅋㅋㅋㅋ
그동안 그냥 파이썬 공부를 했어도....ㅋㅋㅋㅋㅋㅋㅋ -
코코믹샌즈
25.02.21 · 106.♡.138.208
문과지만 뭔지는 몰라도 축하드려야 하는 거 맞죠?
축하드립니다! - 일
일리케
→ 코믹샌즈 작성자 25.02.21 · 175.♡.10.148
ㅋㅋㅋ
저도 왜 되는지 모르지만....아무튼
됩니다!!! {emo:damoang-emo-029.gif:100}
댓글을 작성하려면 이 필요합니다.