인쇄나 다 하셨으려나요 ㅋㅋㅋ

퍼플렉시티에 물어봤습니다.



7만 페이지 책의 평균 토큰 수를 계산해보겠습니다.

일반적으로 영어 텍스트에서는 다음과 같은 기준이 적용됩니다:

1 토큰은 약 4글자에 해당

1 토큰은 약 0.75개의 단어에 해당(또는 3개 단어당 4개 토큰)

한 페이지는 약 500단어(싱글 스페이스) 또는 250단어(더블 스페이스)로 구성

이러한 기준을 바탕으로 계산해 보면:

70,000페이지 × 500단어/페이지 = 35,000,000단어

영어 텍스트의 경우:
35,000,000단어 × (4토큰/3단어) = 35,000,000단어 × 1.33토큰/단어 = 약 46,666,667토큰

그러나 한국어의 경우 이 수치는 다를 수 있습니다. 검색 결과에 따르면 일본어나 중국어와 같은 아시아 언어는 영어보다 단어당 토큰 수가 더 많이 필요합니다. 한 연구에 따르면 중국어 고전 텍스트는 영어 번역보다 글자 수가 50% 적음에도 토큰 수는 약 25% 더 많았습니다.

한국어도 이와 유사한 경향을 보일 수 있으므로, 한국어 7만 페이지 책의 경우:
46,666,667토큰 × 1.25(아시아 언어 보정 추정) = 약 58,333,334토큰 이상이 될 수 있습니다.

따라서 7만 페이지의 한국어 책은 대략 5천8백만 토큰 이상이 될 것으로 추정됩니다.





보통 chatgpt의 기본적인 context window가 128k 정도되니까요.... 한번에 밀어넣고 요약도 못시킵니다.

복사는 안했다고 시인했던거 같아요..그렇다면 12명이 돌려봤으려면... 48시간 / 12명 2시간만에 6만쪽을 다봤다는거네요 ㅎㅎㅎ