日本語

일본어는 같은 단가라도 값이 다릅니다.

모델마다 일본어를 쪼개는 방식이 다릅니다. 영어 중심으로 학습된 토크나이저는 일본어를 더 잘게 나눠 같은 내용에 더 많은 토큰을 씁니다. 단가표가 같아도 실제 청구액이 배로 벌어집니다.

日本語 실단가

1,000자 처리 기준 · —

측정 전토크나이저 측정(/probe)이 아직 실행되지 않았습니다. 추정치는 채우지 않습니다.

측정법: 길이가 다른 두 입력의 차분으로 채팅 템플릿 오버헤드를 상쇄합니다. 한 문장의 토큰 수만 재면 프로바이더마다 다른 고정 오버헤드 때문에 틀린 값이 나옵니다.