Grundeinheit, in die Text zerlegt wird. 1 Token entspricht im Englischen etwa 0,75 Wörtern; im Deutschen können Wörter mehr Token enthalten (z. B. „Schule“ = 1 Token, „Klassenarbeit“ = 2 Token).
» Glossar
