Un token (jeton, în limba română) este unitatea cu care AI-ul citește și scrie text. În engleză, un token este aproape un cuvânt și jumătate, dar în română, din cauza diacriticelor și a cuvintelor mai lungi, un text ocupă de obicei mai mulți tokeni. Prețul unui model AI se măsoară „pe milion de tokeni”, iar un token este cam o silabă sau un cuvințel, nu un cuvânt întreg. Un milion de tokeni înseamnă cam 750.000 de cuvinte în engleză, adică vreo șapte cărți. Unele modele consumă mult mai mulți tokeni decât altele pentru aceeași sarcină, deci mai ieftin pe token nu înseamnă mereu mai ieftin pe treaba făcută. Când compari costuri, uită-te la cât te costă o sarcină întreagă, nu doar la prețul pe token.
