Un token, qu’est-ce que c’est et pourquoi les IA en ont-elles besoin ?

Omniprésent dès qu’on parle d’IA générative, le token sert à découper ce que les modèles traitent, mais aussi à mesurer leur capacité et leur consommation. Une petite unité sur laquelle repose une bonne partie de leur fonctionnement.