Cosa e’ un token nella AI ?

Non e’ una password, ma una rappresentazione di una parola o di una delle parti di essa.

In poche parole, buono, good, bon, bueno possono essere tokenizzato con token diversi, ma essere messi in diretta correlazione nel contesto in cui si trovano. Le correlazioni di testo (geometriche) sono dette embedding.

Non spaventarti, ne parliamo presto :)