Il problema del contesto
Comprendere il linguaggio richiede di collegare parole e concetti anche quando sono distanti tra loro. Le architetture precedenti incontravano limiti nel gestire sequenze lunghe.
L’attenzione
I Transformer si basano fortemente su meccanismi di “attention”, che permettono al modello di pesare in modo dinamico le relazioni tra elementi della sequenza.
Perché conduce ai moderni chatbot
Questa architettura rende più efficiente l’addestramento su enormi quantità di testo e diventa il fondamento di molte famiglie di modelli linguistici di grandi dimensioni.