Transformer: kako model povezuje besede?

Kaj je to?

Transformer je zasnova nevronskih mrež, predstavljena leta 2017, ki poganja večino današnjih jezikovnih modelov. Njena ključna sestavina, mehanizem pozornosti, za vsako besedo izračuna, katere druge besede v besedilu so zanjo najpomembnejše.

Primer iz vsakdanjega življenja

V stavku »Mačka ni skočila na mizo, ker je bila prevelika« mora model ugotoviti, ali se »prevelika« nanaša na mačko ali mizo. Pozornost mu pomaga povezati prave besede.

Zakaj je pomembno?

Transformer je omogočil učenje na ogromnih količinah besedila in s tem današnje klepetalnike, prevajalnike in modele za kodo.

Pogosta zmota

Da »pozornost« pomeni, da je model pozoren kot človek. Gre za matematično operacijo, ne za zavedanje.

Podrobneje

Kaj je pozornost (attention)?

Mehanizem, s katerim model izračuna, kateri deli vhodnih podatkov so pomembni za trenutno predstavitev.

Zakaj je to pomembno?

Omogoča prilagodljivo upoštevanje povezav med deli besedila in drugih podatkov.

Je transformer isto kot LLM?

Ne. Mnogi veliki jezikovni modeli temeljijo na transformerjih, vendar obstajajo tudi druge zasnove in uporabe transformerjev.

Ali pozornost pomeni človeško pozornost?

Ne. Gre za matematično operacijo, ne za dokaz zavesti ali notranjega doživetja.

Zapomnite si: Matematični izraz »pozornost« je tehnično ime.