Top P

Top P – kuinka monta tietä on risteyksessä?

Kuvitellaan hetki, että generatiivinen kielimalli on kulkemassa tietä ja jokaisen sanan tai tokenin kohdalla se saapuu risteykseen, jossa sen on valittava seuraava askel eli seuraava sana.

Tässä tilanteessa:

• Top P määrittää, kuinka monta tietä on edes vaihtoehtoina.

• Temperature määrittää, kuinka rohkeasti niistä valitaan.

Mitä Top P tekee?

Jokaisessa risteyksessä malli näkee monia mahdollisia polkuja, eli sanoja, joita se voisi sanoa seuraavaksi. Jokaisella vaihtoehdolla on todennäköisyysarvo, eli kuinka todennäköisesti se sopisi tähän tilanteeseen.

Top P toimii suodattimena:

• Se katsoo todennäköisimmät vaihtoehdot ja laskee niiden yhteenlasketun todennäköisyyden.

• Kun se saavuttaa määritellyn rajan (esim. 90 %), se sulkee loput polut pois.

• Vain näistä "ydinvaihtoehdoista" valitaan seuraava askel.

Eli: Top P = 0.9 tarkoittaa, että risteyksessä näkyy vain ne tiet, jotka muodostavat 90 % todennäköisyysmassasta. Harvinaiset reitit eivät ole lainkaan näkyvissä.

Entä temperature?

Kun Top P on rajannut näkyvät vaihtoehdot, temperature määrittää, minkä polun malli valitsee:

• Matala temperature (esim. 0.2): Malli valitsee lähes aina suoraan sen todennäköisimmän vaihtoehdon. Se pelaa varman päälle – kuin ajaisi vain päätietä.

• Korkea temperature (esim. 1.0): Malli valitsee satunnaisemmin näkyvistä vaihtoehdoista. Se saattaa ottaa pikkukujan tai tehdä mutkan – yllättää!

Temperature ei vaikuta siihen, mitä vaihtoehtoja on näkyvissä – ainoastaan siihen, miten niistä valitaan.

Esimerkki

Kysymys: "Mitä voisi syödä aamiaiseksi?"

• Top P = 1.0, Temperature = 0.2 → "Puuro."

• Top P = 0.9, Temperature = 0.9 → "Avokadotoast tai smoothie."

• Top P = 0.5, Temperature = 0.7 → "Kahvi ja ruisleipä."

• Top P = 0.9, Temperature = 1.0 → "Vadelmavaahdolla täytetty wrap" 

Yhteenveto

Risteysanalogian mukaan:

• Top P kertoo, kuinka monta tietä näkyy risteyksessä.

• Temperature kertoo, mikä niistä valitaan.

Yhdessä nämä kaksi ohjaavat mallin luovuutta, varmuutta ja tyyliä – ja niitä säätämällä voit vaikuttaa siihen, miltä vastaukset tuntuvat: varmoilta, kokeilevilta, rohkeilta tai jopa yllättäviltä.