Context window

Konteksti-ikkuna (context window)

Konteksti-ikkuna on rajaus sille, kuinka paljon tietoa kielimalli voi kerralla huomioida vastauksia laatiessaan. Se määrittää, kuinka pitkälle mallin "muisti" ulottuu keskustelun aikana tai kuinka suuren määrän syötettyä tekstiä malli pystyy käsittelemään yhdellä kertaa.

Toisin sanoen: konteksti-ikkuna on se tila, johon mahtuvat:

• Käyttäjän antamat syötteet ja kysymykset

• Mallille annettu taustatieto tai lisämateriaali

• Mallin itse generoimat aiemmat vastaukset

Miksi konteksti-ikkuna on tärkeä?

Malli ei varsinaisesti muista aiempia keskusteluja samalla tavalla kuin ihminen. Se ei tallenna historiaa eikä säilytä tietoa pysyvästi. Sen sijaan se tarkastelee vain konteksti-ikkunan sisällä olevaa tietoa, ja muodostaa vastauksensa pelkästään sen perusteella.

Jos tieto ei mahdu ikkunaan, se ei ole mallin käytettävissä – ikään kuin se olisi pyyhitty pois muistista.

Esimerkki

Jos konteksti-ikkuna kattaa vaikkapa 10 000 sanaa, ja keskustelusi on pidempi, vanhimmat osat poistuvat ensin, kunnes tilaa vapautuu uudelle sisällölle. Tämä voi johtaa siihen, että malli ei enää "muista", mitä alussa sovittiin – ellet toista sitä uudelleen.

Kuinka suuri konteksti-ikkuna on?

Eri malleilla on eri kokoiset konteksti-ikkunat. Tyypillisiä kokoluokkia:

Token on tekstin tekninen yksikkö, joka voi olla kokonainen sana tai sanan osa. Esimerkiksi 1 000 tokenia vastaa noin 700 sanaa.

Mitä tapahtuu, kun konteksti-ikkuna ylittyy?

Kun keskustelu tai syöte on liian pitkä:

• Vanhempia osia poistetaan automaattisesti.

• Malli ei voi viitata niihin enää, mikä voi näkyä esim. unohtuneina ohjeina tai epäjohdonmukaisuutena.

• Liian pitkää syötettä ei välttämättä voida käsitellä ollenkaan, jos se ei mahdu ikkunaan.

Miten hyödynnän konteksti-ikkunaa tehokkaasti?

• Ole ytimekäs: Mitä selkeämmin ja tiiviimmin ohjeistat, sitä enemmän muuta tietoa mahtuu mukaan.

• Toista oleellinen tieto tarvittaessa: Jos keskustelu on pitkä, muistuta mallia tärkeistä seikoista.

• Hyödynnä lyhyitä referaatteja: Tiivistetyt yhteenvedot aiemmasta keskustelusta vievät vähemmän tilaa kuin koko teksti.

• Käytä RAG/CAG-ratkaisuja, kun haluat liittää paljon ulkopuolista tietoa ilman, että kaikki pitää mahtua kontekstiin.