CAG
Mikä on CAG?
CAG (Cache-Augmented Generation) on menetelmä, jolla generatiiviselle tekoälylle voidaan antaa täydentävää tietoa vastauksia varten aivan kuten RAGin (Retrieval-Augmented Generation) tapauksessa. CAG eroaa kuitenkin siinä, miten ja milloin tämä tieto annetaan.
Miten CAG toimii?
Toisin kuin RAG, jossa tarvittava tieto haetaan erillisestä tietokannasta vasta käyttäjän kysymyksen jälkeen, CAG-mallissa kaikki tarvittava täydentävä sisältö annetaan kielimallille heti etukäteen, yhtenä pakettina. Tämä sisältö voidaan ajatella muistina, joka liitetään mukaan jokaiseen kyselyyn.
Toisin sanoen: mallille annetaan valmiiksi kaikki se tieto, jonka pohjalta halutaan vastauksia. Malli käyttää tätä tietoa kokonaisuudessaan vastauksen tuottamiseen ilman erillistä hakua.
Mitä hyötyä CAG-mallista on?
CAG-malli tarjoaa joitakin selkeitä etuja RAGiin verrattuna:
-
Ei viivettä hausta: Koska tietoa ei tarvitse erikseen etsiä vektorikannasta, vastaus syntyy nopeammin.
-
Koko konteksti kerralla käytössä: Mallilla on suora pääsy koko täydentävään aineistoon. Mitään ei jää hakutulosten ulkopuolelle.
-
Yksinkertaisempi toteutus: Ei tarvita erillistä hakujärjestelmää tai tietokantaintegraatiota.
Mitä rajoituksia CAGissa on?
-
Syötteen pituusrajoitus: Mallille voidaan antaa vain rajallinen määrä sisältöä kerralla. Yleensä rajoitus on muutamien kymmenien sivujen verran. Jos tietoa on liikaa, sitä ei voi käyttää CAG-muodossa.
-
Kiinteä tietosisältö: CAG-malli ei tee älykästä valintaa siitä, mikä sisältö on relevanttia. Se saa kaiken materiaalin kerralla, oli se tarpeellista tai ei.
Milloin CAG on hyvä valinta?
CAG toimii erityisen hyvin tilanteissa, joissa:
-
Käytettävä tieto on kohtalaisen rajallista, esimerkiksi muutama kymmenen lyhyttä dokumenttia
-
Nopeus on tärkeää, eikä haluta käyttää erillistä hakujärjestelmää
-
Halutaan varmistaa, että mikään olennainen tieto ei jää pois
Esimerkkinä voisi olla asiakaspalveluchat, jossa malli käyttää koko ajan samaa ohjeistusta ja halutaan nopeita vastauksia ilman ulkoista hakua.