CoD

Chain of Draft (CoD) – Tiivistetty ajatusketju

Chain of Draft (CoD) on tekniikka, joka tehostaa suurten kielimallien (LLM) päättelykykyä tuottamalla lyhyitä ja ytimekkäitä välivaiheita monimutkaisten ongelmien ratkaisemisessa. Tämä lähestymistapa on saanut inspiraationsa ihmisten tavasta tehdä muistiinpanoja: kirjataan ylös vain olennaiset asiat, ei pitkiä selityksiä.

Miten Chain of Draft toimii?

Perinteinen Chain of Thought (CoT) -menetelmä ohjaa mallia esittämään ajatteluprosessinsa yksityiskohtaisesti vaihe vaiheelta. Vaikka tämä parantaa päättelykykyä, se voi lisätä laskentakustannuksia ja viivettä.

CoD sen sijaan kehottaa mallia:

• Rajoittamaan jokaisen ajatusvaiheen sanamäärää.

• Keskittymään vain olennaisiin laskelmiin tai muunnoksiin.

• Säilyttämään loogisen etenemisen.

• Merkitsemään lopullisen vastauksen selkeästi, esimerkiksi merkillä '####'.

Tämä lähestymistapa vähentää merkittävästi tokenien käyttöä ja nopeuttaa vastausten tuottamista ilman, että tarkkuus kärsii. ​

Esimerkki

Ongelma:

Jasonilla oli 20 tikkaria. Hän antoi Dennylle joitakin tikkareita. Nyt Jasonilla on 12 tikkaria. Kuinka monta tikkaria Jason antoi Dennylle?

Chain of Thought -lähestymistapa:

Jasonilla oli aluksi 20 tikkaria. Hän antoi Dennylle x tikkaria, joten hänelle jäi 20 - x tikkaria. Nyt hänellä on 12 tikkaria, joten 20 - x = 12. Ratkaisemalla yhtälön saadaan x = 8. Jason antoi siis Dennylle 8 tikkaria.

Chain of Draft -lähestymistapa:

*20 - x = 12
x = 20 - 12 = 8

8

CoD-lähestymistavassa malli esittää vain olennaiset laskutoimitukset, mikä vähentää turhaa verbalisointia ja nopeuttaa päättelyprosessia. ​

Hyödyt ja rajoitteet

Hyödyt:

• Tehokkuus: Vähentää tokenien käyttöä jopa 92 %, mikä alentaa laskentakustannuksia ja viivettä. ​

• Selkeys: Keskittyy olennaisiin päättelyvaiheisiin, mikä tekee vastauksista ytimekkäitä ja helposti seurattavia.​

• Skaalautuvuus: Soveltuu erityisesti sovelluksiin, joissa resurssitehokkuus on kriittistä.​

Rajoitteet:

• Monimutkaisuus: Erittäin monimutkaisissa ongelmissa liian tiivis esitystapa saattaa johtaa epäselvyyksiin tai vaatia lisäselvityksiä.​

• Soveltuvuus: Kaikki tehtävät eivät välttämättä hyödy CoD-lähestymistavasta; joissakin tapauksissa yksityiskohtaisempi päättely voi olla tarpeen.​

Yhteenveto

Chain of Draft on tehokas tekniikka, joka mahdollistaa suurten kielimallien suorittaa monivaiheisia päättelytehtäviä tuottamalla lyhyitä ja ytimekkäitä välivaiheita. Tämä lähestymistapa vähentää laskentakustannuksia ja viivettä säilyttäen samalla tarkkuuden, mikä tekee siitä erityisen hyödyllisen resurssitehokkuutta vaativissa sovelluksissa.