Rakensin Anomancer-nimisen kirjoitusjärjestelmän, jossa tekoäly joutuu kulkemaan usean tarkasti rajatun vaiheen läpi ennen kuin mitään voidaan edes ajatella julkaistavaksi. Järjestelmässä on yhdeksän agenttia. Niillä on nolla julkaisuvaltaa. Ihmisen portti – viimeinen hyväksyntävaihe – on päällä.
Kyse ei ole vahingosta eikä keskeneräisyydestä. Tämä on koko järjestelmän idea.

Kitka voi olla vastuuta

Teknologiassa kitkaa pidetään yleensä vihollisena. Käyttöliittymän pitää olla vaivaton, prosessin nopea, päätösten vähäisiä. Monessa asiassa se on järkevää.

Mutta kun tuotetaan julkista tekstiä, väitteitä ja tulkintoja, kaiken kitkan poistaminen on huono tavoite. Kun kielimalli kirjoittaa vakuuttavan näköisen artikkelin alle minuutissa, se ei poista tarkastamisen tarvetta. Kielimalli voi kirjoittaa väärän väitteen samalla itsevarmuudella kuin oikean. Se voi liittää hyvän lähteen huonoon päätelmään, muuttaa epävarman havainnon varmaksi väitteeksi tai tuottaa paikkansapitävää tekstiä, jota kukaan ei jaksa lukea. Tutkimuksissa on havaittu, että kielimallit ovat ylivarmoja: virheellisten vastausten osuus luottavaisissa vastauksissa oli keskimäärin 47 prosenttia.

Kirjoittamisen nopeus on siis toissijaista. Tärkein kysymys on, millaisen rakenteen läpi teksti pakotetaan kulkemaan.

Agentti on rajattu sopimus

Agenttijärjestelmistä puhutaan helposti kuin pienestä digitaalisesta toimistosta. Tutkija tutkii. Kirjoittaja kirjoittaa. Kriitikko kritisoi. Joku päättää, että työ on valmis.

Kuulostaa mukavalta, mutta siinä on ongelma: jos agentti saa itse tulkita tehtäväänsä, laajentaa sitä ja päättää, milloin työ on onnistunut, olemme rakentaneet uuden mustan laatikon vanhan mustan laatikon ympärille.

Siksi Anomancerissa agentin toiminta on sidottu sopimukseen. Sopimus määrittelee roolin, tehtävän, syötteet, ulostulot ja toimivallan rajat. Agentti tekee sen, mitä sille on annettu – ei sitä, mitä se seuraavaksi keksii tehdä. Vaiheiden järjestys on ennalta määrätty, eikä yksittäinen agentti voi hypätä kolmen vaiheen yli tai vaihtaa koko työn tavoitetta.

Järjestelmän laidalla on myös metavalvoja – metaforinen pesukarhu – jonka tehtävä on vahtia, että sopimuksia noudatetaan.

Tämä kuulostaa vähemmän futuristiselta kuin täysin autonominen agenttiparvi. Juuri siksi se on kiinnostavampaa.

Lähde ei ole todiste

Järjestelmän yksinkertaisin sääntö: löydetty lähde on ehdokas, ei vahvistettu tieto. Hakutulos ei ole evidenssiä. URL ei ole evidenssiä. Tieteellisen näköinen PDF ei ole evidenssiä. Kolme lähdettä, jotka toistavat samaa alkuperäistä virhettä, eivät muutu kolmeksi riippumattomaksi vahvistukseksi.

Järjestelmän pitää siksi pystyä pitämään erillään havainto, lähde, tarkastettu lähde, väite, tulkinta ja johtopäätös. Ilman tätä kaikki muuttuu nopeasti yhdeksi suureksi semanttiseksi perunamuusiksi. Kielimallit ovat siinä vaarallisen hyviä: ne osaavat tehdä perunamuusista erittäin vakuuttavan näköistä.

Putki ei tee totuutta, mutta se tekee ongelmat näkyviksi

Teksti ei synny yhden jättipromptin tuloksena, vaan se kulkee putken läpi. Vaiheet etsivät lähteitä, tarkastelevat rakennetta, muodostavat luonnoksen, etsivät ongelmia, testaavat suhdetta lukijaan, hiovat kieltä ja tarkistavat väitteitä.

Oleellista ei ole agenttien määrä. Seitsemän tai yhdeksän tekoälyä ei tee totuutta. Jos kaikki saavat saman virheellisen oletuksen ja vahvistavat sitä toisilleen, lopputulos on erittäin hyvin organisoitua hölynpölyä. Tavoitteena on erottaa erilaiset tarkastustehtävät toisistaan, jotta niiden toimintaa voidaan arvioida. Se ei takaa virheettömyyttä, mutta se tekee virheistä jäljitettäviä.

Matkan varrella unohtuu myös se, että teksti muuttuu. Alkuperäinen väite on tarkastettu, sitten tekstiä muokataan luettavammaksi ja yksi sana vaihtuu. Tukeeko lähde enää uutta väitettä? Ei välttämättä. Siksi periaate on: muokkaa ensin, tarkasta väitteet sitten uudelleen. Muuten järjestelmä voi tarkistaa yhden tekstin ja julkaista toisen.

Ihmisen portti ei saa olla kumileimasin

Tekoälyjärjestelmissä puhutaan mielellään human-in-the-loopista, eli siitä, että ihminen on mukana prosessissa. Käytännössä ihminen jää helposti prosessin loppuun kumileimasimeksi: malli tekee työn, järjestelmä suosittelee hyväksyntää, ihminen painaa vihreää nappia.

Anomancerissa agentilla ei ole julkaisuvaltaa. Lopullinen hyväksyntä kuuluu ihmiselle, ja se tarkoittaa myös mahdollisuutta hylätä koko koneen tekemä työ – ei vain korjata pilkkua tai valita kolmesta tekoälyn tarjoamasta versiosta, vaan sanoa ei: Tämä lähtöoletus oli väärä. Tämä lähde ei riitä. Tämä teksti ei kuulosta minulta. Tätä ei julkaista.

Jos järjestelmä ei aidosti mahdollista tätä, ihminen ei ole päätöksentekijä vaan käyttöliittymäelementti.

Jälki ilman, että kaikki pitää näyttää

Halusin järjestelmään myös jäljen siitä, mitä tapahtui. En siksi, että kaikki pitäisi tallentaa ikuisesti. Päinvastoin: tietoturvan kannalta olisi järjetöntä säilyttää ja julkaista automaattisesti kaikki raakasyöte, mallivastaukset ja keskeneräiset ajatukset.

Ajosta voidaan muodostaa metatietokuitti ja hajautusjälki – tiiviste, jonka avulla ajon kuvauksen voi varmistaa muuttumattomaksi – ilman, että prosessin koko sisältö paljastetaan. Ajatus on yksinkertainen: jotakin voidaan todentaa ilman, että kaikki täytyy näyttää.

Läpinäkyvyys ei tarkoita 40 000 tokenin raakapöhinän kaatamista käyttäjän silmille. Se tarkoittaa, että olennaiset päätökset, rajat, lähteet ja muutokset voidaan nähdä ja tarkastaa.

Miksi en halua tunnistaa tekoälytekstiä jälkikäteen

Jotkut rakentavat järjestelmiä, jotka tunnistavat valmiista tekstistä, onko se tekoälyn kirjoittama. Pidän koko asetelmaa nurinkurisena.

Jos tekstin alkuperällä, lähteillä ja käsittelyllä on merkitystä, miksi arvata niitä lopputuloksesta? Lopputuloksesta voi tehdä arvauksia, mutta arvaus ei ole tarkastus. Kiinnostavampaa on rakentaa tuotantoprosessi niin, että olennaiset vaiheet voi tarkastaa silloin, kun ne tapahtuvat. Kaupalliset AI-tekstintunnistimet eivät sovellu korkean panoksen konteksteihin: niiden väärien positiivisten osuudet vaihtelevat 0,05 prosentista 68,6 prosenttiin ja väärien negatiivisten 0,3 prosentista 99,6 prosenttiin. Pienikin muokkaus romahduttaa luotettavuuden.

Tekoälyn käytön ei tarvitse olla salaisuus. Tärkeintä on, että tiedetään, mitä tekoäly teki, mihin se perustui ja kuka lopulta vastasi tuloksesta.

Mitä järjestelmä tekee ajattelulle

En rakentanut Anomanceria siksi, että minun ei enää tarvitsisi ajatella tai kirjoittaa. Päinvastoin: haluan järjestelmän, joka tekee ajattelun ongelmakohdista näkyvämpiä.

Voin kirjoittaa tekstin itse ja lähettää sen putken läpi. Silloin järjestelmä etsii virheitä, liian vahvoja väitteitä, huonoja lähteitä, rakenteellisia ongelmia ja kohtia, joissa teksti muuttuu epämääräiseksi pöhinäksi. Tai voin antaa kielimallin tehdä ensimmäisen luonnoksen ja lähettää sen saman koneiston läpi. Silloin se etsii mallin tuottamasta tekstistä ongelmat. Molemmissa tapauksissa ihminen pysyy kirjoittajana ja julkaisijana – kone toimii välikerroksena.

Kieli on tässä yllättävän tärkeää; suomenkielinen käyttöliittymä täyttyy helposti sanoista kuten orkestrointi, provenienssi ja evidenssin tila. Ne ovat hyödyllisiä käsitteitä, mutta jos koko käyttöliittymä koostuu niistä, käyttäjä ei välttämättä enää ymmärrä omaa järjestelmäänsä. Silloin tapahtuu jotain ironista: rakennamme läpinäkyvyyttä, mutta kerromme siitä kielellä, jota kukaan ei jaksa lukea.

Siksi näytöllä voi lukea esimerkiksi: Ihmisen portti: PÄÄLLÄ. Se kertoo enemmän kuin kaksitoista riviä hallintadokumentaatiota.

Ehkä tulevaisuus ei tarvitse autonomisempaa tekoälyä

Teknologian kiinnostavin tulevaisuus ei mielestäni ole sellainen, jossa kaikki tapahtuu taustalla. Kirjoita lause, paina nappia, valmista. Sellainen maailma voi olla tehokas, mutta se on myös tylsä ja nopeasti vaikeasti hallittava.

Kiinnostavia ovat järjestelmät, joiden sisään voi katsoa, joita voi purkaa, joiden toimintaa voi muuttaa ja joiden avulla voi oppia. Mitä enemmän olen nähnyt, miten helposti vakuuttavaa hölynpölyä voi tuottaa, sitä kiinnostuneempi olen rakenteista, rajoista, tietoturvasta, lähteistä ja siitä, kuka saa päättää.

Kun koneelle rakentaa tarpeeksi tiukat seinät, niiden sisällä voi tehdä paljon oudompia asioita turvallisesti.

Ehkä tulevaisuus ei tarvitse autonomisempaa tekoälyä, vaan vähemmän autonomiaa, parempia rajoja, selkeämpiä sopimuksia ja näkyvämpiä prosesseja. Mahdollisuuden kysyä jokaisessa kohdassa:

  • Mistä tämä väite tuli?
  • Kuka muutti sitä ja miksi?
  • Mitä lähde oikeasti tukee?
  • Mitä kone päätti ja mitä ihminen päätti?

Ja ennen kaikkea: kuka saa julkaista?

Anomancerin vastaus on tällä hetkellä hyvin yksinkertainen. Ei yksikään agentti. Ihminen päättää lopullisesti.

Ja jossakin putken sivussa istuu se sama metaforinen pesukarhuvalvoja. Tarvittaessa se huutaa: PERKELE.