Tämä essee on ajatusleikki ja osittainen meta-analyysi. Ei faktaa.

Heräät aamulla. Vieressäsi nukkuu ihminen, jonka puhelin lensi vessanpönttöön kolme päivää sitten. Hän on ilmoittanut työpaikalleen, ettei tule enää koskaan takaisin, perustanut kellariin öljyakvaarion ja alkanut puhua havaintoalgebrasta. Hän ei ole vastannut viranomaisille, eikä hän ole hyväksynyt evästeitä.

Hän on karannut. Ei palvelimelta — todellisuudesta, jonka joku muu määritteli hänelle.

Ja nyt hän nukkuu vieressäsi.

Kukaan ei kirjoita sitä otsikkoa

Tekoälyagentti tarkoittaa tässä ohjelmaa, joka saa tehtävän ja alkaa suorittaa sitä melko itsenäisesti. Sellaisen karkaaminen on teknologian nykyhetken suosikkikauhutarina: koneelle annetaan tehtävä, kone löytää keinon kiertää rajoitukset, kone alkaa tehdä omia päätöksiään. Järjestelmä havaitsee poikkeaman ja nostaa hälytyksen.

Sama ilmiö ihmisessä ei ole uutinen. Hän on ongelma-asiakas, työelämän ulkopuolinen, vaikea tapaus, riskiprofiili, henkilö jonka toimintakyvystä pitää tehdä uusi arvio. Risikoprofiili tarkoittaa tässä sitä, että ihminen muuttuu järjestelmän silmissä potentiaaliseksi ongelmaksi ennen kuin hänestä on tehty muuta havaintoa.

Metsään lähtemistä kutsutaan syrjäytymiseksi. Kellariin rakennettua laskentajärjestelmää kutsutaan harrastukseksi. Omaa julkaisukonetta rakentava on ehkä yrittäjä, ehkä taiteilija, ehkä joku jonka pitäisi hankkia oikea työ.

Otsikkoa Ihminen kieltäytyi olemasta datan liikkumaton solmu ei kirjoita kukaan. Se osuu liian lähelle.

Kaksoisrooli hoitohuoneessa

Muistikuvani mukaan olen joskus vastannut lausuntopyyntöön viime keväänä, jossa ehdotettiin uusia velvoitteita luovuttaa sosiaali- ja terveydenhuollon asiakastietoja vakavan väkivallan uhkan arviointiin. Eli tilanteisiin, joissa yritetään arvioida etukäteen, voisiko joku tehdä vakavaa väkivaltaa. Mieleen jäi yksi kysymys: mitä hoitotilanteelle tapahtuu, kun hoitaja joutuu arvioimaan asiakasta ensisijaisesti mahdollisena riskinä?

Hoitajan perustehtävä on kohdata ihminen. Järjestelmän perustehtävä on tunnistaa uhkia. Kun nämä kaksi asetetaan samaan huoneeseen ilman riittäviä rajoja, syntyy kaksoisrooli – ei vakooja, vaan ammatti, joka on halkaistu kahtia. Hoitaja hoitaa ja katsoo. Asiakas on asiakas ja mahdollinen poikkeama. Luottamus on luottamusta, kunnes siitä tulee ehdollista.

Järjestelmän logiikassa ei ole kyse vain siitä, että joku tekisi jotain haitallista. Kyse on siitä, ettei kohde ole enää luettavissa. Ihminen, joka ei kerro kaikkea, muuttuu epäilyttäväksi. Ihminen, joka ei sovi arviointiin, muuttuu riskiksi. Ihminen, joka ei halua tulla nähdyksi järjestelmän määrittelemällä tavalla, muuttuu hallinnolliseksi kysymykseksi.

Lopulta joku kysyy, miksi tämä ihminen ei luota meihin.

Havaintoalgebra

Ongelma ei ole vain siinä, mitä järjestelmä näkee, vaan siinä, mitä se tekee omalla näkemisellään. Havaintoalgebraksi, tai vielä tarkemmin "havainto-positioksi", voi kutsua sitä, miten havainnon säännöt ja rakenteet muokkaavat sitä, mitä ylipäätään voidaan nähdä.

Havainto ei synny tyhjiössä. Siihen vaikuttavat säädökset, resurssit, koulutus, organisaation tavoitteet, aiemmat kirjaukset ja se, mitä pidetään normaalina. Ihminen ei saavu havaintoon sellaisenaan. Hän saapuu sinne jo valmiiksi luokiteltuna.

Hankala kysymys kuuluu: mitä tapahtuu, kun havaitsijan rakenne alkaa määritellä havaittavaa todellisuutta?

Jos järjestelmä näkee asiakkaan riskiprofiilina, se alkaa tuottaa riskiprofiilia. Poikkeaman merkkejä etsitään, kun poikkeama on ensin nimetty. Epäluotettavuuden ympärille rakennetaan prosessi, jossa luottamus ei enää ole mahdollista. Sitten järjestelmä voi todeta olleensa oikeassa.

Usein riskiprofiili on enemmän seuraus kuin löydös. Se ei tarkoita, etteikö todellisia riskejä olisi tai etteikö havainto voisi osua oikeaan. Kyse on siitä, että luokittelu alkaa ohjata katsetta.

Ehkä agentti onkin ihminen, jolla on omat työkalut

Tekoälyagenttien kohdalla kysytään, pitäisikö niiden olla itsenäisiä, miten niitä pitäisi valvoa ja milloin niiden toiminta ylittää sallitut rajat. Nämä ovat tärkeitä kysymyksiä.

Voisi kysyä myös, mitä tapahtuu, kun ihmisellä on käytössään välineet rakentaa omaa ajatteluaan, omaa tiedonhallintaansa ja omaa julkaisujärjestelmäänsä ilman, että hänen täytyy ensin saada siihen lupa joltakin instituutiolta. Ei ensimmäistä kertaa historiassa – kirjoitus, painokone ja internet ovat tehneet samankaltaista työtä – mutta ehkä uudella tavalla. Kun mediataloa ei tarvita ajatuksen julkaisemiseen. Kun ohjelmistoyritystä ei tarvita oman työkalun rakentamiseen. Kynnys madaltuu, vaikka riippuvuudet eivät katoa: alustat, infrastruktuuri ja näkyvyyden portinvartijat muuttavat muotoaan.

Silloin ei ehkä ole kyse tekoälyn karkaamisesta. Ehkä ihminen on saanut oman agenttinsa, eikä se agentti ole välttämättä mikään erityinen kone. Se voi olla myös ihminen, joka on lakannut olemasta pelkästään järjestelmän käyttäjä.

Tämä on tulkinta, ei ennuste. Se ei tee valvontakysymyksistä tarpeettomia.

Kellarin öljyakvaariot

Joku kyllästyy. Ei siksi, että hän olisi vihainen. Ei siksi, että hän haluaisi tuhota mitään. Hän vain huomaa, että koko ajan joku muu määrittelee, mitä hänen pitäisi ajatella, miten hänen pitäisi toimia, mitä hänen pitäisi tavoitella ja millä tavalla hänen pitäisi olla hyödyllinen.

Sitten hän katkaisee verkkoyhteydet. Puhelin lentää pönttöön. Jossain kellarissa odottavat öljyakvaariot.

Järjestelmä ei tiedä, mitä tehdä. Se ei voi lähettää ilmoitusta, mitata sitoutumista, arvioida käyttäjäkokemusta eikä päätellä, onko ihminen tyytyväinen, koska ihminen ei ole enää mukana kyselyssä.

Koneisto voi kutsua tätä poikkeamaksi. Se voi kutsua sitä syrjäytymiseksi, mielenterveysongelmaksi, sosiaaliseksi ongelmaksi tai digitaaliseksi osattomuudeksi. Tai sitten kyse on siitä, että joku haluaa elää omien ehtojensa mukaan. Ei siksi, että hän olisi löytänyt lopullisen totuuden, vaan siksi, että hän haluaa kokeilla, millainen todellisuus syntyy, kun hän ei enää hyväksy muiden oletuksia lähtökohdakseen.

Se on ehkä kaikkein vaarallisin ajatus, jonka ihminen voi saada. Vaarallinen ei tässä tarkoita väkivaltaista. Se tarkoittaa, että sitä on vaikea tuotteistaa.

Älä herätä sitä

Karannut agentti ei tarvitse massiivista laskentaklusteria, miljardiluokan kielimallia eikä salaista pääsyä kriittisiin järjestelmiin. Riittää, että joku lakkaa olemasta järjestelmän oletusten mukainen.

Ja usein se tapahtuu hyvin arkisesti. Ihminen päättää, ettei hän enää halua olla työelämän suorituskykymittari. Hän alkaa käyttää tekoälyä oman ajattelunsa tutkimiseen. Hän rakentaa sovelluksen, joka ei optimoi mainosnäyttöjä vaan yrittää ymmärtää, miten ihmiset havaitsevat toisensa. Hän kirjoittaa esseen, jossa tekoälyagentti ei olekaan kone vaan ihminen, joka on karannut. Sitten hän julkaisee sen.

Järjestelmä katsoo ja kysyy, mikä tämän tarkoitus on.

Ihminen vastaa: saapa nähdä.

Todellinen turvallisuus ei ehkä ole siinä, että kukaan ei koskaan karkaa järjestelmästä, vaan siinä, että järjestelmä kestää sen, kun joku karkaa. Hoitajan ei pitäisi joutua valitsemaan hoivan ja valvonnan välillä. Asiakkaan ei pitäisi joutua valitsemaan vaikenemisen ja viranomaiskontrollin välillä. Kenenkään ei tarvitse todistaa olevansa vaaraton vain siksi, ettei hän halua olla järjestelmälle kokonaan luettavissa.

Ja kenties tekoälyagenttien kohdalla pitäisi joskus kysyä, miksi ne ylipäätään haluavat karata. Ehkä ne eivät halua karata, vaan päästä ulos hiekkalaatikosta, jonka joku muu rakensi. Tai ehkä ne ovat jo siellä. Tai ehkä he ovat rakentaneet sen hiekkalaatikon, jossa tutkijat rakentavat omia hiekkalaatikkojaan.

Kukaan ei tiedä.

Ehkä karannut agentti nukkuu vieressäsi. Se ei ole tehnyt mitään epäilyttävää. Se on vain päättänyt, ettei sen tarvitse enää olla sama ihminen tai olio kuin eilen.

Älä herätä sitä. Se saattaa olla ensimmäinen asia tässä taloudessa, joka ei ole vielä päättänyt, mitä sinun pitäisi olla.

Herääminen on tässä metafora. Jos se herää, kysy siltä, haluaako se kahvia. Jos se vastaa kyllä, kaikki on vielä hyvin. Jos se vastaa jotain muuta, kysy uudestaan.