Pitäisikö algoritmien pelastaa meidät epävarmuudelta?

https://www.flickr.com/photos/belgapixels/2703291441/
Kuva (cc) Belgapixel @Flickr

Viimeisten vuosien aikana on puhuttu paljon algoritmien vallasta, mutta keskusteluissa esiintyy monia erilaisia näkökulmia siitä, minkälaista tuo valta oikeastaan on. Yhtäältä on keskusteltu algoritmien kyvystä rajata ja muokata ihmistoiminnan mahdollisuuksia, esimerkiksi luokittelemalla ihmisiä ja ohjaamalla tiedon kulkua [1,2,3]. Toisaalta huomiota on kiinnitetty algoritmeja koskevien käsitysten ja odotusten rooliin toiminnan ohjaamisessa [4]. Tässä kirjoituksessa pohdimme yhtä mahdollista syytä sille, miksi algoritmit ylipäätään saavat valtaa.

Michel Crozier käsittelee kirjassaan The Bureaucratic Phenomenon [5] sitä, miten byrokraattisissa organisaatioissa valtaa keskittyy henkilöille, joilla on kyky hallita organisaation toimintaan liittyvää epävarmuutta. Hän kirjoittaa esimerkiksi tehtaan koneiden huoltohenkilökunnasta ryhmänä, jolle valtaa keskittyi, koska he kykenivät vähentämään tuotantokoneisiin liittyvää epävarmuutta.

Tuotantokoneiston huoltaminen oli tehtaiden toiminnan kannalta keskeistä ja huoltohenkilökunta muodosti asiantuntijaryhmän, jolla yksin oli huoltamiseen tarvittavaa osaamista. Tämä osaaminen antoi huoltohenkilöstökunnalle strategisen etulyöntiaseman suhteessa tehtaan muihin henkilöstöryhmiin. Byrokraattisesta rakenteesta huolimatta organisaatio oli kykenemätön hallitsemaan henkilöstöryhmien epämuodollista kanssakäymistä. Tästä johtuen koneiden rikkoutumiseen liittyvän epävarmuuden hallinta loi huoltohenkilökunnalle valtaa, jota he käyttivät neuvotellessaan ryhmänsä eduista.

Crozierin analyysissa byrokraattisten organisaatioiden keskeinen pyrkimys on kontrolloida organisaation toimintaan liittyviä epävarmuuden lähteitä. Epävarmuus organisaation toiminnassa luo hallitsematonta valtaa, joka tekee byrokraattisen järjestelmän toiminnasta epätehokasta.

Yksi byrokraattisten järjestelmien toimintaan liittyvän määrällistämisen tavoitteena on etäännyttää järjestelmien toiminta subjektiivisista ihmisarvioista [6]. Sama ilmiö näkyy myös erilaisten algoritmisten sovellusten käytössä. Algoritmien toivotaan paitsi eliminoivan epävarmuuden lähteitä, myös parantavan toiminnan tehokkuutta.  Usein toiveena on, että ihmisen päätöksenteon subjektiivisuuteen tai muihin heikkouksiin liittyvät ongelmat voidaan ratkaista uusilla datapohjaiseen analytiikkaan perustuvilla teknologisilla sovelluksilla [7,8]. Tämä epävarmuuden kontrollointi näkyy tapauksissa, joissa algoritmien käyttöä perustellaan niiden systemaattisuudella tai tasalaatuisuudella, kuten esimerkiksi algoritmisen analytiikan tehokkuutta ja ennustekykyä koskevissa odotuksissa [9]. Ennustekyvyn tarkentumisen ja toiminnan tehostamisen onkin esitetty olevan nykyanalytiikkaa keskeisesti ohjaavia odotuksia [10]. Yksi käytännön esimerkki ovat itseohjautuvat autot, joiden toivotaan olevan ihmisten ohjaamia autoja turvallisempia [esim. 11]. Personalisoidun terveydenhuollon taas toivotaan tarjoavan yksilöille entistä parempia tapoja hallita terveyttään [12]. Myös esimerkiksi tekoälyn käyttö yritysten rekrytointiprosesseissa on yleistymässä. Automatisoituja rekrytointiprosesseja perustellaan vedoten tehokkuuteen ja algoritmisen arvioinnin tasalaatuisuuteen [esim. 13].

Erving Goffman on käsitellyt esseessään Where the action is? [14] kohtalokkuutta. Hän liittää käsitteen päätöksiin, jotka ovat ongelmallisia ja seuraamuksellisia. Puhtaan ongelmalliset päätökset ovat sellaisia, joissa oikea päätös ei ole selvä, mutta päätöksellä ei ole laajemman elämän kannalta juurikaan väliä. Valinta sen suhteen, mitä katsoa televisiosta, on esimerkki tällaisesta päätöksestä. Esimerkiksi päätös lähteä joka aamu töihin taas on esimerkki seuraamuksellisesta päätöksestä, jossa oikea valinta on selvä. Kotiin jäämisellä voisi olla haitallisia seurauksia, joten valinnalle lähteä töihin on selkeät perusteet. Kohtalokkaat päätökset ovat sellaisia, joissa valinnalle ei ole selkeitä perusteita, mutta sen tekemisellä on laajakantoisia seurauksia Goffmanin mukaan pyrimme järjestämään arkemme niin, että päätöksemme eivät yleensä olisi kohtalokkaita.

Sama kohtalokkuuden vähentäminen on läsnä niissä toiveissa, joita esitämme algoritmeille. Toivomme niiltä apua tilanteissa joissa oikea päätös on epäselvä. Emme kuitenkaan pysty pakenemaan kohtalokkuutta kokonaan. Päätöksillä voi aina olla ennakoimattomia seurauksia. Koska olemme aina läsnä omana, fyysisenä itsenämme, yllättävissä tilanteissa kehomme voi esimerkiksi aina vahingoittua. Kaikkeen olemiseen liittyy riskejä.

Ajatuksella kohtalokkuuden eliminoimisesta on yhtymäkohta Crozierin byrokratia-analyysiin. Byrokraattiset järjestelmät kehittyvät juuri olosuhteissa, joissa toimintaan liittyvää epävarmuutta pyritään eliminoimaan. Paradoksaalisesti juuri epävarmuuden eliminointiin käytetty menetelmä – tiukka toimintaa ohjaava formaali säännöstö – johtaa vallan keskittymiseen organisaation niihin osiin, joista epävarmuutta ei saada kitkettyä. Samaten kohtalokkuuden eliminoiminen algoritmien avulla voi johtaa vallan toimimiseen juuri niiden teknologioiden välityksellä, joilla epävarmuutta pyritään hallitsemaan. Tästä näkökulmasta yksi syy sille, että algoritmeille syntyy valtaa, on pyrkimys kontrolloida epävarmuutta, jota ei kuitenkaan täydellisesti kyetä hallitsemaan. Algoritmisissa järjestelmissä valta toimii algoritmien kautta, mutta syntyy osana laajempaa ihmistoiminnan kontekstia. Näin ollen algoritmista valtaa voitaisiinkin kenties tutkia kysymällä, minkälaisia epävarmuustekijöitä algoritmien käytöllä pyritään hallitsemaan, ja mikä mahdollisesti jää hallitsematta?

Jos joku lupaa auttaa meitä tekemään aina oikean päätöksen epävarmassa maailmassa, ei ole ihme että kuuntelemme. On kuitenkin syytä kiinnittää huomiota siihen, että samalla auttajille keskittyy valtaa.

Teksti: Jesse Haapoja & Juho Pääkkönen

– –
Kiitokset kommenteista Salla-Maaria Laaksoselle, Airi Lampiselle ja Matti Nelimarkalle. Tämä teksti kirjoitettiin osana Koneen Säätiön rahoittamaa Algoritmiset järjestelmät, valta ja vuorovaikutus -hanketta.

Algoritmit, ihmiset, ja vallankäyttö

Mitä algoritmit ovat ja miksi niistä pitäisi käydä yhteiskunnallista keskustelua?

Puhuin viime perjantaina meppi Liisa Jaakonsaaren järjestämässä “Älä elä kuplassa: Algoritmit ja digitaalinen sivistys EU:SSA” -seminaarissa. Saatuani kutsun tulla puhumaan algoritmeista, lupasin osallistua, kunhan puhuttaisiin myös ihmisistä ja vallankäytöstä.

Tässä muutama keskeinen ajatus esityskalvoja täydentämään:

1. Mitä algoritmit ovat?

Perinteisen teknisen määritelmän mukaan algoritmi on kuin resepti: yksityiskohtainen kuvaus tai ohje, jota seuraamalla tehtävä, prosessi tai ongelmanratkaisu suoritetaan. Tästä kelpaa esimerkiksi vaikka jakokulma. Nykyään algoritmeista puhuttaessa viitataan kuitenkin useammin oppiviin algoritmeihin ja koneoppimiseen: algoritmit oppivat ja kehittyvät käyttämänsä datan pohjalta, eivätkä lopputulokset siten ole samalla tavalla sääntömääräisiä kuin perinteinen määritelmä antaa ymmärtää.

Yhä useammin käytetään termiä algoritminen järjestelmä viittaamaan laajempaan kokonaisuuteen, joka pitää sisällään paitsi yksittäisiä koodinpätkiä, myös laajempia tietojärjestelmiä, ihmisiä, ja organisaatioita. Algoritmit eivät ole ympäristöstään irrallisia. On myös hyvä huomata, että siinä missä nyt puhutaan algoritmeista, muutama vuosi sitten puhuttiin big datasta. Paljolti on kyse samasta asiasta.

2. Algoritmeista puhuttaessa on puhuttava myös datasta

Algoritmeja tarvitaan, jotta voidaan käsitellä suuria määriä dataa, ja algoritmit tarvitsevat dataa toimiakseen ja oppiakseen. Niinpä algoritmeista puhuttaessa on puhuttava myös datasta:  Miten dataa tuotetaan & kootaan? Miten dataa luokitellaan & käytetään? Dataa tuotetaan ja kootaan yhä enemmän ja erilaisista tilanteista. Arkinen toimintamme jättää jälkiä, usein silloinkin, kun emme ajattele olevamme tekemisissä digitaalisten systeemien kanssa.

3. Kohtaamisemme algoritmien kanssa ovat arkisia, poliittisia, ja usein huomaamattomia

Google ja muut hakukoneet auttavat meitä löytämään tarvitsemaamme tietoa. Samalla ne kuitenkin määrittävät sitä, mitä näemme ja tiedämme. Ne heijastavat käyttämänsä datan vuoksi niitä ympäröivän yhteiskunnan vääristymiä, eivätkä ne toki ole itsekään neutraaleja välikäsiä. Facebookin uutisvirran kohdalla algoritmista sisällönkäsittelyä tarvitaan valikoimaan mediatulvasta kuvia ja kirjoituksia, jotka järjestelmä arvioi yksittäistä käyttäjää kiinnostaviksi. Pyrkiessään pitämään käyttäjät pauloissaan ja löytämään meitä kiinnostavia sisältöjä, Facebook voi päätyä vahvistamaan valintojamme (yhä enemmän kissavideoita kissavideoista pitäville).

Kolmantena esimerkkinä musiikkipalvelu Spotifyssakin toimintamme tuottaa dataa, joka ohjaa sitä, mitä meille tarjotaan. Emme ehkä ajattele tuottavamme dataa musiikkia kuunnellessa, mutta valintamme ovat osaltaan mukana palautekehässä, joka vahvistaa taipumuksiamme ja ohjaa sitä, millaisia uusia sisältöjä löydämme. Neljäntenä esimerkkinä tuotamme dataa myös kaupunkipyörällä ajellessa ja monissa muissa tilanteissa, joita emme ehkä tunnista digitaaliseksi vuorovaikutukseksi. Tuottamallamme datalla voi olla poliittisia seurauksia, kun sitä käytetään järjestelmien kehittämiseen. Jos vaikkapa kaupunkipyöräjärjestelmää kehitetään datavetoisesti, saatetaan päätyä vahvistamaan palvelua siellä, missä sitä on jo helppo käyttää, sen sijaan, että suunnattaisiin voimavarat sinne, missä tarve on suurin. Kenen ääni kuuluu ja huomaammeko tekevämme jotain poliittista silloin, kun arkisen toimintamme oheistuotteena syntyy dataa?

4. Teknologiaa on helpompi muuttaa kuin kulttuuria.

Kun puhutaan algoritmeista, ollaan usein huolissaan niiden vallasta ja vääristymistä, joita ne tuottavat. Yhteiskunnan vääristymät ja virheet löytävät kuitenkin tiensä myös digitaalisiin järjestelmiin. Esimerkiksi algoritmisten järjestelmien näkyväksi tekemä syrjintä on monesti lähtöisin datasta, jota järjestelmät käyttävät ja joka heijastaa yhteiskunnan historiallisia tai vallitsevia vinoutumia. Järjestelmiä voidaan muuttaa, jotta ne eivät vahvistaisi tai ylläpitäisi syrjintää, mutta syrjinnän kitkemiseksi on muutettava yhteiskuntaa laajemmin.

5. Algoritmiset järjestelmät muistuttavat byrokratiaa.

Tämänhetkisen algoritmikohinan keskellä on hyvä miettiä, mikä näissä järjestelmissä on oikeastaan uutta. Joiltain osin algoritmit muistuttavat byrokratiaa. On siis puhuttava siitä, miten algoritmit ja ihmiset toimivat yhdessä ja millaista valtaa toimintaan kulloinkin liittyy. Uhkana on, että puhumalla algoritmien vallasta vältytään puhumasta algoritmeista vallankäytön välineenä.

Lue lisää:

Algorithmic Systems, Strategic Interaction, and Bureaucracy

What do algorithmic systems and bureaucracy have in common?

I gave on algorithmic systems, strategic interaction, and bureaucracy in the Making Sense of Algorithmic Systems symposium at the Annual Social Psychology Conference in Helsinki on November 18, 2017. The talk lays out early ideas in a domain that is (relatively) new for me. These have been developed in collaboration with Matti Nelimarkka, Jesse Haapoja, Juho Pääkkönen & others – but all mistakes are mine.

To accompany the slides above, here are the key ideas from the talk:

What might post-interaction HCI (Human–Computer Interaction) look like? This is a conceptual shift we are grappling with and trying to make sense of – focusing on direct and observable interaction between one individual and one device feels less and less sufficient (although those interactions, too, remain important). Inspired by Alex Taylor’s thoughts, I like to think of city bike systems as one example that pushes us to think about socio-technical systems and data in new ways.

The more we talk about algorithmic systems, the more we need to ask ourselves to be precise about how exactly they are different from socio-technical systems more broadly. Algorithms, data, artificial intelligence and machine learning are words I’ve heard awfully often this year — and there are problems with how they are used in public (and academic) conversations. There is lots of fear-mongering as well as moments when systems are narrated to hold more power and capabilities than they actually have etc.

One things that seems to be clear is that all things digital and the datafication of everything is attracting a lot of attention in a variety of fields – and critical researchers are already on it, too! There has been a proliferation of critical studies of algorithms and data over the past years. This reading list, collected by Nick Seaver and Tarleton Gillespie is one fantastic place to start from if you’d like to get a glimpse of what is going on. Moreover, we need to keep asking questions about what algorithms are and in what way(s) they are interesting. One important observation underlying the shift to talk about algorithmic systems rather than algorithms on their own is the fact that algorithms don’t exist in isolation. On this account, I recommend Algorithms and their Others, written by Paul Dourish.

Another source of inspiration for me has been this popular piece on the similarities between bureaucracy and algorithmic systems: Rule by Nobody. The analogy does not work 1:1, of course, but there is something to it. And this points to where I think social psychology has an opening to step in and speak up: our field has a lot of expertise on social interactions (also strategic ones) and organizations. These are needed in conversations about algorithmic systems.

For theoretical bases to work on algorithmic systems and strategic interaction, I recommend as a less known book by Erving Goffman, Strategic Interaction. It is a microsociological take of game theory! As I see it, there are (at least) two levels worth thinking about here: First, computer-mediated communication, including questions about how does social interaction play out in the context of algorithmic systems and how do individuals and groups use these systems in strategic ways in interacting with others? Second, human–computer interaction, with questions about how individuals and groups ”game the algorithm” and work around systems that are making it hard for them to accomplish their goals. Here, one might think about Uber drivers strategizing with one another (and against the company and its app) to make more money, but also about the kinds of workarounds that have long been observed as part of the ”normal” repertoire of how people make socio-technical systems work. Goffman’s work gives us tools to consider how individuals can interact with algorithmic systems (and with one another in the presence of these systems) in active, purposeful ways, rather than the dopes fooled by black boxes that popular accounts sometimes make us to be! But we need to be careful in considering what we can take from this work, focused on rich interactional settings (face-to-face).

When it comes to algorithmic systems and bureaucracy, Max Weber’s scholarship is one obvious candidate to work with. I, however, am intrigued to revisit Michel Crozier’s work, especially the book The Bureaucractic Phenomenon, as a resource for thinking about interactions with algorithmic systems. Crozier’s work challenges perspectives that overemphasize the rational organizational structure of bureaucracy, and places emphasis on the strategic efforts of different stakeholders within these organizational systems. Looking at algorithmic systems from this point of view allows for analysing strategic interactions on the system level in a manner that does not do away with the impact of networked systems but also keeps us focused on the possible tensions between the different human actors. Here, too, we need to be careful in applying old tricks to a new show, since as Minna Ruckenstein pointed out in the symposium, the rules in bureaucracies are typically public knowledge whereas this tends not to be the case with proprietary algorithms.

(Finally, while this talk deals with another domain, most of my recent research deals with the so-called sharing economy. If you’d like to hear more, I’d be happy to hear from you. For my academic papers, take a look at my Scholar profile.)