Koneoppimismenetelmien on viime vuosina esitetty tarjoavan ratkaisun joihinkin yhteiskuntatieteellistä tekstintulkintaa pitkään vaivanneisiin ongelmiin. Etenkin ohjaamattoman koneoppimisen ajatellaan mahdollistavan uudenlaisen lähestymistavan tekstintulkintaan: sellaisen, jossa tutkija ensin mallintaa laskennallisesti aineiston piirteitä – kuten teksteissä esiintyviä sanoja – ja vasta mallintamisen jälkeen aloittaa varsinaisen tulkinnallisen työn. Näin ohjaamaton oppiminen toisi analyysiprosessiin uuden, mekaaniseen laskentaan perustuvan vaiheen, joka myöhästyttää tekstien subjektiivista tulkintaa. Kuten John Mohr ja Petko Bogdanov esittävät,
One counts, and then one begins to interpret. In this sense, what topic models and other types of automated text analysis tools do for cultural researchers is to shift the locus of subjectivity within the methodological program — interpretation is still required, but from the perspective of the actual modeling of the data, the more subjective moment of the procedure has been shifted over to the post-modeling phase of the analysis.
(Mohr & Bogdanov 2013, p. 560.)
Ohjaamatonta laskentaa koskevan kiinnostuksen taustalla on pitkäaikainen huoli tekstintulkinnan objektiivisuudesta. Yhteiskuntatieteilijät ovat perinteisesti suhtautuneet epäilevästi hermeneuttiseen lähiluentaan nojaaviin humanistisiin tulkintakäytäntöihin. Esimerkiksi kulttuurisosiologi Jeffrey Alexander ja muut (2012, p. 21) huomauttavat, että tekstien syvälliseen lähiluentaan pohjaavia analyysiprosesseja ei kyetä riittävän systemaatisesti selittämään muille tutkijoille, eikä tehtyjen tulkintojen edustavuutta tai empiiristä tukea siksi voida arvioida. Toisaalta tekstien kirjoituskontekstille ja merkitysnyansseille herkän hermeneuttisen luennan on esitetty olevan välttämätöntä sosiaalisten ilmiöiden ymmärtämiseksi (esim. Rabinow & Sullivan 1979). Ohjaamattomiin koneoppimismenetelmiin kohdistuva toive onkin, että aineiston mallintaminen mahdollistaisi tulkintaprosessin aiempaa systemaattisemman arvioinnin, varsinaista tulkitsevaa luentaprosessia rajoittamatta. Tällä perusteella ohjaamattoman mallinnuksen on esitetty olevan esimerkiksi aikaisempia, tekstien systemaattiseen koodaamiseen perustuvia menetelmiä parempi lähestymistapa tulkinnallisen tekstianalyysin systematisoimiseen (Lee & Martin 2015; ks. myös Biernacki 2012 ja 2014).
Mutta miten ohjaamattomia menetelmiä oikeastaan käytetään tukemaan tekstintulkintaa yhteiskuntatieteissä, ja missä mielessä niiden voi sanoa tekevän tulkinnasta objektiivisempaa? Näitä kysymyksiä tarkastelimme Petri Ylikosken kanssa syyskuussa 2020 Synthese-lehdessä julkaistussa artikkelissamme Humanistic interpretation and machine learning. Artikkelissa erittelimme yhteiskuntatieteilijöiden tapoja käyttää aihemallinnusta tekstintulkinnassa ja argumentoimme, että ohjaamattoman oppimisen objektiivisuutta ei tulisi samaistaa ideaan mekaanisesta laskentaprosessista, joka edeltää tutkijan tulkinnallista aineistoon perehtymistä. Pikemminkin mallintaminen voi auttaa tutkijoita tekemään tulkintaprosesseista läpinäkyvämpiä ja pohjaamaan analyysinsa aiempaa laajemmille aineistoille. Siksi ohjaamattoman oppimisen objektiivisuushyötyjenkin tulisi ajatella liittyvän tutkijoiden parantuneisiin mahdollisuuksiin vakuuttaa toisensa tekemiensä tulkintojen oikeellisuudesta. Tämän kaltainen objektiivisuus on kriittisen tulkinnallisen keskustelun piirre, eikä palaudu suoraan laskennallisen mallinnusprosessin ominaisuuksiin.
Tässä blogikirjoituksessa esitän lyhyen tiivistyksen artikkelimme keskeisestä argumentista, käyttäen esimerkkinä aihemallinnusta.
Ohjaamattoman mallintamisen evidentiaalinen rooli
Tekstiaineistoja mallintavat yhteiskuntatieteilijät pyrkivät tuottamaan tekstien sisällöstä ja rakenteesta tietoa, joka voisi auttaa heitä vastaamaan yhteiskuntatieteellisesti kiinnostaviin kysymyksiin. Siksi keskeinen haaste laskennallisessa tekstianalyysissa on artikuloida, miten mallintamalla tuotetut tulokset suhteutuvat kiinnostuksen kohteena oleviin merkitysilmiöihin. Aihemallinnus tuottaa tuloksenaan tietoa aineistossa suurella todennäköisyydellä yhdessä esiintyvistä sanoista, sekä näiden sanajoukkojen jakautumisesta aineiston eri osiin (Blei 2012). Miten näiden tulosten tulisi ajatella liittyvän yhteiskuntatieteilijöitä kiinnostaviin merkitysilmiöihin, kuten keskusteluaiheiden kehystyksiin ja poliittisiin agendoihin, tai niiden taustalla vaikuttaviin diskursseihin ja valtarakenteisiin?
Aihemallinnusta käyttävät yhteiskuntatieteilijät ovat omaksuneet kahdenlaisia asenteita suhteessa tähän ongelmaan. Kutsumme niitä artikkelissamme aiherealistiseksi ja aiheinstrumentalistiseksi asenteeksi. Aiherealistisessa asenteessa aihemallinnusprosessin ajatellaan operationalisoivan jonkin kiinnostuksen kohteena olevan teoreettisen käsitteen ja tuottavan evidenssiä sen esiintymisestä aineistossa. Esimerkiksi DiMaggio ja muut (2013, p. 593) suhtautuvat aihemallinnuksen tuloksiin realistisesti esittäessään, että mallinnuksen tuottamia aiheita voi käyttää mittaamaan viestinnän tutkimuksessa kiinnostuksen kohteena olevia aiheiden kehystyksiä. Aiheinstrumentalismissa puolestaan mallinnustulosten ei ajatella vastaavan mitään yhteiskuntatieteellisesti kiinnostavaa teoreettista konstruktiota. Korkeintaan mallinnuksen tuottamien sanalistojen ajatellaan tarjoavan aineistosta informaatiota, joka voi olla hyödyllistä aineiston tulkitsevan luennan kannalta. Esimerkiksi Törnberg ja Törnberg (2016) omaksuvat tämän asenteen käyttäessään aihemallinnusta tunnistamaan suuresta keskustelufoorumiaineistosta feminismiä ja islaminuskoa käsitteleviä osioita, joita he sitten käyttävät aineistona myöhemmässä diskurssianalyysissa.
Sekä aiherealismissa että aiheinstrumentalismissa mallintaminen voidaan mieltää mekaaniseksi prosessiksi, joka edeltää varsinaista tekstien tulkintaa. Asenteiden välinen keskeinen ero koskee pikemminkin rooleja, jotka niissä annetaan formaalille mallintamiselle ja tulkitsevalle luennalle. Siinä missä aiherealisti pitää mallinnusta teoreettisesti kiinnostavaa evidenssiä tuottavana prosessina, aiheinstrumentalismissa pääpaino on tekstien tulkitsevalla luennalla, jota formaali mallintaminen jäsentää.
Tästä eroavaisuudesta huolimatta kummassakaan asenteessa mallintamisen ei kuitenkaan ajatella tuottavan evidenssiä irrallaan aineiston tulkitsevasta luennasta. Aiheinstrumentalismin tapauksessa tämä on jokseenkin selvää, sillä analyysin pääpaino on tulkitsevalla luennalla. Mutta myös aiherealistisen mallintajan on kyettävä varmistamaan, että mallinnustulokset todella liittyvät kiinnostuksen kohteena olevaan ilmiöön. Tekstiaineistojen mallintaminen ei ole suoraviivainen prosessi, eivätkä mallintajat voi lähtökohtaisesti olla varmoja siitä, että heidän valitsemansa ohjaamaton menetelmä ja asetetut mallinnusparametrit todella vastaavat tarkoitettua teoreettista konstruktiota. Tämän vuoksi yhteiskuntatieteellisessä aihemallinnuskirjallisuudessa painotetaankin, että mallinnustulokset on aina validoitava, ennen kuin niitä voidaan käyttää teoreettisesti relevanttina evidenssinä (esim. DiMaggio et al. 2013; Grimmer & Stewart 2013; Nelson 2017). Tulosten validaatio voi tapahtua esimerkiksi lukemalla mallintamalla tunnistettuihin aiheisiin liittyviä tekstejä ja tarkistamalla, että ne todella kertovat jotain tarkoitetusta ilmiöstä. Vaihtoehtoisesti aiheiden esiintymistä aineistossa voidaan tarkastella suhteessa aineiston ulkopuolisiin tapahtumiin, joiden voidaan perustellusti odottaa vaikuttaneen aiheiden jakaumiin. Tarkasta lähestymistavasta huolimatta validaatiossa keskeistä on, että mallinnustuloksia arvioivalla tutkijalla on mallinnetusta aineistosta riittävän perusteellinen tulkinnallinen ymmärrys, jota vasten tuloksia voidaan arvioida (ks. esim. DiMaggio ja muut 2013, p. 603; Mohr & Bogdanov 2013, p. 560).
Validaation edellyttämästä aineiston taustaymmärryksestä johtuen aiherealistisella mallintamisellakaan ei voi ajatella olevan vahvaa evidentiaalista roolia tulkinnallisessa analyysissa. Eri taustoista ja teoreettisista lähtökohdista tulevat tutkijat voivat samojen mallinnustulosten pohjalta muodostaa hyvinkin erilaisia tulkintoja aineistosta, ja näin ollen tulosten tulkintaa koskevissa kiistoissa joudutaan lopulta tarkastelemaan tutkijoiden tulkinnallista ymmärrystä aineistosta. Mekaaninen mallinnus ei itsessään voi tuottaa evidenssiä tulkinnallisten kysymysten ratkaisemiseksi, vaan pikemminkin tarjoaa välineen, jonka avulla tulkinnallista keskustelua voidaan mahdollisesti jäsentää ja tukea. Näin ollen myös ohjaamattoman mallinnuksen objektiivisuudenkin tulisi ajatella liittyvän tähän mallinnuksen kriittistä keskustelua tukevaan rooliin, pikemmin kuin tulkinnan myöhästyttämiseen analyysissa.
Tulkinnallisen prosessin skaalautuvuus ja läpinäkyvyys
Miten ohjaamaton mallinnus sitten voi tukea tulkinnallista keskustelua? Artikkelissamme käsittelemme kahta erilaista tapaa, jotka pätevät sekä aiherealismille että aiheinstrumentalismille.
Ensinnäkin koneoppimismenetelmät voivat mahdollistaa suurten ja monipuolisten aineistojen analyysin entistä laajemmalle joukolle tutkijoita. Perinteinen lähiluentaan pohjaava tulkinnallinen analyysi on tyypillisesti rajoittunut käyttämään vain suhteellisen pieniä aineistoja (ks. Williams 2000). Laajojen aineistojen hermeneuttiseen luentaan ovat kyenneet lähinnä yksittäiset virtuoositutkijat, joiden tutkimusprosesseja muiden on hankala arvioida (Lee & Martin 2015). Ohjaamattomien menetelmien avulla tutkijat voivat tuottaa suuristakin aineistosta kokonaiskuvan nopeasti ja sitoutumatta johonkin ennalta päätettyyn aineiston lukemisprosessiin, jonka vaikutusta tehtyihin tulkintoihin ei tunneta. Tutkijat voivat käyttää mallia tunnistamaan aineistosta heidän teoreettisen kiinnostuksensa kannalta relevanteimpia osia ja keskittää aineiston luentansa niihin. Lisäksi mallinnus voi auttaa tunnistamaan tekstien piirteitä tai rakennetta koskevaa informaatiota, jota lähiluennalla olisi vaikea tai mahdoton tunnistaa (esim. suuren mittakaavan toistuvuudet sanojen käytössä). Väitteet tulkinnan myöhästyttämisestä tulisikin ymmärtää juuri tässä mielessä. Ohjaamaton mallinnusprosessi voi tuottaa tutkijoille tulkintaa edeltävää informaatiota koskien aineiston piirteitä ja rakennetta, mutta tämän informaation käyttö evidenssinä on aina sidonnaista tutkijan tulkinnalliseen ymmärrykseen.
Näiden skaalautuvuushyötyjen kohdalla on kuitenkin huomattava, että aiherealistisen mallinnuksen edellyttämä taustaymmärrys aineistosta asettaa rajoituksia myös mallinnuksen tukeman tulkinnan skaalautuvuudelle. Suurta ja huonosti ymmärrettyä aineistoa mallintaessaan tutkijoiden voi olla vaikea validoida mallinnustuloksiaan, sillä mitattujen konstruktien käyttäytymisestä on vaikea tehdä perusteltuja oletuksia. Tämä ei suoraan tarkoita, että mallinnustulosten validaatio on mahdotonta huonosti tunnettujen aineistojen tapauksessa. Pikemminkin on todennäköistä, että tutkijat joutuvat nojaamaan valitun mallinnusmenetelmänsä lisäksi nojaamaan muihin laskennallisiin apukeinoihin, kuten instrumentalistiseen mallinnukseen, joiden avulla aineistosta muodostetaan riittävä ymmärrys (ks. esim. Nelson 2017).
Skaalautuvuushyötyjen lisäksi mallinnus voi tehdä tulkintaprosessista läpinäkyvämmän ja helpomman selittää muille tutkijoille. Mallintaessaan aineistoa tutkijoiden on tehtävä eksplisiittisiä valintoja koskien mallinnusparametreja, kuten esimerkiksi aiheiden määrää ja aihejakaumien muotoa aihemallinnuksessa. Nämä valinnat voidaan kommunikoida tarkasti muille tutkijoille, jotka voivat halutessaan toistaa täsmälleen jonkin tutkimuksen taustalla olevat mallinnusaskeleet ja muodostaa tuloksista omat, mahdollisesti eriävät tulkintansa. Perinteisessä tulkinnallisessa analyysissa aineiston lukemisessa tehtyjen valintojen avaaminen muille tutkijoille on tyypillisesti vaikeaa, ja näin ollen mallintaminen voi helpottaa tulkintojen vertailua ja kritiikkiä. Esimerkiksi mahdollisten eriävien tulkintojen määrää voidaan kartoittaa helpommin, antamalla usean tutkijan tehdä itsenäisesti tulkintoja samoista mallinnustuloksista (Maier et al. 2018). Joissakin tutkimuksissa on jopa joukkoistettu tulkintaprosessi eriävien tulkintojen kartoittamiseksi (Stier et al. 2017). Vastaavan asetelman toteuttaminen suurten tekstiaineistojen hermeneuttisessa tulkinnassa olisi vähintäänkin haastavaa. Lisäksi mallinnustulosten tarjoama kokonaiskuva aineistosta auttaa tutkijoita perustelemaan, miten he valitsivat lukemansa aineistosta lukemansa esimerkkitekstit. Tämä lieventää epäilyksiä siitä, että tulkinnat ovat seurausta arbitraarisesta lukemisjärjestyksestä tai “kirsikoiden poimimisesta” esimerkkiteksteiksi (ks. Baker & Levon 2015; Törnberg & Törnberg 2016). Tekstien otantaprosessin systematisoiminen on toki ollut aikaisemminkin mahdollista. Mutta laskennallinen mallintaminen mahdollistaa eri analyysipolkujen nopean ja systemaattisen kokeilun ja tehtyjen valintojen täsmällisen kommunikoimisen tavalla, joka aikaisemmissa menetelmissä on ollut haastavaa (esimerkiksi koodaamiseen pohjaavien analyysien toistaminen on osoittautunut vaikeaksi; ks. Biernacki 2012).
On tärkeää huomata, että nämä ohjaamattoman oppimisen tuomat läpinäkyvyyshyödyt edellyttävät tulkitsijoilta tietynasteista teknistä ymmärrystä mallinnusprosessista ja siihen sisältyvistä valinnoista. Esimerkiksi aihemallinnuksen tapauksessa on tärkeää ymmärtää, miten aihemäärän valinta sekä muut mallinnusparametrit ja aineiston esikäsittelyvaiheet vaikuttavat tuloksiin. Opaakkien ohjaamattomien menetelmien käyttö ei tue tulkinnallisen keskustelun arvioitavuutta. Toinen mallinnuksen tuoman läpinäkyvyyden ennakkoehto on, että tutkijat dokumentoivat analyysiprosessinsa riittävän eksplisiittisesti, ja että muilla tutkijoilla on pääsy heidän mallintamiinsa aineistoihin ja käyttämiinsä työkaluihin. Läpinäkyvyys ei ole laskennallisen mallinnuksen sisäsyntyinen ominaisuus, vaan se nojaa koko tulkinnallisessa prosessissa omaksuttuihin käytäntöihin.
Objektiivisuus tulkinnallisen keskustelun piirteenä
Jos ohjaamattomien menetelmien tekstintulkinnalle tuomat hyödyt liittyvät pääasiassa tulkintaprosessien skaalautuvuuteen ja läpinäkyvyyteen, ei niiden tuomaa objektiivisuuttakaan tulisi yhdistää ajatukseen tulkintaa edeltävästä mekaanisesta mallinnusprosessista. Artikkelissamme esitämmekin, että tällainen mekaanisen objektiivisuuden (Daston & Galison 1992) ideaali johtaa tekstintulkintaa koskevissa keskusteluissa helposti hedelmättömään vastakkainasetteluun tekstien merkityksen syvällisen ymmärtämisen ja formaalien mallinnusmenetelmien välillä. Ohjaamattomien menetelmien objektiivisuus tulisi pikemminkin ymmärtää parantuneiksi mahdollisuuksiksi käydä tulkintoja koskevaa kriittistä keskustelua. Tieteenfilosofit ovat kutsuneet tällaista objektiivisuuden muotoa interaktiiviseksi objektiivisuudeksi (Douglas 2004; Longino 1990), jonka keskeisiä edellytyksiä ovat analyysiprosessien läpinäkyvyys ja avoimuus kritiikille.
Ohjaamattomien menetelmien voi ajatella parantavan tulkinnallisen tekstianalyysin interaktiivista objektiivisuutta tarjoamalla tutkijoille välineitä vakuuttaa toisensa tulkintojensa oikeellisuudesta. Mallintamalla tutkijat voivat osoittaa toisilleen, että heidän tulkintansa voidaan perustella vedoten analysoituun tekstiaineistoon, ja että tulkinnat eivät ole tulosta epäselvistä analyysiprosesseista tai idiosynkraattisista lähtökohdista. Tulkinnallisen tutkimuksen objektiivisuudesta keskusteltaessa ei ole rakentavaa kysyä, voiko mallinnus eliminoida tulkintaa joistakin analyysiprosessin vaiheista. Kiinnostavampaa on selvittää, auttaako mallintaminen tutkijoita hyödyntämään tekstiaineistoihin sisältyvää informaatiota ja arvioimaan kriittisesti toistensa tulkintoja.
Viitteet
Alexander, J., Jacobs, R., & Smith, P. (2012). Introduction: Cultural sociology today. J. Alexander & P. Smith (Eds.), The Oxford handbook of cultural sociology (3–24). Oxford: Oxford University Press.
Baker, P., & Levon, E. (2015). Picking the right cherries? A comparison of corpus-based and qualitative analyses of news articles about masculinity. Discourse & Communication, 9(2), 221–236.
Biernacki, R. (2012). Reinventing evidence in social inquiry. London: Palgrave MacMillan.
Biernacki, R. (2014). Humanist interpretation versus coding text samples. Qualitative Sociology, 37, 173–188.
Blei, D. (2012). Probabilistic topic models. Communications of the ACM, 55(4), 77–84.
Daston, L., & Galison, P. (1992). The image of objectivity. Representations, 40, 81–128.
DiMaggio, P., Nag, M., & Blei, D. (2013). Exploiting affinities between topic modeling and the sociological perspective on culture: Application to newspaper coverage of U.S. government arts funding. Poetics, 41(6), 570–606.
Douglas, H. (2004). The irreducible complexity of objectivity. Synthese, 138, 453–473.
Grimmer, J., & Stewart, B. (2013). Text as data: The promise and pitfalls of automatic content analysis methods for political texts. Political Analysis, 21(3), 267–297.
Lee, M., & Martin, J. L. (2015). Coding, counting and cultural cartography. American Journal of Cultural Sociology, 3(1), 1–33.
Longino, H. (1990). Science as social knowledge. Princeton: Princeton University Press.
Maier, D., Waldherr, A., Mitner, P., Wiedemann, G., Niekler, A., Keinert, A., et al. (2018). Applying LDA topic modeling in communication research: Toward a valid and reliable methodology. Communication Methods and Measures, 12(2–3), 93–118.
Mohr, J., & Bogdanov, P. (2013). Introduction—Topic models: What they are and why they matter. Poetics, 41(6), 545–569.
Nelson, L. (2017). Computational grounded theory: A methodological framework. Sociological Methods & Research. https://doi.org/10.1177/0049124117729703
Rabinow, P., & Sullivan, W. (1979). Interpretive social science: A reader. Berkeley: University of California Press.
Stier, S., Posch, L., Bleier, A., & Strohmaier, M. (2017). When populists become popular: Comparing Facebook use by the right-wing movement Pegida and German political parties. Information, Communication & Society, 20(9), 1365–1388.
Törnberg, A., & Törnberg, P. (2016). Combining CDA and topic modeling: Analyzing discursive connections between Islamophobia and anti-feminism on an online forum. Discourse & Society, 27(4), 401–422.
Williams, M. (2000). Interpretivism and generalisation. Sociology, 34(2), 209–224.
Artikkelikuvan lähde: (cc) pstiegele @Pixabay
Rajapinta 