Onko PolitiFact puolueellinen? Tämä sisältöanalyysi sanoo ei

Se on sitä kritiikkiä PolitiFact on pitkään tottunut kuulemaan.

'PolitiFact harjoittaa suurta valintaharhaa', The Weekly Standard kirjoitti vuonna 2011 . 'Faktantarkistajien ylivoimaisesti kohdistaa oikeistopuolueisiin ja tutkijoihin' lukee huhtikuun 2017 otsikko NewsBusters-sivustolta, jonka tavoitteena on paljastaa 'liberaali median ennakkoluulo' ja torjua sitä. Siellä on jopa kokonainen blogi omistettu osoittamaan tapoja, joilla PolitiFact on puolueellinen.

Faktantarkistusprojekti, jonka Poynter omistaa, on torjunut nämä syytökset osoittaen sen läpinäkyvyyttä. metodologia ja rahoitusta (sekä sen jäsenyys International Fact-Checking Networkissa) todisteena siitä, ettei sillä ole poliittista vakaumusta. Ja nyt PolitiFactilla on akateeminen tutkimus sen tueksi.

Raportti, tutkijoiden julkaisema Washingtonin yliopistossa ja Carnegie Mellonin yliopistossa maaliskuussa analysoi PolitiFactin demokraateista ja republikaaneista julkaisemaa kieltä nähdäkseen, kuinka organisaatio on muodostanut puhujat molemmilta osapuolilta. Se sisältää myös ulkoisen analyysin, jossa verrataan sitä, miten PolitiFact kehystää asioita, siihen, miten media yleensä tekee.

Raportissa, jonka PolitiFact lähetti ensimmäisenä Poynterille, käytettiin automaattista tekstianalyysiä noin 10 000 artikkelissa, jotka ovat peräisin vuodelta 2007, joista suurin osa on vuosina 2010–2017. Puolueittain jaettuna republikaaneja käsitteleviä artikkeleita on noin 1,4 kertaa niin paljon kuin demokraateista. Entinen presidentti Barack Obama oli eniten katettu puhuja otoksessa noin 600 artikkelilla.

PolitiFactin kuuden pisteen asteikolla, joka vaihtelee 'Todella' ja 'Pants on Fire!', arvioiden jakautuminen on melko tasaista. Puolueittain jaettuna faktantarkistusprojekti antaa tyypillisesti enemmän oikeita luokituksia demokraateille ja enemmän vääriä arvosanoja republikaaneille, kun se on mukautettu kustakin ryhmästä julkaistujen artikkelien lukumäärän eroihin.

(Kuvakaappaus)

Tietyille poliitikoille yleisimmin käytetty Obaman luokitus on 'enimmäkseen tosi', kun taas Donald Trumpin on 'epätosi', raportin mukaan. PolitiFactin kattavuus vaikuttaa kuitenkin suhteellisen tasapainoiselta, kun se erotetaan edelleen kunkin artikkelin suosituimmista aihetunnisteista.

(Kuvakaappaus)

PolitiFactin kolme eniten katettua aihetta ovat talous, terveydenhuolto ja verot – jotka kaikki jakautuvat tasapuolisesti republikaanien ja demokraattien puhujien kesken. Raportin mukaan poikkeavilla seikoilla, kuten maahanmuutolla ja aseilla, voi olla enemmän tekemistä sen kanssa, kuinka paljon kukin osapuoli puhuu näistä asioista, eikä se, miten PolitiFact niitä kehystää.

'Aiheiden sisäinen jako on samanlainen kuin yleinen puoluejako', siinä lukee. 'Siksi emme odota, että osapuolten väliset kielierot perustuvat vahvasti artikkeleiden sisältöön.'

Joten tutkijat erittelivät jokaisen artikkelin tarkemmin sen mukaan, mitkä sanat todennäköisimmin ennustivat oikein, että tarina koski republikaania tai demokraatteja. Tätä varten he käyttivät tilastollisia tekniikoita ja luonnollisen kielen käsittelymalleja poistaen lainaukset tai muun tekstin, jota kirjoittaja ei kirjoittanut.

Kun otetaan huomioon raportin aikaisemmat analyysit, se, mitä he löysivät, ei ollut yllättävää – republikaaneja koskevat artikkelit yhdistettiin sellaisiin sanoihin kuin 'republikaani' ja 'false', kun taas demokraatteja koskevat artikkelit yhdistettiin sanoilla 'demokraatit' ja 'tosi'.

(Kuvakaappaus)

Kun tutkijat poistivat kaikki sanat, jotka ilmeisesti liittyivät jompaankumpaan puolueeseen, he havaitsivat, että tarinoita demokraattien puhujista ennustettiin yleensä sanoilla 'auttoi' ja 'ajattele', kun taas 'Fox' ja 'mukaan' ennustivat tarinoita republikaaneista.

(Kuvakaappaus)

Mitä se sitten sanoo PolitiFactin väitetystä puolueellisuudesta? Ei paljon tutkijoiden mukaan.

'Tämä osa analyysimme ei löydä selviä eroja kielenkäytössä, jota käytetään kuvaamaan kunkin osapuolen yksilöitä tavalla, joka osoittaa viitteitä puolueellisuudesta tai erilaisesta kohtelusta', he kirjoittivat.

Ulkoisessa analyysissaan tutkijat eivät päässeet erilaisiin johtopäätöksiin. He suorittivat mielialaluokituksen, joka perustui ennalta määritettyihin positiivisten ja negatiivisten termien luetteloihin, ja havaitsivat, että PolitiFact käyttää republikaaneille enemmän negatiivisia ja positiivisia sanoja, joita koskevat artikkelit olivat keskimäärin pidempiä.

(Kuvakaappaus)

'Tästä yksinkertaisesta analyysistä päättelemme, että jos demokraattien ja republikaanien PolitiFact-analyysin välillä on eroa, se ilmaistaan ​​hienovaraisesti ja tai aluekohtaisilla tavoilla', raportissa lukee.

On joitain rajoituksia. Republikaaneja ja demokraatteja koskevien artikkelien epätasapainoisuuden vuoksi tekstiluokitus pystyi ennustamaan puolueen vain 58 prosentin tarkkuudella sanojen perusteella. Tutkijat eivät myöskään suorittaneet syvällisempää mielipideanalyysiä PolitiFactin sisällöstä, osittain korkeiden kustannusten vuoksi ja osittain siksi, että ihmisten annotaattorit voivat vastata subjektiivisesti faktantarkistusarvioihin.

Mutta PolitiFact tuntuu hyvältä siitä, mitä raportissa sanotaan.

”Se varmasti vahvistaa sitä, kuinka yritämme toimia ja kantaa itseämme. Joten tietysti olemme iloisia, kun ei näy punaisia ​​lippuja', toiminnanjohtaja Aaron Sharockman sanoi viestissä. 'Mutta faktantarkistajana, joka on tarkastanut paljon tutkimuksia, meidän ei myöskään pitäisi antaa tälle tutkimukselle enemmän painoarvoa kuin se on sen arvoista. Tämä on yksi katsaus kieleen ja sanoihin, joita käytämme tosiasioiden tarkistamiseen.'

'Emme voi lakata ajattelemasta tapoja parantaa uskottavuuttamme kaikille yleisöille.'

Raportti on osa 50 000 dollarin apuraha jonka Knight Foundation myönsi PolitiFactille viime kesäkuussa parantaakseen luottamusta tosiasioiden tarkistamiseen ja tavoittaakseen skeptisiä yleisöjä. Viime syksynä tosiasiantarkistusorganisaation jäsenet matkustivat kolmeen osavaltioon, joissa konservatiiviset äänestäjät hallitsivat, ja järjestivät foorumeita, henkilökohtaisia ​​tapaamisia ja yhteisötapahtumia saadakseen yhteyttä ja vastatakseen kysymyksiin. PolitiFact palkkasi myös kaksi entistä poliitikkoa (yksi kummastakin puolueesta) arvostelemaan sen työtä.

Nämä pyrkimykset saivat osittain inspiraationsa Rasmussen Reportersin kyselyssä syyskuuta, jossa todettiin, että 88 prosenttia Trumpin kannattajista ei luota tiedotusvälineiden faktantarkistuksiin. Ja PolitiFactin kielianalyysi näyttää hyvältä torjumiselta näille löydöksille.

'Analyyseissämme ei havaittu järjestelmällisiä eroja demokraattien ja republikaanien kohtelussa PolitiFactin artikkeleissa', lukee tutkimuksen johtopäätös.

Mutta Poynterille lähetetyssä seurantasähköpostissa Noah Smith, yksi raportin kirjoittajista, lisäsi varoituksen havaintoihin.

'Tämä voi johtua siitä, että ei todellakaan löydy mitään, tai siitä, että työkalumme eivät ole tarpeeksi tehokkaita löytämään mitä siellä on', hän sanoi.