Analyysi: Twitterin joukkolähteinen faktantarkistuskoe paljastaa ongelmia

Poynterin analyysissä havaittiin, että alle puolet Birdwatchin käyttäjistä käyttää lähteitä ja monet faktantarkistusmuistiinpanot sisältävät puolueellista retoriikkaa.

14. helmikuuta julkaistu versio Twitterin Birdwatch-algoritmista täydensi joitakin muistiinpanoja harhaanjohtavilla tiedoilla.

5. helmikuuta Twitter ilmoitettiin postaus kiistanalaiselta YouTuber Tim Poolilta joka sanoi, että Yhdysvaltain vuoden 2020 presidentinvaalit oli väärennetty. Alusta totesi, että väite oli kiistanalainen ja kielsi sitoutumisen 'väkivallan riskin vuoksi'.

Mutta, päälle Lintujen tarkkailu , sosiaalisen median alusta kokeile joukkolähdettyä tosiasiantarkistusta , käyttäjät sanoivat ylivoimaisesti, että twiitti ei ollut harhaanjohtava Twitterin 14. helmikuuta tehdyn analyysin mukaan. Ja useimmat Birdwatchin käyttäjät ilmoittivat työkalussa, että he pitivät näitä kumottuja väitteitä tukevia huomautuksia hyödyllisinä ja informatiivisina.

'TIMEn virallisen (sic) lähteen mukaan varjojärjestössä oli hyvin organisoitu ryhmä salaisia ​​osallistujia, joka kuulostaa salaliitolta, joka työskenteli yhdessä vaikuttaakseen vaaleissa Joe Bidenin hyväksi', lukee eräässä huomautuksessa. Vaikka käyttäjä sisältää linkin Time Magazine -artikkeli joka todellakin käyttää sanoja, kuten 'salaliitto' ja 'salaliitto', teoksen konteksti - että voimakkaat ryhmät työskentelivät kulissien takana suojellakseen vaalien koskemattomuutta - on menetetty.

The Lintujen tarkkailualgoritmi , jonka tarkoituksena on tuoda esiin hyödyllisiä muistiinpanoja, antoi tälle 'faktien tarkistukselle' hyödyllisyyspistemääräksi 0,68, mikä on korkein twiitin muistiinpanoista, hieman yli 10 %:n ulkopuolella, jonka algoritmi arvioi 'hyödyllisiksi' 14. helmikuuta. Hyödyllisiksi arvioituja muistiinpanoja oli noin 7 % tämän analyysin 2 695:stä, ja alle kaksi kolmasosaa niistä sisältää lähdelinkin, joka ei ole toinen twiitti.

17. helmikuuta Twitter muutti algoritmiaan ja Pool-tviitin huomautuksia ei enää arvioida hyödyllisiksi, vaikka ne ovat edelleen listattuna viestin alla . Ennen tätä muutosta hyödyllisiksi katsomisen kynnys oli vain 0,5 – vain 0,5 verrattuna uuteen 0,84:n rajaan – ja muistiinpanot tarvitsivat vain kolme arviota, jotta niitä pidettiin hyödyllisinä, ne priorisoitiin ja merkitty sinisellä.

Nyt muistiinpanon on kerättävä viisi luokitusta, jotta tämä twiitti saadaan näkyviin uusi 'arvioitu hyödyllinen' -välilehti Birdwatchissa . Ja niistä lähes 2 700 muistiinpanosta alustan tietokannassa 126 saavutti uuden kynnyksen – se on alle 5 %. Kolme neljäsosaa uusista 'hyödyllisiksi arvioiduista' muistiinpanoista sisälsi lähteen Twitterin ulkopuolelta.

Se on ajankohtainen esimerkki yhdestä Birdwatch-mallin ongelmista: Voiko näennäisen satunnaisen ihmisryhmän ruokkima algoritmi koskaan 'arvioida' totuuden tarkasti?

Pilottivaiheessaan hieman yli 1 000 käyttäjää käyttävä Birdwatch antaa osallistujille mahdollisuuden merkitä twiitit harhaanjohtaviksi ja lisätä huomautuksen, jossa viitataan lähteeseen ja/tai selitetään konteksti, miksi se voi olla harhaanjohtavaa. Sitten Birdwatch-käyttäjät voivat luokitella nämä muistiinpanot hyödyllisyyden perusteella (sen jälkeen algoritmi ottaa vallan).

Lopulta kaikki Twitterin käyttäjät näennäisesti näkevät nämä muistiinpanot tweettien alla, mutta toistaiseksi ne rajoittuvat tietyn sivuston osan . Birdwatch-käyttäjät rakentavat myös lopulta mainepisteet, jotka vaikuttavat avuliaisuusalgoritmiin.

'Tavoitteemme Birdwatch-pilotilla on rakentaa järjestelmä, johon kuka tahansa voi osallistua, ja se luonnollisesti lisää ihmisten hyödyllistä tietoa', sanoi Twitterin tuotejohtaja Keith Coleman sähköpostissa. 'Uskomme, että avoimuus siinä, kuka voi osallistua, on tärkeää ja että monipuolisen ryhmän panoksen avulla hyödyllisimmät muistiinpanot voidaan kohottaa.'

Mutta tarkastelu järjestelmää sellaisena kuin se nyt paljastaa haasteita, joita faktantarkistajat ovat esittäneet Birdwatchissa: käyttäjien faktantarkistusasiantuntemuksen puute, vaikeus luoda algoritmi, joka jollakin tavalla paljastaa arvostetuimpien käyttäjien hyödylliset huomautukset ja kysymyksiä käyttäjien puolueellisista motiiveista.

'En ole yllättynyt näistä havainnoista, kun otetaan huomioon sosiaalisen median alustojen polarisoituminen ja valtavirran käyttäjien epäröinti antaa palautetta alustojen tarjoamiin kyselyihin, kun taas motivoituneet käyttäjät käytävän molemmilta puolilta näkevät alustat taistelukenttinä, jotka edistävät kertomuksiaan. muut', sanoi Baybars Örsek, International Fact-Checking Networkin johtaja.

Suurin osa tuotteliaisimpien Birdwatch-käyttäjien muistiinpanoista merkitsee oikeistoa arvostelevat twiitit 'harhaanjohtaviksi' ja vasemmistoa arvostelevat 'ei harhaanjohtaviksi'. (Esimerkiksi käyttäjä merkitsi twiitin, jossa lukee ' Team Biden on pehmeä Kiinan suhteen Senaattori Ted Cruz and the Pool twiittasi 'ei harhaanjohtava'; sillä aikaa Newsweekin artikkeli äärioikeistolaisista ääriliikkeistä ja GameStop-saagasta ja twiitti Presidentti Donald Trumpin sitominen Capitol-mellakkaan merkittiin 'harhaanjohtavaksi' ja 'vahingolliseksi'.) Ja alle viidesosa käyttäjän 82 muistiinpanosta sisältää lähteen, joista useat ovat muita twiittejä. (Tämä Birdwatch-käyttäjä ei vastannut haastattelupyyntöön.)

Coleman sanoi, että Birdwatchia voidaan kannustaa harkitsemaan muistiinpanoja, jotka tulevat 'erilaisilta avustajilta'. Lisäksi luokitusjärjestelmä on alustan takana oleva päätekijä

'Uskomme, että nämä palkitsevat ja kannustavat lahjoituksia, joita monet ihmiset pitävät arvokkaina, ja vähentävät riskiä, ​​että yksi tietty ryhmä tai ideologia valtaa Birdwatchin', Coleman sanoi. 'Tämä on asia, jonka parissa työskentelemme aktiivisesti koko pilotin ajan.'

Ja todellakin, muistiinpanot, jotka algoritmi luokiteltiin hyödyllisimmäksi helmikuun 17. päivän muutosten jälkeen, osoittavat vakaampaa hankintaa ja vähemmän puolueellista retoriikkaa kuin vain päivää aiemmin tehty iteraatio. Mutta algoritmin muuttaminen pilottiohjelmalle, jossa on 1 000 käyttäjää ja alle 2 700 muistiinpanoa, on yksi asia, mutta algoritmin muuttaminen sen jälkeen, kun Birdwatch on kaikkien käyttäjien saatavilla, on toinen asia – ja kuka tietää, kestääkö algoritmin tehokkuus, kun käyttäjät alkavat kaataa. alustaan, kenties toistaen joidenkin tuotteliaisimpien pilottiosallistujien käyttäytymistä.

'Meillä ei tällä hetkellä ole tarkkaa skaalausaikajanaa, koska pyrimme oppimaan mahdollisimman paljon ja iteroimaan pilotin ollessa pieni', Coleman sanoi. 'Aiomme laajentaa toimintaamme, koska pystymme tekemään sen turvallisesti ja milloin se voi auttaa parantamaan oppimista.'

Silti, kuten Pool-tviitin alla olevissa muistiinpanoissa, niitä on esimerkkejä partisaneista tai harhaanjohtavaa tietoa edelleen näkyvissä tavallisina muistiinpanoina.

Neljällä viidestä aktiivisimmasta käyttäjästä, joiden osuus muistiinpanoista on yli 10 %, on samanlainen aktiivisuus kuin tuotteliaisimmalla käyttäjällä. Yksi heistä väittää, että Jeffrey Epsteinin kuolemaa ei koskaan katsottu itsemurhaksi. Toiseksi tuottelias lintuharrastaja kuitenkin mainitsee lähteen jokaisessa muistiinpanossa, mukaan lukien linkit Maailman terveysjärjestöstä ja FactCheck.org .

Yksikään 10 suurimmasta käyttäjästä ei ole Twitter-biosien mukaan ammattimainen faktantarkistaja tai toimittaja.

'Faktantarkistus on itse asiassa kovaa työtä, koska se on henkisesti vaativaa', sanoi PolitiFactin päätoimittaja Angie Holan sähköpostissa. 'Sinun on todella keskityttävä ja ajauduttava henkisen inertian läpi tunnistaaksesi väitteet ja sitten pohdittava keinoja niiden kumoamiseksi tai tarkistamiseksi. Sitten sinun on suoritettava haku ja sitten tulosten kirjoittaminen. Tämä ei ole päivä rannalla, suoraan sanoen. Ja jos faktantarkistajalla on puolueellinen motivaatio, se tekee perusteellisesta ja tasapuolisesta työstä vieläkin vaikeampaa.'

Ongelmistaan ​​huolimatta Birdwatch ilmoittaa vääristä tiedoista, jotka perinteiset faktantarkistajat saattavat jättää huomiotta tai päättää olla tarkistamatta mahdollisen haitan vuoksi – mikä voisi auttaa täyttämään joitain aukkoja digitaalisessa väärässä tiedossa. Aikana pelin lopetussaga , väärää tietoa yrityksen osakkeista levisi nopeasti eri alustoilla.

Snopes ja PolitiFact ei arvioinut GameStopia koskevia väitteitä Lead Stories arvioitu yksi Reddit-postaus. Mutta Birdwatchissa korkeimmalle arvostettu muistiinpano – auttavaisuuspisteen 1,00 – merkitsi harhaanjohtavaa twiittiä Redditistä, jossa keskusteltiin osakkeista. Redditistä, GameStopista ja Robinhood-sijoitussovelluksesta oli noin 50 seteliä, joilla tapahtui paljon kaupankäyntiä aiemmin tässä kuussa.

Ja Birdwatchin käyttäjät merkitsivät oikein väärennökseksi tilin, joka väitti kuuluvansa Virginian senaattorille Amanda Chaselle. twiittasi , '… Meillä on huumeongelma Virginiassa, ja marihuanan laillistaminen johtaa vain lisää marihuanan yliannostuksia ja kuolemantapauksia…'

Crowdsourcing voi helpottaa ammattimaisten faktantarkistajien elämää havaitsemalla väärää tietoa, Örsek sanoi.

Coleman sanoi, että Twitter on sitoutunut ylläpitämään läpinäkyvyyttä - mikä teki tämän analyysin mahdolliseksi - ja ottamaan huomioon asiantuntijoiden panoksen alustan tulevaisuudesta.

'Työskentelystä sulautetun tiimin jäsenen kanssa Chicagon yliopiston RISC-keskus , jotta voimme isännöidä palautetilaisuuksia toimittajien ja tutkijoiden kanssa, pyrimme hyödyntämään valtavaa osaamista ja tietämystä, joka on Twitterin ulkopuolella', hän sanoi.

Holan ja Örsek suosittelevat kannustimia ja koulutusta Birdwatchin käyttäjille sekä ammattimaisten faktantarkistajien palkkaamista korkea-arvoisten muistiinpanojen tarkistamiseen.

'Mutta suhtaudun melko epäilevästi teknologiayrityksiin, jotka uskovat käyttäjiensä moderoivan sisältöä ilmaiseksi heille', Holan sanoi. 'Useimmat käyttäjät eivät näe tehtävänsä auttaa alustoja pyörittämään omia yrityksiään.'