Flere og flere medier har rettet øjnene og interessen (og for nogles vedkommende ressourcerne og pengene) mod robotjournalistik. Men hvordan sikrer man, at robotterne ikke bare ender med at lave clickbait-historier?

Af Lars K Jensen, 4. september 2019

Du kan også lytte til denne artikel:

Vil du hellere lytte der, hvor du hører podcasts?

Lyt i iTunes, på Spotify
…eller søg på “Medieblogger” der, hvor du finder podcasts.

When a measure becomes a target, it ceases to be a good measure.

Sådan lyder den såkalde ‘Goodharts lov’ i en forsimpling. Den har sit ophav i en artikel, økonomen Charles Goodhart skrev i 1975 om monetær politik under Thatcher. (Læs mere på Wikipedia)

Kort fortalt så går det ud på, at når vi gør noget målbart, risikerer vi at skabe en situation, hvor det ikke længere giver mening at bruge det pågældende målepunkt.

Clickbait

I mediebranchen er det klassiske eksempel, at hvis man vurderer artikler (og i sidste ende derfor også journalister) på, hvor mange klik eller sidevisninger, de genererer. Derved ender man måske nok med flere sidevisninger men næppe med den type journalistik, man satte sig for at lave.

Det er i dette miljø, det i branchen så forhadte clickbaiting er opstået, hvor man forsøger at lokke læserne/seerne til at klikke med fristende overskrifter.

Det samme vil gøre sig gældende, hvis man fortæller en journalist, at han/hun blandt andet vil blive vurderet på, hvor mange artikler, han eller hun laver.

I den kommercielle verden bliver nogle sælgere eksempelvis målt på, hvor mange salg, de laver – eller hvor mange møder, de sætter op og gennemfører. Det første målepunkt kan betyde, at de gennemfører salg med alt for store rabatter eller siger ja til alt for mange ændringer på kundens vegne, så det i sidste ende bliver en dårlig handel.

Målepunktet med møder er også risikabelt, fordi man kan risikere, at ens sælgere gennemfører så mange møder, at folk bliver trætte af dem – og at sælgerne ikke får forberedt sig ordentligt, fordi der er så mange møder.

Kort fortalt så er humlen, at når vi bliver målt på noget, så risikerer vi at ende med at “game” systemet, så vi klarer os rigtig godt på det, vi bliver målt på – men måske reelt ikke leverer kvalitet.

Når maskiner bestemmer

Man kan sige, at det er noget dybtboende i vores mennesker. Men i takt med, at flere og flere medier retter interessen mod robotter og lader dem skrive artikler, vil vi formentlig få at se, at Goodharts lov også gælder her.

Vi har allerede set det på især Facebook, der har fået massiv kritik for at fremhæve clickbait-overskrifter og “Fake News” – altså artikler, der ganske enkelt er løgn. Årsagen er blandt andet, at Facebook internt har bedømt deres News Feed-algoritme ud fra, hvor mange interaktioner, den skaber. Altså hvor mange gange folk trykker “like” eller en af de andre reaktioner, skriver en kommentar etc., på det indhold, de bliver præsenteret for på Facebooks forside.

Naturligvis ender algoritmen med at fremhæve det indhold, der giver flest interaktioner, og det har så vist sig ikke ligefrem at være det med den største troværdighed. Tværtimod.

(Her skal det dog tilføjes, at Facebook pt. kæmper en brav kamp imod det, de selv har skabt, med efterhånden en række af algoritmeændringer, der skal bremse spredningen af især clickbait-historier.)

Men det ændrer ikke på, at problemet ligger iboende i det feedback-loop, man skaber. Man sætter noget i gang, som man så måler på. Så skruer man og ser, om man kan få presset det tal, man måler på, højere op. Kan man det, så har man fat i noget af det rigtige, og så kan det være, man skruer endnu mere.

Hvornår er en robot en succes?

Derfor bliver det ekstremt interessant at se, hvad der kommer til at ske, når danske medier over en bred palette for alvor begynder at tage robotter i brug og lade dem skrive artikler.

For hvordan måler man, om det indhold, robotten producerer, er godt? Er det antal sidevisninger? Læsetid? Delinger? Kommentarer?

Uanset hvad, risikerer man at skabe et feedback-loop, der ikke er ulig det, Facebook er endt i. For få medier gider jo lave robotjournalistik, der ikke bliver læst. Lige pt. er robotter elendige (efter hvad jeg hører) til at skrive overskrifter, folk gider klikke på. Men det skal nok komme.

Og når robotterne lærer, hvilke overskrifter, der giver klik (og dermed en “belønning” til robotten), så fortsætter den med det – og efterhånden som robotten bliver selvlærende via Machine Learning, vil den eksperimentere og lære mere og mere om, hvad der får folk til at klikke og blive bedre og bedre til at skaffe sidevisninger – eller længere læsetid, hvis det er det, der kræves.

Her er det, vi i mediebranchen skal huske på, hvad Goodharts lov lærer os – for det scenarie er ikke nødvendigvis kønt.

Algoritmebias

I øjeblikket er jeg i gang med at læse ‘Rage Inside The Machine‘ af Robert Elliott Smith, der blandt andet handler om algoritmebias, altså når algoritmer er forudindtagede omkring eksempelvis kvinder eller mennesker med en given hudfarve.

Dette handler i sagens natur om algoritmer (og udvælgelse af indhold), men den underliggende problematik er den samme.

(Artiklen fortsætter under billedet)

En af Smiths hovedpointer er, at den type algoritmer, der bestemmer så meget i vores liv (for eksempel via Facebooks News Feed), slet ikke er de opgaver voksne, fordi de til en hver tid forsimpler udfordringen så meget som muligt for at kunne træffe et valg eller give en anbefaling.

(Hvis du er interesseret i emnet og ikke er bange for at læse lidt om matematik, historie, sandsynlighedsregning og matematiske modeller undervejs, vil jeg anbefale dig at læse ‘Rage Inside The Machine’.)

Kasper Lindskow, der er leder af strategi og forretningsudvikling på Ekstra Bladet, fremhævede problematikken i en glimrende artikel sidste års ‘Mediernes Fremtid’ (som jeg redigerer sammen med Aske Kammer).

Her skrev Lindskow blandt andet:

“Selvlærende algoritmer styres fortsat af de optimeringskriterier, som mennesker stiller op for dem. Erfaringer fra fx Facebook og YouTube viser, at hvis optimeringskriterierne bliver for ensidige, så vil brugerne blive anbefalet stadig mere ekstremt indhold. Hvis denne dynamik overføres til nyhedsmedierne, så kan brugerne blive eksponeret for stadig mere voldsomme nyheder om fx kriminalitet eller katastrofer, hvis ikke optimeringskriterierne bredes ud.

[…]

Helt grundlæggende er, at hverken brugere eller medier med sikkerhed kan vide, hvorfor du bliver præsenteret for lige præcis de nyhedsartikler, som du gør. Årsagen er, at den selvlærende algoritme selv vælger baseret på de data om dig og de optimeringskriterier, som algoritmen har fået adgang til. Dermed er det den selvlærende algoritme, der på dygtig vis redigerer medier, i stedet for redaktøren, og selvom vi kan se de direkte konsekvenser på fx læseadfærden, så får vi sværere ved at se eventuelle bivirkninger.”

Sorte bokse

Okay, det kan virke enormt dystopisk at male fanden på væggen, inden “robotrevolutionen” overhovedet er kommet i gang i den danske mediebranche, men historien viser os, at hvis vi ikke designer vores systemer, belønninger og feedback-loops ordentligt fra starten af, ender vi med at stå med noget, vi ikke kan styre.

Og jo mere og mere avancerede robotterne bliver, jo mere og mere bliver de “black boxes”, hvis indre vi ved intet om, som Kasper Lindskows citat herover også peger på. Og dét er et farligt sted at stå.

Det er den problematik, den amerikanske juraprofessor Frank Pasquale belyser i sin bog, ‘The Black Box Society‘.

Der er altså masser at være opmærksom på, når man introducerer maskiner på sit medie og indhold generelt.

Robotter kan selvfølgelig også bruges til gode ting i mediebranchen, for eksempel hos svenske MittMedia, der melder, at de mister færre abonnenter [Medietrends.dk], efter de har implementeret robotjournalister.

Som du kan læse i den Medietrends-artikel, jeg netop linkede til, er succeskriteriet for svenskerne netop ikke antallet af sidevisninger – i stedet handler det om at holde på abonnenterne:

“Typisk for robotartikler er, at de har ganske få læsere, men at de til gengæld er meget relevante for de få læsere.

Omvendt betyder det, at robottens artikler er fuldstændig irrelevante for det store flertal af læsere og at MittMedia derfor er nødt til at pakke deres medier på en måde, så de lokale robotartikler – en for en – kun når frem til netop de 40 læsere, der bliver glade.”

Sunde mål

Hvis MittMedias mål havde været et andet (for eksempel flere sidevisninger) havde succeskriterierne set anderledes ud. Derfor vil det være risikabelt, når annoncefinansierede medier lader robotterne producere indhold, fordi flere sidevisninger er lig med flere penge.

Akkurat som problemstillingen er, nu hvor der er mennesker involveret, som jeg tidligere har skrevet om i et blogindlæg hos Journalisten, ‘Færre klik, flere abonnenter‘.

Forskellen er, at når automatiseringen først fungerer, kan det være svært at rette ind – især hvis maskinens mørke hjerte er en “black box”.

Derfor gælder det om at finde et sundt målepunkt, hvor man tager højde for, de forskellige scenarier, når man begynder at skrue på mekanikken for at få robotten til at præstere bedre og bedre og yde mere og mere.

Et mindsket fald i tabte abonnenter er et godt bud på et sundt mål, fordi det i sidste ende handler om, at folk forbliver kunder, fordi de får værdi ud af abonnentet.

Et andet eksempel, som et annoncefinansieret medie kan genkende sig selv mere i, kunne være, at det gælder om at få folk til at komme igen; altså genbesøg. Det siger noget om, at folk vil værdi ved deres sidste besøg og derfor kommer igen. Og hvis robotindhold eksempelvis var (godt) repræsenteret i de besøg, der skaber genbesøg, kan det være en pejling om, at man har fat i noget, der fungerer – for brugeren.

Jeg udgiver nyhedsbrevene Digital Ugerevy og Products in Publishing.

Animation: GIPHY