Test visar att AI-söktjänster usla på källhänvisning

Organisationen Tow Center for Digital Journalism har genomfört ett test av åtta generativa AI-sökverktyg för att utröna i vilken grad de återger nyhetsinnehåll korrekt och levererar rätt källhänvisningar. AI-tjänsterna fick utdrag från mängder av nyhetsartiklar och ombads identifiera den ursprungliga artikelns rubrik samt hitta rätt utgivare, publiceringsdatum och webbadress. Och Tow Center konstaterar att resultatet inte var särskilt smickrande för AI-tjänsterna.

Tjänsterna levererade vid flera tillfällen både felaktiga och spekulativa svar. Dessutom tycks licensuppgörelser med nyhetstjänster inte innebära någon garanti för att svaren blir korrekta. Tjänster i premiumsegmentet är inte bättre, utan bara mer självsäkra när de gör fel, uppger Tow Center for Digital Journalism.

AI-tjänsterna levererade totalt sett felaktig information vid 60 procent av förfrågningarna som användes i testet. Men variationen mellan de olika tjänsterna var samtidigt stor. Perplexity gjorde fel 37 procent av gångerna, medan X AI:s Grok 3 hade fel hela 94 procent av gångerna.