Forskare varnar för brister i techbolagens AI-tester

Forskare har hittat allvarliga brister i hundratals tester som används för att bedöma säkerheten och effektiviteten hos nya AI-modeller, rapporterar The Guardian. Enligt en studie från forskare vid Storbritanniens institut för AI-säkerhet och flera ledande universitet har nästan alla de 440 granskade testerna svagheter som kan göra resultaten missvisande.

Tester av det här slaget används ofta av stora techbolag för att visa att deras modeller är säkra och fungerar som tänkt. Men enligt forskarna bakom studien riskerar de bristande metoderna att skapa en falsk bild av framstegen inom AI.

– Utan gemensamma definitioner och tillförlitliga mätmetoder är det svårt att veta om modellerna faktiskt blir bättre eller bara verkar bli det, säger huvudförfattaren Andrew Bean.