Open AI-team ska identifiera potentiella AI-katastrofer

Open AI har meddelat att företaget har tillsatt ett nytt team som ska utvärdera och granska AI-modeller för att kunna förebygga potentiella katastrofer. Det rapporterar Techcrunch.

Teamet får namnet ”Preparedness” och leds av Aleksander Madry, som är chef för universitetet MIT:s avdelning Center for Deployable Machine Learning.

De huvudsakliga arbetsuppgifterna för teamet består i att förutspå faror och ta fram skyddsmekanismer mot riskerna med AI-system. Det handlar till exempel om AI:s förmåga att övertyga och lura människor, eller generera skadlig kod. Gruppen kommer enligt Open AI att titta på både tydliga och mindre uppenbara risker.