Anthropic lanserar nytt skydd mot missbruk av AI
Missbruk av AI-modeller – mer specifikt så kallade ”jailbreaks” som kan användas för att kringgå modellernas begränsningar – är ett växande problem. Men Open AI-rivalen Anthropic har nu lanserat ett nytt skyddssystem kallat ”Constitutional Classifiers” som ska kunna stoppa ”en överväldigande majoritet” av alla jailbreakförsök när det kommer till modellen Claude 3.5 Sonnet. Det rapporterar sajten ARS Technica.
En demo av skyddsmekanismen som fokuserar på ämnesområdet kemiska vapen är nu igång, och Anthropic testar för fullt om det går att ta sig runt den. Det återstår att se om någon lyckas knäcka systemet.
Omni är politiskt obundna och oberoende. Vi strävar efter att ge fler perspektiv på nyheterna. Har du frågor eller synpunkter kring vår rapportering? Kontakta redaktionen
