Chat GPT bedöms vara ”hyfsat bra” på att koda

Av Mats Karlsson
Publicerad: 9 juli 2024

Färdigheter i att koda brukar ofta framhållas som en fördel med AI. Därför har ett antal forskare nu låtit genomföra en studie för att utröna hur pass bra Open AI:s Chat GPT egentligen är när det handlar om programmering. Och enligt studien – som publicerats i tidskriften IEEE Transactions on Software Engineering – så är GPT 3.5 ”hyfsat bra”.

Forskarna använde testplattformen Leetcode och utsatte GPT 3.5 för 728 programmeringsproblem i språken C, C++, Java, Javascript och Python. När det handlade om problem som funnits på Leetcode före 2021 så lyckades Chat GPT lösa de enklaste 89 procent av gångerna, de medelsvåra 71 procent av gångerna och de svåra 40 procent av gångerna.

När forskarna tittade på problem som tillkommit på plattformen efter 2021 blev siffrorna däremot sämre. Andelen enkla problem som Chat GPT lyckads lösa landade då på 52 procent. Och när det handlade om svåra problem slutade siffran på 0,66 procent.

Är bättre på att åtgärda mänskliga fel än egna fel

uk.pcmag.com

Problem som funnits på plattformen före 2021 var betydligt enklare för GPT 3.5 att lösa

spectrum.ieee.org

Annons

Betalar du för mycket för bredband? Jämför priser på Bredbandsval och sänk din kostnad

Bredbandsval

Omni är politiskt obundna och oberoende. Vi strävar efter att ge fler perspektiv på nyheterna. Har du frågor eller synpunkter kring vår rapportering? Kontakta redaktionen

Ledare: Politikerna pratar inte om AI – det är för deprimerande

Det är fortfarande den senaste tidens stora politiska avslöjanden som tar upp merparten av utrymmet på ledarsidorna, men på torsdagen har också en liten text om AI lyckats ta sig in.

I går 12.36

En man vinkar till en AI-version av Nvidia-chefen Jensen Huang.

Matematiker oroliga när AI knäcker värstingproblem

En grupp med 16 framstående matematiker har lanserat ett upprop som varnar för hur AI riskerar att förändra matematikens villkor, rapporterar New York Times. Uppropet går under namnet Leidendeklarationen och kommer efter att Open AI använt en AI-modell för att lösa ett 80 år gammalt matematiskt problem.

5 juni, 09.12

Instagramkonton kapade med hjälp av Metas AI-support

Hackare säger sig ha kunnat kapa Instagramkonton genom att be Metas egen AI-supportchatt om hjälp, rapporterar 404 Media. Metoden gick ut på att angriparen helt enkelt bad chattboten att koppla en ny mejladress till ett visst användarnamn.

2 juni, 09.10

Källor: Walmart tvingas ransonera AI till anställda

Walmart begränsar de anställdas användning av AI-verktyget Code Puppy efter hög efterfrågan, uppger källor för Bloomberg. Tidigare hade medarbetarna obegränsad tillgång, men får nu en bestämd mängd AI-tokens för att använda verktyget.

1 juni, 21.52

Utvecklingen av AI Forskning & vetenskap Chat GPT It, Informationsteknologi Data, it & högteknologi