Chat GPT bedöms vara ”hyfsat bra” på att koda

Färdigheter i att koda brukar ofta framhållas som en fördel med AI. Därför har ett antal forskare nu låtit genomföra en studie för att utröna hur pass bra Open AI:s Chat GPT egentligen är när det handlar om programmering. Och enligt studien – som publicerats i tidskriften IEEE Transactions on Software Engineering – så är GPT 3.5 ”hyfsat bra”.

Forskarna använde testplattformen Leetcode och utsatte GPT 3.5 för 728 programmeringsproblem i språken C, C++, Java, Javascript och Python. När det handlade om problem som funnits på Leetcode före 2021 så lyckades Chat GPT lösa de enklaste 89 procent av gångerna, de medelsvåra 71 procent av gångerna och de svåra 40 procent av gångerna.

När forskarna tittade på problem som tillkommit på plattformen efter 2021 blev siffrorna däremot sämre. Andelen enkla problem som Chat GPT lyckads lösa landade då på 52 procent. Och när det handlade om svåra problem slutade siffran på 0,66 procent.