AI scoort hoog op benchmarks, maar struikelt over bedrijfscode
Real-SWE test AI-codeeragents op echte, private bedrijfscode. Zelfs de beste lost minder dan de helft van de taken op. Wat dat zegt over benchmarkcijfers.
Tag
#real-swe
1 artikel
Tag
1 artikel
Real-SWE test AI-codeeragents op echte, private bedrijfscode. Zelfs de beste lost minder dan de helft van de taken op. Wat dat zegt over benchmarkcijfers.