Les benchmarks sur l’IA générative sont largement utilisés par les sociétés, mais veulent-ils dire quelque chose ? Oui, à condition d’avoir l’ensemble des détails et des conditions des tests, qui ne sont que rarement mis en avant. La prudence est donc de mise.

Les modèles d’IA générative se succèdent à un rythme important, avec pléthore de chiffres et de benchmarks à chaque fois pour montrer à quel point chaque nouvelle génération bat la précédente et écrase la concurrence. Mais, ces chiffres sont-ils fiables ?

Pour le savoir, nous avons examiné plus d’une dizaine de communiqués et billets de blog d’OpenAI et d’Anthropic,...