ChatGPT améliore les performances des consultants… surtout les pires

L’enquête a été menée par l’Université Harvard et le Massachusetts Institute of Technology. Ils ont examiné l’efficacité des consultants du Boston Consulting Group, avec ou sans ChatGPT.

Selon une étude menée par l’Université Harvard et le MIT, les consultants du Boston Consulting Group (BCG) ont constaté une augmentation significative de 40 % de la qualité de leur travail avec ChatGPT. L’étude en question a été menée auprès de 758 consultants du cabinet de conseil américain. Un groupe utilisant ChatGPT a été comparé à un groupe témoin n’utilisant pas l’IA conversationnelle d’OpenAI. La différence de 40 % est mesurée en fonction du niveau de qualité du travail fourni (voir tableau ci-dessous).

L’étude a confié au comité 18 tâches dans des domaines très divers : proposer 10 nouveaux produits dans un domaine particulier, analyser un segment de marché, rédiger un communiqué de presse, ou encore produire une note inspirante expliquant pourquoi le produit est supérieur à la concurrence. Dans le détail, les conseillers qui utilisent ChatGPT enquêtent généralement 12,2 % de tâches en plus Par rapport à celui du groupe témoin. Ils accomplissent également des tâches 25% fois plus rapide. En général, ils réalisent ces tâches en utilisant… Qualité 40% supérieuretoujours par rapport au groupe témoin.

Il est intéressant de noter que l’étude montre qu’historiquement, les conseillers les moins performants sont ceux qui constatent les gains les plus importants lorsqu’ils commencent à utiliser ChatGPT. Pour mesurer ce critère, l’étude a évalué les performances des consultants sur la base de tests avant de mettre ChatGPT entre leurs mains. Le résultat : ceux qui ont obtenu les pires résultats à ces tests ont vu une augmentation de 43 % de la qualité de leur produit final après avoir utilisé ChatGPT.

Les conseillers historiquement sous-performants sont ceux qui voient les gains les plus importants avec ChatGPT

Une autre leçon est que l’étude révèle que les personnes qui utilisent ChatGPT pour des tâches pour lesquelles elles ne sont pas bonnes sont plus susceptibles de commettre des erreurs. Pourquoi ? Parce qu’ils font souvent confiance à l’IA alors qu’ils ne devraient pas le faire.

A l’inverse, certains conseillers semblent mieux utiliser ChatGPT que d’autres. Ils ont réussi à faire des allers-retours délicats entre l’IA et le travail humain pour combiner efficacement les atouts des deux. Certains de ces profils, que l’étude a baptisés « centaures », ont une idée claire des frontières entre humain et machine, alternant intelligence artificielle et tâches humaines, en fonction des forces et capacités perçues de chacun. En revanche, d’autres (des profils que Harvard et le MIT appellent Cyborgs) combinent les capacités de la machine et de l’humain pour la plupart des tâches qu’ils accomplissent.

Selon l’étude, les Centaures représentent les profils les plus matures dans l’utilisation de ChatGPT. Ils ont appris à assigner des tâches spécifiques à l’IA, par exemple résumer des entretiens et autres actions créatives, tout en consacrant leurs compétences humaines à des tâches plus connexes, par exemple le traitement des données ou la gestion du changement. Cependant, il vaudrait mieux être un cyborg dans certains cas d’utilisation qui impliquent un mélange étroit de compétences humaines et d’IA. La version GPT-4 de ChatGPT a été utilisée dans cette enquête.