L’erreur de communication de certaines ESN sur ce qu’apporte l’IA au test logiciel

Récemment, PAC assistait à une conférence d’une ESN reconnue et mondiale. Le conférencier, un responsable des équipes européennes, évoquait les gains de productivité apportés par les LLMs. Sur les tests logiciels, ce responsable n’a pas hésité à évoquer des gains de productivité de 50%. Un objectif certes ambitieux et captant l’attention, mais aussi incomplet et ne traitant pas de la transformation, et de l’avenir des équipes de test.

Explications… Les tests fonctionnels représentent environ 70% des dépenses de test logiciel. Ces tests fonctionnels sont structurés autour d’un processus central : les spécifications du client/cas des test/scripts et deux activités de support essentielles : les l’environnement de test et les données de test. Ce processus, simple en apparence, est coûteux et si la création de scripts demande du travail, leur maintenance l’est encore plus. Malgré trois décennies d’investissement dans les logiciels, le test fonctionnel reste une activité exigeante en spécialistes d’automatisation.

C’est là que les LLMs interviennent. Leur utilisation pour automatiser le processus spécifications-cas-scripts est bluffant. A l’aide d’un simple prompt, sans besoin d’ajouter un contexte de type RAG, les LLMs créent en quelques secondes des scénarios, cas, et scripts de test. Cette approche dite « greenfield » (où les artefacts de test sont générés indépendamment de l’existant client) a ses intérêts et est accessible à n’importe quel testeur, qu’il soit ingénieur informatique ou pas. Pour cela, les donneurs d’ordre n’ont pas besoin de l’aide d’une ESN.

Là où les ESN peuvent apporter de la valeur ajoutée est ailleurs. Quelques exemples :

• Tout d’abord, par une approche « brownfield », en tenant compte de l’existant client. Certaines banques (le secteur financier est de loin le plus grand utilisateur des services de test) ont 20 à 30 000 artefacts de test. Ces artefacts sont à la fois une richesse de l’entreprise (captant les besoins spécifiques à l’entreprise) et une dette (dans la mesure où ces artefacts sont partiellement documentés et à jour). Une approche plus pertinente des LLMs en entreprises est donc d’utiliser leurs capacités incroyables tout en tirant un bénéfice des investissements passés et non de faire tabula rasa.
• En apportant une évaluation des LLMs et une veille technique. Choisir un LLM n’est pas facile et leur évolution est trop rapide pour les entreprises qui n’ont généralement pas les ressources . Les critères d’évaluation des LLMs doivent aller au-delà de leur exactitude (et robustesse, exactitude et éthique), et aussi inclure le coût de ces outils. Bien avant les hausses de tarifs des grands de la technologique, la notion de FinOps avait déjà émergé. Ce sera sans doute le cas pour l’IA générative.
• Le vrai sujet, l’éléphant dans la pièce comme diraient nos amis anglophones, est celui du futur des équipes de test. Comment les donneurs d’ordre vont-ils pouvoir gérer le passage à des équipes moins nombreuses ? Les départs naturels et la formation seront-ils suffisants ? Ou les clients en profiteront-ils pour augmenter le périmètre de leurs activités de test vers des activités spécialisées telles l’expérience utilisateur/UX ?

Au-delà de ces besoins, le défi est de s’adapter à la rapidité du changement technologique. Les agents AI pointent déjà le bout de leur nez et permettront de passer du cycle spécifications-scénarios/cas-scripts à leur exécution. Et là, c’est le brouillard. Les agents sont encore trop récents et leur développement s’accélère. Les ESN sont bien placées pour en parler, si elles investissent dans le sujet et si elles tiennent un discours honnête, loin des promesses sur-vitaminées de certains hyperscalers.

PAC a récemment publié une étude sur l’impact des LLMs sur le test logiciel “Large Language Models (LLMs) for Testing: Unprecedented Gains Ahead” [accès abonnés]. Vous n’êtes pas client et souhaitez acquérir cette étude ? contactez nous !