Que sont les Vanity Metrics ?
La vanité, en tant qu'adjectif, signifie "produit comme une vitrine pour ses talents" - c'est-à-dire une production de vanité. Lorsque nous mettons en valeur nos propres talents, nous choisissons ce qui nous met en valeur et ignorons ce qui ne l'est pas.
Dans ce billet, nous allons examiner une équipe d'exploitation informatique qui est prise dans une situation intéressante, bien que pas rare, impliquant des mesures de vanité. Ensuite, j'aborderai les dangers des mesures de vanité, et je présenterai un test rapide que vous pouvez faire pour évaluer vos propres mesures de succès.
Un exemple d'opérations informatiques : Les cinq 9's
Chad est administrateur système dans l'équipe des opérations informatiques d'une grande entreprise locale. Son responsable dit qu'un temps de disponibilité du système de cinq 9 (99.999%) uptime) est le saint Graal de toute équipe d'exploitation informatique qui se respecte. Dans cette optique, l'équipe de Chad mesure le temps de disponibilité du système pour chaque service comme une mesure principale de la réussite.
The web server hosting their company’s e-commerce site is only experiencing 98.5% uptime, and customers are complaining about outages while sales continue to slow. When the IT Ops team looks at the information they have gathered, they notice that 75 % of the downtime is happening around the time that the overnight scripts run. Chad determines that there is something in that script, or the data it uses, that brings the server down.
En découvrant cette information, l'équipe va immédiatement de l'avant pour résoudre cet obstacle embarrassant à leur temps de fonctionnement. S'ils parviennent à résoudre ce problème, l'équipe de Chad pourra alors dire qu'ils ont eu un temps de disponibilité plus élevé, ce qui atténuera sûrement les plaintes des clients, ramènera les ventes à leur niveau normal et rendra la direction heureuse !
Une semaine plus tard, le correctif a été testé et déployé. Après un certain temps de surveillance des changements dans l'environnement de production, Chad et son équipe remarquent que les chiffres de temps de fonctionnement du système sont en effet nettement plus élevés, mais que, pour une raison étonnante, les plaintes des clients sont toujours au même niveau. Comment est-ce possible ?
Stymed, ils font un peu plus de recherche sur les habitudes des clients sur leur site et réalisent que la plupart des temps d'arrêt qu'ils avaient n'avaient pas vraiment d'impact sur le client, car ils se produisaient lorsque leurs clients dormaient - le trafic sur le site était donc minime. Même s'ils ont supprimé beaucoup de temps d'arrêt, cette réduction n'a rien fait pour améliorer l'expérience de leurs clients. Une semaine de travail en moins, des clients toujours mécontents et des ventes qui n'ont pas augmenté.
L'équipe est confuse et la direction est frustrée. Comment peuvent-ils faire mieux sur leur principale mesure de réussite, mais ne pas voir d'amélioration là où cela compte ? Ils sont amenés à s'interroger sur la validité de l'objectif des cinq 9.
Comment repérer une métrique fantaisiste
Malheureusement, la situation à laquelle Chad et son équipe sont confrontés n'est pas rare. Ils ont foncé tête baissée dans la redoutable métrique de la vanité. Toutes sortes d'équipes sont la proie des mesures de vanité, des équipes de marketing aux équipes d'exploitation informatique comme celle de Chad. Cependant, il existe quelques moyens universels d'identifier ces paramètres dangereux, quel que soit le type d'équipe dans lequel nous nous trouvons.
Une caractéristique commune des mesures de vanité est qu'elles mesurent souvent l'activité au lieu du progrès. Ces types de mesures de vanité peuvent également être appelés mesures de productivité. Ces types de mesures se trouvent à l'intérieur de nombreux systèmes de suivi du travail - une raison pour laquelle tant de gens en sont la proie.
À moins que nous ne soyons dans une usine en train d'estamper le même article encore et encore, les mesures de productivité comme le "nombre de tickets fermés" ne mesurent pas la valeur livrée. Nous voulons mieux comprendre l'impact des personnes qui ferment ces billets. Nous ne sommes pas dans le domaine de la production, nous nous occupons de la création et la création a une variation nécessaire que ces métriques traitent comme du gaspillage. Méfiez-vous de toute mesure qui commence par "# de".
Le test "Et alors ?" Test
Malheureusement, tous les indicateurs de vanité ne sont pas aussi facilement identifiables par leur nom. Mais il existe encore un moyen de les démasquer. Le signe révélateur de toute mesure de vanité est qu'elle ne passe pas le test du "Et alors ?". Toute mesure peut provoquer une réaction, mais votre mesure entraîne-t-elle des actions qui font progresser vos objectifs réels ? Une métrique significative doit pouvoir répondre de manière affirmative à l'une de ces deux questions essentielles :
- Cette métrique est-elle importante pour mon client ?
- Est-ce que cela me pousse à agir ou m'aide à prendre une décision ?
Si la réponse est non à ces deux questions, vous avez affaire à une métrique de vanité qui ne vaut pas votre temps.
Les dangers des métriques de la vanité
Les métriques de la vanité ne font pas que nous faire perdre notre temps, elles peuvent être trompeusement dangereuses. Nous, les humains, sous-estimons notre désir inné d'optimiser notre comportement pour atteindre les objectifs qui nous sont présentés. Même la personne la mieux intentionnée peut être tentée de fermer un ticket un peu plus tôt que prévu en raison de l'envie de cocher quelque chose sur une liste et de se sentir productive. Finir les choses est un objectif noble. Pouvez-vous imaginer ce qui risque de se produire si vous commencez à utiliser une mesure comme le "nombre de tickets fermés" comme incitation salariale ?
Danger #1 : Optimiser les chiffres, pas l'apport de valeur
Comme l'a dit Eli Goldratt, "Dites-moi comment vous me mesurerez et je vous dirai comment je me comporterai". Mesurer les gens sur le nombre de tickets fermés les encourage à faire de leur mieux pour fermer les tickets le plus rapidement possible. Bien que cela semble bon à première vue, faites attention à ce que vous souhaitez : Transformer des mesures de vanité en objectifs est une pente glissante. Nous commençons à optimiser les chiffres à tel point qu'au fil du temps, nous perdons de vue l'objectif initial, qui est de fournir de la valeur. Maintenant, nous faisons tout ce que nous pouvons pour en livrer davantage, même si les choses que nous livrons n'ont aucune valeur. Goldratt a parfaitement expliqué cela lorsqu'il a poursuivi en disant : "Si vous me mesurez de manière illogique, ne vous plaignez pas d'un comportement illogique."
Danger #2 : Blâmer les gens, pas le problème
Ce que nous mesurons montre aux gens ce à quoi nous accordons de l'importance, et mesurer des paramètres de vanité nous rend plus susceptibles d'encourager un comportement qui ne favorise pas nos objectifs déclarés. Lorsque cela se produit, nous commençons à nous demander pourquoi les personnes qui nous entourent sont si inefficaces. La dure vérité : nous ne pouvons pas mesurer l'efficience et espérer qu'elle nous renseigne sur notre efficacité. La mesure de paramètres de vanité nous rend plus susceptibles de créer des problèmes de système qui sont interprétés à tort comme des problèmes de personnes.
"Les personnes dont les objectifs et les emplois dépendent de leur réalisation atteindront probablement les objectifs - même s'ils doivent détruire l'entreprise pour y parvenir."
- W. Edwards Deming
Des mesures significatives
Après que l'équipe de Chad ait appris à la dure le concept des mesures de vanité, elle mesure toujours le temps de fonctionnement du système, mais maintenant elle le mesure dans le contexte spécifique de l'impact sur le client. Lorsque des problèmes affectant le temps de fonctionnement surviennent, ils sont classés par ordre de priorité en fonction de l'impact potentiel sur le client. Cette métrique permet à l'équipe de Chad de prendre de meilleures décisions concernant son travail.
L'équipe de Chad a soumis ses autres mesures de réussite au test "Et alors ?". Voici quelques mesures qui ont réussi :
MTTR (Mean Time To Recovery) - Consciente que la prévention n'est pas toujours possible, l'équipe s'efforce d'affiner l'art de répondre aux temps d'arrêt afin que, lorsque le client est touché, elle puisse en minimiser les retombées. Combien de temps vous faut-il pour vous remettre d'une catastrophe ?
Délai de déploiement - Lorsqu'une modification de code est prête à être déployée, combien de temps faut-il pour que cette modification parvienne à l'utilisateur final ? Les équipes IT Ops comme celle de Chad ont souvent un rôle important à jouer dans ce processus. L'observation de cette tendance peut vous aider à réagir rapidement aux problèmes internes qui vous empêchent de répondre rapidement aux commentaires des clients. Les boucles de rétroaction rapides sont essentielles pour fabriquer des produits de qualité qui sont pertinents pour le marché.
Incidents par service - Cette mesure permet à l'équipe de suivre quel service/application a le plus de problèmes signalés. Si un service rapporte constamment un nombre élevé d'incidents, cela vous indique deux choses : 1) quelqu'un s'en préoccupe et 2) vous avez intérêt à veiller à ce que le service reçoive une certaine attention dans l'espoir de réduire le temps que votre équipe consacre aux incidents à l'avenir.
Répartition du temps passé - Combien de temps l'équipe passe-t-elle à éteindre des incendies, à travailler sur des projets, à traiter les demandes d'amélioration des clients ou à faciliter le travail de l'équipe ? Nous avons souvent des attentes qui ont besoin d'être vérifiées. Cette mesure vous indique quand vous devez régler les problèmes à l'origine d'un déséquilibre ou réinitialiser vos attentes.
Mettez vos métriques à l'épreuve
Si vous voulez suivre l'exemple de Chad, vous pouvez commencer à débarrasser votre équipe ou votre organisation des mesures de vanité en.. :
- Identifier l'inventaire complet des métriques
- Comprendre l'intention derrière chaque métrique
- Soumettre chaque métrique au test "Et alors ?
- Suppression ou réparation de toute métrique ayant échoué au test
- Établir une compréhension commune des critères pour les nouvelles mesures
De bonnes mesures donnent en fait un aperçu du succès de l'équipe et, comme chaque équipe est différente, ce dont votre équipe a besoin pour mesurer son succès peut varier de ce dont les autres équipes ont besoin. Cependant, vous savez que vous êtes sur la bonne voie lorsque vos mesures ont une relation causale, plutôt que corrélative, avec vos objectifs.
Gardez un œil sur le prochain article de cette série où nous partagerons les trois mesures les plus importantes que les équipes d'exploitation informatique devraient mesurer.
![Un plan de gestion du travail collaboratif mondial [Vidéo] (en anglais)](https://blog.planview.com/wp-content/uploads/2019/07/A-Global-Collaborative-Work-management-blueprint.png)
