Vad är Vanity Metrics?
Evanitet som adjektiv betyder "producerad som ett skyltfönster för ens talanger" - dvs. en produktion av fåfänga. När vi visar upp våra egna talanger väljer vi vad som får oss att se bra ut och ignorerar det som inte gör det.
I det här inlägget tittar vi på ett IT-driftsteam som har hamnat i en intressant, om än inte ovanlig, situation som involverar fåfänga mätvärden. Sedan diskuterar jag farorna med fåfänga mått och presenterar ett snabbt test som du kan göra för att utvärdera dina egna framgångsmått.
Ett exempel på IT-verksamhet: De fem 9s
Chad är systemadministratör i ett IT-driftsteam på ett stort lokalt företag. Hans chef säger att en systemupptid på fem 9s (99.999%) Upptid) är den heliga graalen för varje IT-Ops-team med respekt för sig själv. Med detta i åtanke mäter Chads team systemets drifttid för varje tjänst som ett primärt mått på framgång.
Webbservern som är värd för företagets e-handelswebbplats har endast 98.5% tillgänglighet, och kunderna klagar på avbrott samtidigt som försäljningen fortsätter att sjunka. När IT-Ops-teamet tittar på den information de har samlat in märker de att 75 % av driftstoppet inträffar vid den tidpunkt då skriptet för natten körs. Chad fastställer att det är något i skriptet, eller i de data som det använder, som gör att servern inte fungerar.
När de får reda på den här informationen går teamet omedelbart vidare för att lösa detta pinsamma hinder för deras drifttid. Om de kan åtgärda detta kan Chads team säga att de har en högre drifttid, vilket säkert skulle minska kundernas klagomål, få försäljningen att återgå till normala nivåer och göra ledningen nöjd!
En vecka senare har korrigeringen testats och distribuerats. Efter att ha övervakat förändringarna i produktionsmiljön under en tid märker Chad och hans team att systemets drifttid faktiskt är betydligt högre, men att kundklagomålen av någon förbluffande anledning fortfarande kommer in på samma nivå. Hur kan detta vara möjligt?
De blev förvirrade och gjorde lite mer forskning om kundmönstret på deras webbplats och insåg att de flesta av nedtiderna inte påverkade kunderna, eftersom de inträffade när kunderna sov - så trafiken till webbplatsen var minimal. Även om de tog bort en hel del av driftstoppet gjorde det inget för att förbättra kundernas upplevelse. En veckas arbete har gått åt pipan, kunderna är fortfarande upprörda och försäljningen har inte ökat.
Laget är förvirrat och ledningen är frustrerad. Hur kan det vara möjligt att de gör bättre ifrån sig på sitt primära mått på framgång, men inte ser några förbättringar där det är viktigt? De ifrågasätter om målet med fem 9s är giltigt.
Hur man upptäcker en vanity metric
Tyvärr är den situation som Chad och hans team befinner sig i inte ovanlig. De har sprungit huvudstupa in i den fruktade vanity-metrin. Alla typer av team faller offer för fåfänga mätvärden, från marknadsföringsteam till IT-driftsteam som Chads team. Det finns dock några universella sätt att identifiera dessa farliga mätvärden oavsett vilken typ av lag vi är i.
Ett vanligt kännetecken för fåfänga mått är att de ofta mäter aktivitet i stället för framsteg. Dessa typer av vanity metrics kan också kallas produktivitetsmått. Den här typen av mätvärden finns i många system för spårning av arbete, vilket är en av anledningarna till att så många människor faller offer för dem.
Om vi inte befinner oss i en fabrik som tillverkar exakt samma produkt om och om igen, kan produktivitetsmått som "antal avslutade ärenden" inte mäta det värde som levererats. Vi vill bättre förstå vilken inverkan de personer som avslutar dessa biljetter har haft. Vi sysslar inte med produktion, vi sysslar med skapande, och skapande har nödvändiga variationer som i dessa mätmetoder betraktas som avfall. Var försiktig med alla mått som börjar med "# of".
"Än sen då?" Testet
Tyvärr är det inte alla vanity metrics som är lika lätta att identifiera med namnet. Men det finns fortfarande ett sätt att ta reda på dem. Ett tecken som avslöjar alla fåfänga mått är att de inte klarar testet "Och?". Alla mätvärden kan orsaka en reaktion, men leder dina mätvärden till åtgärder som främjar dina faktiska mål? Ett meningsfullt mått bör kunna ge ett positivt svar på en av dessa två viktiga frågor:
- Spelar det här måttet någon roll för min kund?
- Drivs jag till att agera eller hjälper jag till att fatta ett beslut?
Om svaret är nej på båda dessa frågor har du att göra med ett fåfängligt mått som inte är värt din tid.
Farorna med vanitetsmätningar
Fåfänga mätvärden slösar inte bara bort vår tid, de kan vara bedrägligt farliga. Vi människor underskattar vår medfödda önskan att optimera vårt beteende för att nå de mål som vi ställs inför. Även den mest välmenande person kan känna sig frestad att stänga ett ärende lite för tidigt för att han eller hon vill stryka något från en lista och känna sig produktiv. Att avsluta saker och ting är ett ädelt mål. Kan du föreställa dig vad som skulle hända om du började använda ett mått som "antal avslutade ärenden" som ett lönebaserat incitament?
Fara #1: Optimera siffror, inte värdeskapande
Som Eli Goldratt sa: "Säg mig hur du vill mäta mig så ska jag säga hur jag ska bete mig". Att mäta människor på antalet avslutade ärenden uppmuntrar dem att göra sitt bästa för att avsluta ärenden i snabbast möjliga takt. Även om det på ytan låter bra, ska du vara försiktig med vad du önskar dig: Att omvandla fåfänga mätvärden till mål är en glidande bana. Vi börjar optimera så mycket efter siffrorna att vi med tiden förlorar det ursprungliga målet att leverera värde ur sikte. Nu gör vi allt vi kan för att leverera mer, även om det inte finns något värde i det vi levererar. Goldratt förklarade detta perfekt när han fortsatte med att säga: "Om du mäter mig på ologiska sätt, klaga inte på ologiskt beteende".
Fara #2: Skyller på människorna, inte på problemet
Det vi mäter visar människor vad vi värderar, och om vi mäter fåfänga mått är det mer sannolikt att vi uppmuntrar beteenden som inte främjar våra uttalade mål. När det händer börjar vi undra varför människorna runt omkring oss är så ineffektiva. Den hårda sanningen: Vi kan inte mäta effektiviteten och förvänta oss att den ska säga något om vår effektivitet. Att mäta fåfänga mätvärden gör det mer sannolikt att skapa systemproblem som misstolkas som personproblem.
"Människor som har mål och jobb som är beroende av att de uppfylls kommer förmodligen att uppfylla målen - även om de måste förstöra företaget för att göra det."
- W. Edwards Deming
Betydelsefulla mätvärden
Efter att Chads team lärde sig begreppet "vanity metrics" på det hårda sättet mäter de fortfarande systemets drifttid, men nu mäter de den i det specifika sammanhanget av påverkan på kunden. När problem som påverkar drifttiden uppstår prioriteras de utifrån den potentiella påverkan på kunden. Detta mått gör att Chads team kan fatta bättre beslut om sitt arbete.
Chads team utsatte sina andra framgångsmått för ett "Än sen?"-test. Här är några av de mätvärden som godkändes:
MTTR (Mean Time To Recovery) - Med tanke på att det inte alltid är möjligt att förebygga, strävar teamet efter att finslipa konsten att reagera på driftstopp så att de kan minimera konsekvenserna när kunden drabbas. Hur lång tid tar det för dig att återhämta dig efter en katastrof?
Deployment Lead Time - När en kodändring är redo att distribueras, hur lång tid tar det att få ändringen till slutanvändaren? IT-Ops-team som Chads har ofta en viktig roll i den här processen. Om du följer den här trenden kan du hjälpa dig att snabbt reagera på interna problem som hindrar dig från att snabbt reagera på kundernas feedback. Snabba återkopplingsslingor är avgörande för att skapa kvalitetsprodukter som är relevanta för marknaden.
Incidents by Service - Med detta mått kan teamet spåra vilken tjänst/applikation som har flest rapporterade problem. Om en tjänst konsekvent rapporterar ett stort antal incidenter säger det dig två saker: 1) någon bryr sig och 2) det kan vara bra för dig att se till att tjänsten får lite uppmärksamhet i hopp om att minska den tid som ditt team ägnar åt incidenter i framtiden.
Tidsåtgång - Hur mycket tid ägnar teamet åt att släcka bränder, arbeta med projekt, hantera kundernas önskemål om förbättringar eller göra arbetet enklare för teamet? Vi har ofta förväntningar som måste kontrolleras. Detta mått visar dig när du behöver ta itu med problem som orsakar obalans eller ompröva dina förväntningar.
Testa dina mätvärden
Om du vill följa Chads exempel kan du börja befria ditt team eller din organisation från fåfänga mätvärden genom att:
- Identifiering av hela inventeringen av mätvärden
- Förstå avsikten bakom varje mått
- Att låta varje mått testas med "Än sen då?".
- Ta bort eller reparera mätvärden som inte klarade testet.
- Upprätta en gemensam förståelse för kriterierna för nya mätvärden.
Bra mätvärden ger faktiskt en inblick i hur teamet lyckas, och eftersom varje team är olika kan det som ditt team behöver mäta för att lyckas skilja sig från vad andra team behöver. Du vet dock att du är på rätt väg när dina mätvärden har ett kausalt, snarare än korrelativt, förhållande till dina mål.
Håll utkik efter nästa inlägg i den här serien där vi kommer att dela med oss av de tre viktigaste mätvärdena som IT-operatörsteam bör mäta.
![En global plan för hantering av samarbetsarbete [Video]](https://blog.planview.com/wp-content/uploads/2019/07/A-Global-Collaborative-Work-management-blueprint.png)
