Eindgebruiker automatiseren

Genereren van telefoongesprekken

Binnen KPN worden, met behulp van een tool, automatisch ‘call scenario’s’ uitgevoerd. In feite automatiseren zij de handelingen die eindgebruikers uitvoeren bij het voeren van een telefoongesprek. Door de ‘call generator’ worden dagelijks 40.000 telefoontjes gepleegd. Dat wordt gedaan aan de hand van use cases die voor de verschillende diensten en producten zijn opgesteld.

Uitkomst niet multi interpretabel

De tests die door de tool geautomatiseerd worden uitgevoerd zijn opgebouwd op basis van de requirements voor een bepaalde dienst. Hoe SMARTer de requirements, hoe beter er getest kan worden. Bijvoorbeeld: je belt iemand en krijgt een ‘in-gesprek-toon’. Requirement kan dan zijn: Het mag niet langer dan 2 seconden duren voordat je die toon krijgt. Gedurende de hele dag wordt een aantal keren een telefoongesprek opgezet waarbij dit gecontroleerd wordt. Er zijn maar twee uitkomsten mogelijk: geslaagd of niet geslaagd. De uitkomst is niet meer multi interpretabel. Iets werkt wel of niet (meer) zoals gespecificeerd. Van daaruit kan dan verder gezocht worden naar de oorzaak en/of een oplossing.

Human Factor uitgeschakeld

Ervaring van Engelbert en Richard is dat als personen bovenstaande testcases uitvoeren er al snel gezegd wordt: test geslaagd ‘want ik krijg de in gesprek toon’. Ook als het 4 of 5 seconden duurt. Terwijl in de requirements toch duidelijk staat: binnen 2 seconden. Je krijgt door het testen te automatiseren veel objectievere resultaten. Je sloopt als het ware de human factor eruit.

Geen vervelende repetitieve handelingen meer

Als je een persoon van vlees en bloed 50x achter elkaar een testcase laat uitvoeren met 20 stappen, dan is de kans heel groot dat deze niet alle 50x exact hetzelfde doet. Als je het door een computer laat doen is die kans veel groter. Het is dan dus mogelijk om  iedere minuut te toetsen of een verbinding met het netwerk nog werkt. Iedere minuut, 24 uur per dag kan er geautomatiseerd een test-telefoongesprek tot stand gebracht worden om te controleren of  de hele keten nog wel goed functioneert. En indien dit niet het geval is, gaat er ergens direct een belletje rinkelen en kan er gericht actie op ondernomen worden. Zo’n test waarbij een eindgebruiker wordt 100% gelijk en repeterend wordt gesimuleerd is bijna niet door een tester te doen. Het is ook veel gemakkelijker om “alle” testen uit te voeren. Als ze eenmaal geautomatiseerd zijn kun je alle varianten elke dag uitvoeren zolang het maar in die 24 uur past.

Zowel op productie- als op testomgeving

De call generator wordt zowel op de test- als op de productie-omgevingen ingezet. De toepassing is echter heel anders. Op de testomgeving wordt de software gebruikt om te toetsen of hetgeen bedacht is ook daadwerkelijk werkt zoals wordt verwacht: SMART requirements en vaak complexere scenarios. Op de productie-omgeving worden eenvoudiger testscenario’s uitgevoerd, maar dan om te toetsen of de keten  nog operationeel is zoals het zou moeten en er niet toevallig een schakeltje mee gestopt is.

Voordelen op een rij

• Hoge kwaliteit, want minder (menselijke) fouten
• Continu, 24 uur per dag dezelfde tests kunnen uitvoeren
• Hierdoor is ook foutopsporing mogelijk. Je kunt redelijk nauwkeurig bepalen wanneer een probleem zich voor het eerst heeft voorgedaan. Een test van een paar minuten eerder die wel een goed resultaat gaf verkleint het zoekgebied
• Minder vervelend repetitief werk, meer leuk werk voor testers

Je kunt testen op veel manieren automatiseren. Van het toetsen of een netwerkverbinding nog wel werkt en of een server nog bereikbaar is,tot het simuleren van het gedrag van de eindgebruiker. Dat laatste is erg complex en is precies wat Engelbert en Richard toepassen. Dit vereist zeer goede requirements, use cases en de juiste tooling (van Nokia natuurlijk, aldus Engelbert) om succesvol geautomatiseerd het gedrag van eindgebruikers na te kunnen bootsen