Metriken für das Testreporting (eBook)

Frank Witte verfügt über langjährige Erfahrung im Softwaretest in unterschiedlichen Unternehmen und Branchen. Dabei steht er immer wieder vor der Herausforderung, Fortschritte, aber auch Probleme im Testprozess der Projektleitung und dem Management zu präsentieren und im Reporting seine Ergebnisse mit Hilfe von Zahlen auf den Punkt zu bringen.

Vorwort 6
Inhaltsverzeichnis 13
1: Definition, Historie und Nutzen von Metriken 15
1.1 Kriterien für Metriken 16
1.2 Gütekriterien für Metriken 16
1.3 Erfolgskriterien für Metriken 17
1.4 Validierung von Maßen 17
1.5 Probleme im Softwareentwicklungsprozess 18
1.6 Historie der Testmetriken 18
1.7 Schritte zum Aufsetzen von Testmetriken 19
1.8 Lifecycle von Testmetriken 20
Literatur 20
2: Klassifizierung von Metriken 21
2.1 Kennzahlen 21
2.2 Indikatoren 23
2.3 Klassifizierung von Testmetriken 23
2.4 Klassifizierung nach IEEE-Standard 1061 27
Literatur 29
3: Komplexitätsmaße 30
3.1 Bewertung der Projektkomplexität 30
3.2 Berechnung der Projektkomplexität 32
3.3 Halstead-Metrik 33
3.4 Anzahl der ausgelieferten Bugs (B) 37
3.5 McCabe-Metrik (zyklomatische Komplexität) 38
3.6 Komplexitätsmaß nach Rechenberg 40
3.7 Maintainability Index 41
3.8 Hybride Metriken 42
3.9 Objektorientierte Softwaremetriken 42
3.10 Number of children (NOC) 43
3.11 RFC (Response for a class) 43
3.12 CBO (coupling between objects) 44
3.13 CBC (coupling between classes) 44
3.14 LCOM (lack of cohesion on methods) 44
3.15 WMC (weighted methods per class) 44
3.16 Kiviat-Diagramme 45
3.17 Metriken für die Verifikation des Testdesigns und Bewertung des Testprozesses 46
Literatur 47
4: Normen und Standards für Messungen 48
4.1 PSM – Practical Software and Systems Measurement 48
4.2 ISO/IEC15939 Software-Messprozess 49
4.3 ISO14598 49
4.4 CMMI-Prozessbereich Messung und Analyse 50
4.5 Messen mit ISO15504 und Automotive SPICE ® 50
4.6 Analysemethoden 52
4.7 Hilfsmittel der Analyse 53
4.8 Quality Improvement Paradigm (QIP-Modell) 57
Literatur 58
5: Verwendung unterschiedlicher Darstellungen 59
5.1 Achsendiagramme 60
5.2 Blockdiagramme 64
5.3 Gestaltung des Reportings 64
Literatur 65
6: Einsatz von Metriken 66
6.1 Metriken und Software-Industrialisierung 68
Literatur 70
7: Softwaremetriken 71
8: Metriken für die Softwarequalität 73
8.1 Eigenschaftsbaum von Boehm 73
8.2 Funktionsmessung nach Gilb 75
8.3 Qualitätsmatrix nach McCall 77
8.4 Automatisierte Qualitätsmessung 79
Literatur 80
9: Anforderungsbasierte Testmetriken 81
9.1 Anforderungen/spezifizierte Anforderungen 82
10: Metriken zur Aufwandsschätzung 85
10.1 Bewertung der Testbarkeit und der Testkomplexität 85
Literatur 89
11: Metriken zur Testvorbereitung und -nachbereitung 90
12: Metriken zur Testplanung 92
Literatur 95
13: Metriken für unterschiedliche Teststufen 96
13.1 Testen auf Modulebene 96
13.2 Testen auf Integrationsebene 97
13.3 Testen auf Systemebene 97
14: Metriken zur Messung der Testüberdeckung 100
14.1 Konzeptüberdeckung 100
14.2 Benutzerhandbuchüberdeckung 100
14.3 Codeüberdeckung 101
14.4 Entwurfsüberdeckung 101
14.5 Modulüberdeckung 101
14.6 Architekturüberdeckung 101
14.7 Datenüberdeckung 102
14.8 Funktionsüberdeckung 102
14.9 Testabdeckungskenngrößen 103
14.10 Testfallüberdeckung 103
14.11 Testfallvollständigkeit 104
14.12 Lines of Code 104
14.13 Zuverlässigkeit als zentrale Testmetrik 106
14.14 Function-Point-Analyse (FPA) 106
14.15 Use Case Points 109
14.16 Test Case Points 110
14.17 Systematisches und deterministisches Testen 112
14.18 Testabdeckungsmetriken 114
14.19 Stochastisches Testen 115
Literatur 115
15: Testfallbasierte Metriken 116
15.1 Chapin-Q-Metrik 117
15.2 Testdatendichte 118
15.3 Testdatenvolumen 118
15.4 Testfalleffizienz 119
15.5 Testfallwiederverwendbarkeit 119
15.6 Testüberdeckung 119
15.7 Testkonformität 119
15.8 Testdesignverhältnis 120
15.9 Testabdeckung 120
Literatur 122
16: Testobjektbasierte Metriken 123
16.1 Codeabdeckung 123
16.2 Dialogabdeckung 124
16.3 Installationsvarianten 124
16.4 Überdeckungsmaße 124
16.5 Anweisungsüberdeckung 125
16.6 Entscheidungs-/Zweigüberdeckung 125
16.7 Pfadüberdeckung 125
16.8 Bedingungsüberdeckung 126
16.9 Tests im Black-Box-Verfahren 127
16.10 Testfortschrittsmetrik 129
Literatur 131
17: Metriken zur Testdurchführung 132
Literatur 135
18: Metriken für Performance- und Lasttests 136
18.1 Requests per Second 136
18.2 Prozessorauslastung 137
18.3 Queued Requests 137
Literatur 139
19: Metriken zur Testautomatisierung 140
20: Kostenbasierte Testmetriken 143
20.1 Testaufwand 144
21: Testproduktivitätsmetriken 146
Literatur 148
22: Goal Question Metric 149
22.1 ISO9126 152
Literatur 154
23: Fehlerbasierte Testmetriken 155
23.1 Fehlerklassen 156
23.2 Fehler im Zeitverlauf 157
23.3 Metriken zu Risiken 158
23.4 Prognosen zum Fehlerabbau 159
23.5 Beispiele für Metriken zum Fehlerabbau 160
23.6 Fault Seeding-Methode 163
23.7 Laufender Durchschnitt der Fehler 164
23.8 Fehler per Projektphase 166
23.9 Testqualitätsmetrik 167
23.10 Vertrauensgrad 168
23.11 Escape Defects 169
Literatur 171
24: Metriken für Testdokumente 173
24.1 Reviews 173
24.2 Status der Dokumente 174
25: Metriken für Usability-Tests 176
25.1 A/B-Testing und Multivariate Testing 180
Literatur 181
26: TPI Next 182
26.1 Kriterien für die Reifegrade 185
26.2 Testreifematrix 186
26.3 Reifegrade pro Kriterium 188
26.4 Metriken bei TPI Next 191
Literatur 195
27: Metriken für Testendekriterien 196
27.1 Fehler pro Zeiteinheit 197
Literatur 199
28: Metriken und Testreporting 200
28.1 Sichtweisen beim Testreporting 200
28.2 Zeitraum der Betrachtung 201
28.3 Historie von Metriken anpassen 202
28.4 Metrik fehlerhaft 202
28.5 Probleme bei der Testfortschrittsbetrachtung 204
28.6 Andere Betrachtungszeiträume 204
28.7 Empfohlener Reporting-Rhythmus 205
28.8 Zusammenfassung von Metriken in einer Metrik 206
28.9 Sonstige Metriken 207
28.10 Projektampel 208
Literatur 209
29: Vergleich von Testmetriken 210
29.1 Vergleich unterschiedlicher Metriken 211
29.2 Standardisierung von Testmetriken 211
29.3 Nicht mehr benötigte Metriken 213
29.4 Steigende Datenfülle 213
Literatur 215
30: Problemlösung für den Einsatz von Testmetriken im Testbetrieb 216
30.1 Anzahl der verwendeten Metriken 217
30.2 Auswahl von Metriken 217
30.3 Erweiterung von Metriken 218
30.4 Realistische Prognosen erstellen 218
30.5 Nachträgliche Änderung von Werten 219
30.6 Evaluierungs-Framework für Metriken 219
30.7 Sinnlose Korrelationen 220
Literatur 222
31: Wirkung beim Reporting mit Hilfe von Testmetriken 223
31.1 Manipulative Wirkung von Statistiken 230
31.2 Relative Werte 230
31.3 Arithmetisches Mittel 230
31.4 Getrickste Grafiken 231
Nachwort 234
Weiterführende Literatur 239
Stichwortverzeichnis 240