Warum Tests und Übungen?

Wenn die Urlaubssaison anbricht steigen viele von uns mit großem Vertrauen in ein Flugzeug, das uns in weit entfernte exotische Urlaubsziele bringt. Ein großer Teil des Vertrauens, das wir der überaus komplexen Technik entgegenbringen, ist im Wissen darüber begründet, dass

• alle wichtigen Komponenten mehrfach redundant ausgelegt sind,
• die komplizierte Technik laufend gewartet und repariert wird,
• den Piloten für auftretende Störungen bewährte und getestete Notfallverfahren zur Verfügung stehen,
• die Piloten regelmäßig diese “Procedures” üben und „im Schlaf beherrschen“.

Dieses gleiche Vertrauen möchten wir natürlich auch gerne der Notfallplanung in unserer Organisation entgegenbringen können.

In einer zeitaufwändigen Business Impact Analyse sind daher die kritischen Prozesse des Unternehmens mit den erforderlichen Ressourcen identifiziert worden. Für Gebäude, Mitarbeiter, IT-Anwendungen, technische Anlagen, Dokumente und Dienstleister wurden Notfallkonzepte für deren Ausfall erstellt. Verfahren für die Einleitung eines Notbetriebs und den Wiederanlauf in den Normalbetrieb sind in Notfallplänen dokumentiert. Viele Seiten an Notfallplänen dokumentieren eine gut geplante Notfallvorsorge. Jetzt kann der Notfall kommen, denn wir sind ja gut gerüstet!

Würden wir in ein Flugzeug steigen, wo neben dem Kopiloten ein mehrhundertseitiger verstaubter Ordner mit Notfallchecklisten liegt, der nie auf Funktionsfähigkeit getestet wurde und den die Piloten nur von außen kennen? Wohl kaum. Leider ist diese Situation in vielen Unternehmen häufig die Normalität. Dabei ist das Testen und Üben die Königsdisziplin im Business Continuity Management. Hier zeigt sich die wahre Qualität der Notfallvorsorge – und nicht im Umfang der Notfallpläne. Nicht umsonst werfen Prüfer, Aufsichtsorgane und Kunden mittlerweile einen strengen Blick auf die durchgeführten Tests und Übungen, um sich einen Einblick in den Reifegrad des BCM zu verschaffen.

Inhalte von Tests und Übungen

Die Notfallvorsorge besteht aus

• Technischen und organisatorischen Maßnahmen,
• Prozeduren und Verfahren für den Notbetrieb und Wiederanlauf in den Normalbetrieb,
• Erkennungs-, Alarmierungs- und Eskalationsverfahren,
• Krisenmanagementorganisation und -prozesse.

Tests haben ein Testergebnis wie „ja/nein“, „erfolgreich/nicht erfolgreich“ oder eine Schulnote zum Ergebnis. Sie sind daher das geeignete Überprüfungsinstrument, um messbare Verfahren und Prozeduren zu bewerten.

Beispiele hierfür sind:

• Erreichbarkeitszeit für Mitglieder des Krisenstabs im Rahmen der Alarmierung,
• Zeitdauer für die vollständige Evakuierung eines Gebäudes nach einem Alarm,
• Bereitstellungszeit für redundante technische Lösungen (Bsp. Stromversorgung),
• Zeitdauer bis zur Inbetriebnahme der Prozesse an einem Ausweichstandort.

Bei Übungen geht es in Abgrenzung zu Tests darum, Verfahren und Prozeduren auf Funktionsfähigkeit zu testen und die Beteiligten in den Verfahren zu trainieren, so dass sie diese im Notfall beherrschen.

Übungen haben zum Ziel, Schwachstellen und Verbesserungspotential zu identifizieren. Eine Übung ist daher erfolgreich, wenn möglichst viele noch nicht bekannte Schwachstellen und Optimierungsmöglichkeiten identifiziert werden konnten und die Beteiligten sicherer im Umgang mit den Notfallplänen wurden. Die Identifikation von Schwachstellen und Optimierungspotentialen ist ein Qualitätskriterium für eine gute Übung. Ich kenne keine Übung, in der die Übungsbeteiligten im Ablauf der Übung nicht auf Schwachstellen gestoßen sind, die bei der Erstellung der Notfallpläne am Schreibtisch übersehen oder bei der Aktualisierung vergessen wurden. Das Ergebnis von Übungen ist daher im Unterschied zu Tests daran zu bemessen, wie viele der versteckten Fehler in der Notfallplanung durch die Übung identifiziert und eliminiert werden konnten und wie sich die Kenntnis der Übenden in den Verfahren durch die Übung verbessert hat. „Fehlerlos“ ist daher kein Erfolgskriterium für eine Übung, sondern eher ein Verdachtsmoment, dass die Übung nicht intensiv genug durchgeführt wurde oder jahrelang das gleiche Szenario beübt wird. Übungen so künstlich zu gestalten und vorbereitet werden, dass in der Übung kein Fehler mehr passieren kann macht sie hierdurch wirkungslos und führt sie ad absurdum.

Die Übungs-Rahmenplanung gibt den Takt vor

Würden Sie in ein Flugzeug einsteigen, bei dem mit schöner Regelmäßigkeit ausschließlich das Szenario „Ausfall rechtes Triebwerk“ getestet wird? Natürlich verlaufen nach mehreren Wiederholungen diese Tests alle reibungslos und es gibt einen ganzen Stapel positiver Testprotokolle. Das Triebwerk beginnt schon beinahe selbständig mit den Tests … . Leider ist das Schicksal von Natur aus gemein und hält sich nicht an unsere Vorgaben aus den Tests. Tests und Übungen müssen daher alle Aspekte der Notfallplanung abdecken. Diese beinhalten die kritischen Prozesse mit deren Ressourcen sowie die Abdeckung der unterschiedlichen Szenarien. Gebäudeevakuierungen, Alarmierungsübungen sowie Krisenstabsübungen gehören ebenso zum Übungsportfolio wie gemeinsame Übungen mit Kunden und Lieferanten sowie Blaulichtorganisationen und Behörden. Dies ist ein umfangreiches Spektrum, das natürlich nicht innerhalb einer Übung abgedeckt werden kann. Die Übungs-Rahmenplanung hat daher zum Ziel, für einen Zeitrahmen von zwei oder besser drei Jahren die Übungsformen, -inhalte und -beteiligte aufeinander abgestimmt zu planen. Mit Hilfe der Übungs-Rahmenplanung muss die Abdeckung über die gesamte Notfallvorsorge sichergestellt werden. Durch die mittel- und langfristige Planung erhalten die Übungsbeteiligten Planungssicherheit für die erforderlichen Ressourcen und Kapazitäten. Umfangreiche Simulationsübungen mit externen Beteiligten haben zudem eine Vorbereitungszeit für Planung und Organisation von bis zu 12 Monaten.

Die Konzeption und Planung einer Übung sichert den Übungserfolg

Auf Basis des Übungs-Rahmenplans erfolgt die Konzeption und Planung der einzelnen Übungen.

In der Übungs-Konzeption werden die „W-Fragen“ für die Übung geklärt und festgelegt:

Übungs-Konzeption	Inhalte
Was	Ziele und Inhalte der Übung: Notfallpläne, Prozesse, IT-Anwendungen, Standorte, Gebäude, Gebäudeteile, Lieferketten mit Dienstleister und Lieferanten, Prozessschnittstellen mit Kunden, Krisenmanagement, Alarmierung und Eskalation, Erreichbarkeit…
Wie	Auswahl der Übungsform: – („walkthrough“)Schreibtischtest der Notfallplanung auf Basis eines Szenarios („desktop scenario“) – Funktionstests der Ersatzverfahren, – Simulationsübung auf Basis eines Szenarios mit Einspielungen („live exercise“)
Wer	Teilnehmer an der Übung: – Übungs-Leitung – Übungs-Teilnehmer intern / extern – Beobachter intern / extern
Mit wem	Weitere Übungsbeteiligte: – Dienstleister, Lieferanten – Kunden – Blaulicht-Organisationen (Feuerwehr, Polizei) – Behörden

Übungs-Szenarien sollten abwechslungsreich, herausfordernd und realitätsnah sein. Klassische Übungs-Szenarien beinhalten den Ausfall von Gebäuden und/oder IT-Anwendungen. Seltener werden Personalausfallszenarien sowie Non-physical Damage-Risiken in Übungen abgebildet. Zu diesen Risikoszenarien ohne physische Beschädigungen zählen Störungen in den Lieferketten mit Dienstleistern und Kunden sowie Cyber-Risiken. Hacker-Attacken, Datenverlust oder -verschlüsselung durch Ransomware sowie Denial-of-Service-Angriffe sind hochaktuell und sollten demzuzfolge in Übungs-Szenarien mit abgebildet werden.

Jede Übung stellt auch ein Projekt dar, das eine Projektplanung mit einer Zeit-, Kapazitäts- und Aufwandsplanung erfordert. Die Dauer einer Übung kann von einer Stunde bis zu mehreren Tagen reichen. Längere Übungen über zwei oder mehr Tage spiegeln die realistischen Herausforderungen eines Notfalls besonders gut wieder. So erfordern diese Übungen Schichtwechsel im Krisenmanagement und Übergaben in den Prozessen.

Die beteiligten Rollen stellen die Durchführung sicher

Bei den beteiligten Rollen ist zwischen der Übungsvorbereitung und der Übungsdurchführung zu unterscheiden. Der Übungsleiter oder Übungs-Verantwortliche ist verantwortlich für die Konzeption und Planung der Übung. Er bindet die Beteiligten in den Planungsprozess ein, stellt die Verfügbarkeit der personellen und technischen Ressourcen sicher.

In der Übung führen die Übungsteilnehmer unter der Übungsleitung die zu übenden Verfahren durch und protokollieren Ablauf und Ergebnisse.

Neben den Teilnehmern können Übungs-Beobachter zusätzliche Aspekte protokollieren und Einsicht in die Übungsdurchführung gewinnen.

Bei Stabsrahmenübungen kommt die Übungsregie und der Gegenstab als weitere Rollen hinzu.

Wichtige Punkte bei der Durchführung einer Übung

Die Übungsleitung weist die Beteiligten in die Übung ein, startet die Übung, steuert und koordiniert den Ablauf und beendet die Übung. Bei besonderen Erfordernissen kann die Übungsleitung die Übung abbrechen.

Unabhängig von den variierenden Übungsinhalten ist bei jeder Übungsdurchführung auf folgende Punkte besonders zu achten

• Risikomanagement zur Vermeidung, dass aus der Übung ein echter Notfall resultiert,
• Übungssteuerung mittels Einspielungen und Reaktionen auf Aktionen und Entscheidungen der Übungsteilnehmer,
• Beobachtung, Protokollierung und Dokumentation für die Dokumentation des Ablaufs sowie der identifizierten Schwachstellen für die spätere Auswertung. Bereitstellung von Templates für die Protokollierung und Dokumentation.
• Umgang mit unerwarteten Reaktionen und korrigierende Eingriffe in den Übungsablauf, um die Sicherheit und Erreichung der Übungsziele sicherzustellen.

Auswertung einer Übung und Lessons Learned

Übungen dienen der Weiterentwicklung der Notfallvorsorge durch die Identifikation von Schwachstellen und Optimierungspotentialen. Grundlage für die Übungsauswertung sind die während der Übung angefertigte Übungsprotokolle sowie Beobachter- und Teilnehmerfeedback.

• Was ist in der Übung gut gelaufen?
• Wo sind in der Übung Fehler oder Schwachstellen aufgetaucht?
• Hat die technische Ausstattung funktioniert? Oftmals sind es Kleinigkeiten wie fehlende oder abhanden gekommene technische Kleinteile und Ausrüstungen (Steckdosen, Verlängerungskabel, Ladekabel, Adapter etc.), die erst bei Übungen auffallen.
• Was muss im Aufbau und Inhalt der Notfallpläne geändert oder ergänzt werden?
• Was muss für die nächsten Übungen bedacht werden.

Im Anschluss an die Übung sollte eine Feedback-Runde mit den Übungs-Beteiligten durchgeführt werden, in der erste Erkenntnisse und Erfahrungen gesammelt werden.

Die Auswertung des Erfolgs einer Übung basiert auf dem Abgleich der Übunsgziele mit den erreichten Ergebnissen. Ohne eindeutig formulierte Übunsgziele ist eine Auswertung des Übungserfolgs daher schwierig bis unmöglich.

Häufig wird als Übungsziel deklariert, dass die Übung fehlerfrei durchläuft. Diesem Übunsgziel liegt jedoch eine falsche Annahme zu Grunde, die Übungen in die falsche Richtung leiten. Es ist gerade das Ziel von Tests und Übungen, Fehler aufzudecken, um diese beheben zu können. Das Aufdecken möglichst vieler vorhandender Fehler macht gerade die Qualität einer Übung aus.

Es ist daher sinnvoll, zwischen der Erreichung der Übungsziele und den Übungsergebnissen zu unterscheiden. Das Erreichen der Übungsziele beschreibt, inwieweit der Umfang und die Inhalte der Übung durchgeführt werden konnte. Die Übungsergebnisse beschreiben Abweichungen zwischen der tatsächlichen und geplanten Test- und Übungsdurchführung. Das Übunsgziel ist erreicht, wenn der Workaround für einen IT-Service überprüft wurde. Das Übunsgergebnis ist negativ, wenn sich bei dieser Prüfung herausstellt, dass für die Nutzung der Ersatzlösung erforderliche Berechtigungen bei den Mitarbeitern fehlen.

Die Dokumentation von Tests und Übungen

Es gibt eine wichtige Grundregel: nur eine dokumentierte Übung ist eine durchgeführte Übung. Dies gilt natürlich auch für Tests. Tests und Übungen dienen neben der Validierung auch dem Nachweis der Funktionsfähigkeit. Und dieser Nachweis, zum Beispiel gegenüber Revision oder Prüfern kann nur mittels der Dokumentationen geführt werden.

Welche Dokumentationen sind hierfür erforderlich?

Übungsrahmenplanung:	Die Übungsrahmenplanung beinhaltet eine Mehrjahresplanung (i.d.R. rollierende 3-Jahresplanung) der druchzuführenden Tests und Übungen. Diese Planung dient der Sicherstellung der Abdeckung aller kritischen Prozesse und Ressourcen, der Ressourcenplanung der beteiligten Fachbereiche sowie der Überprüfung der Zielerreichung zum Beispiel im Rahmen des BCM-Berichtswesens.
Übungskonzept, -plan:	Das Übungskonzept wird für jede einzelne Übung erstellt und beinhaltet die Übungsziele, – objekte, -form, -zeiten, -beteiligte sowie -risiken. Das Übungskonzept beschreibt somit die Details eines Tests / einer Übung im Detail und dient neben der Detailplanung auch der Erfolgsmessung. Wurden die definierten Übungsinhalte überprüft, wurden die definierten Test- und Übungsziele erreicht? Welche Abweichungen gab es zum Übungskonzept im Ablauf und Ergebnis der Übung? Ein Übungskonzept kann auch zur Dokumentation eines realen Notfalls eingesetzt werden und der bewältigte Notfall als Übung aufgenommen werden.
Übungsprotokolle:	Protokolle zur Erfassung der durchgeführten Testfälle und den Ergebnissen sowie Auffälligkeiten und Ideen für Verbesserungsmaßnahmen
Übungsbericht:	Im Übungsbericht wird der Ablauf und die Ergebnisse der Übung dokumentiert. Inhalte sind zum Beispiel: – Management Summary – Übungsziele – Übungsorganisation – Ablauf der Übung und Abweichungen gegenüber dem Übungskonzept – Testfälle und Testergebnisse – Lessons learned – Maßnahmen

Fazit

Tests und Übungen sind mit hohem Aufwand für die Vorbereitung, Durchführung und Auswertung verbunden. Dieser Aufwand für die „Königs-Disziplin“ des Business Continuity Management ist jedoch gut investiert, erfüllen Übungen doch gleichzeitig mehrere wichtige Ziele:

• Validierung der Notfallkonzepte und -pläne,
• Training der Beteiligten in den Notfallprozeduren,
• Schaffung von Awareness für das BCM,
• Erfüllung von Anforderungen an das BCM durch Kunden, Dienstleister und Regulatorik.

Ohne diese Tests und Übungen bleibt die Notfallvorsorge ein Hoffnungswert, der im Realfall schnell zur Seite gelegt wird und durch Improvisation in Verbindung mit Hoffen und Wünschen ersetzt wird. Dies hat jedoch meist keinen positiven Ausgang.