Spiegelung unternehmenskritischer Datenbanken

Würth IT versteht sich als mittelständischer, international ausgerichteter Full Service Provider für die IT zahlreicher Handels- und Dienstleistungsunternehmen innerhalb und außerhalb der Würth-Gruppe.

Seit den ersten realisierten IT-Projekten des Unternehmens aus Künzelsau in den 80er-Jahren und dem Zusammenschluss mit der Comgroup im Jahr 2002 hat sich der IT-Dienstleister ständig weiterentwickelt.

Würth IT ist in den vergangenen Jahren stark gewachsen. Nach der 2004 gegründeten Niederlassung in China kamen in den vergangenen Jahren weitere Standorte in Indien und in den USA hinzu.

Die IT arbeitet rund um die Uhr für ihre Kunden, was besonders hohe Anforderungen an die Verfügbarkeit, den Datenschutz und die Daten­sicherung stellt.

„Durch immer neue Anforderungen müssen wir uns jedes Jahr neu erfinden“

sagt Jörg Engel, Leiter der Unix Plattform Services bei Würth IT und dort unter anderem für die SAP-Basis und die Gesamtheit der Datenbanken und Unix-Systeme verantwortlich:

„Wir versorgen sehr viele Shops und Filialen mit IT – und die Online- Vermarktung gewinnt bei unseren Anwendern weiterhin an Bedeutung.“

Die Zahl der Anwender ist enorm: Die Würth-Gruppe vereint über 400 Gesellschaften, die von Würth IT mit Dienstleistungen versorgt werden. Rund 15 Prozent des Umsatzes wird mit Kunden erwirtschaftet, welche nicht zur Würth-Gruppe gehören. SAP-Software spielt aber auch innerhalb der Unternehmensgruppe eine große Rolle.

Die Services umfassen vor allem ERP-Anwendungen, Sharepoint-Services, Telefonie und den IT-Betrieb. Insgesamt gibt es rund 1400 Betriebssysteminstanzen, auf denen rund 70 Prozent der Server auf virtuellen Maschinen laufen.

Auf den zentralen Systemen laufen weltweit genutzte ERP- Systeme, wobei hier schwerpunktmäßig SAP-Lösungen zum Einsatz kommen. Weltweit darf hier wörtlich verstanden werden, weil die Unternehmen der Würth-Gruppe „der Sonne folgen“ und rund um die Uhr arbeiten. Rund fünf Milliarden Euro erwirtschaften die an die weltweite SAP-Umgebung angeschlossenen Gesellschaften.

Mit der Digitalisierung immer neuer Geschäftsprozesse schwanden die Wartungszeitfenster für die IT-ler der Würth-Gruppe gegen null. Schon lange werden die IT-Arbeiten im Hintergrund durchgeführt. Jedoch nicht immer für die User unbemerkt.

„Zero-Downtime-Backup war für den Rund-um-die-Uhr-Betrieb unserer Nutzer schon immer wichtig, doch mit der Last auf den Systemen verursachten zum Beispiel die Backups spürbare Systembelastungen. Wir mussten nach neuen Ansätzen suchen“

erklärt Harald Holl, Mitglied der Geschäftsleitung und als Bereichsleiter IT verantwortlich für die Rechenzentren.

Bremsende IT-Last

Ein Teil des Workload kommt traditionell aus der IT selbst. Ziel jedes IT-lers ist es selbstverständlich, diese Last so gering wie möglich zu halten. Mussten für ein sinnvolles Backup die zu sichernden Anwendungen früher komplett abgeschaltet werden, laufen Backups seit einigen Jahren bei laufendem IT-Betrieb im Hintergrund.

Doch trotz des Zero-Downtime-Backups führt die Online-Datensicherung für alle Benutzer zu spürbaren Belastungen. So auch bei Würth IT. Ein Problem, das zu den hohen Belastungen während der Datensicherung führte, waren die Checkpoint-Zeiten der Datenbank beim Anlegen von Snapshots. Durch die Größe der Datenbank, die ja im 24-Stunden-Betrieb genutzt wird, entstehen Logfile-Sets von mehreren Terabyte pro Tag.

Ohne die Libelle-Lösung dauerte die Wiederherstellung im günstigen Fall, wenn keine Komplikationen auftraten, mindestens 13,5 Stunden. Dabei mussten ein Re­store der Datenbank mit einer Größe von etwa 28 Terabyte, ein Restore der Log-Dateien mit einem Log-Aufkommen von 400 bis 650 Logs mit 4,5 Gigabyte pro Log sowie die manuelle Wiederherstellung der Redo-Gruppen durchgeführt werden.

„Wir mussten das ganze Backup-Szenarium und das Hochverfügbarkeitskonzept überdenken“

so Holl:

„Die vorhandenen Systeme waren bis zu ihren Grenzen optimiert. Aber wir wollten keine Eigenentwicklung be­ginnen, sondern suchten eine Standard­lösung.“

Nun verstehen Anwender und Anbieter von IT-Lösungen unter Standard durchaus unterschiedliche Dinge. Für die Anbieter ist eine Basislösung, auf der verschiedene Module über standardisierte APIs aufsetzen, bereits eine Standardsoftware.

Anwender verstehen unter Standardsoftware doch eher Lösungen, die durch eine Konfigura­tion – beispielsweise über mitgelieferte Templates – in Betrieb genommen werden können.

Fündig wurde das Team von Engel und Holl beim Stuttgarter Software-Unternehmen Libelle und deren Lösung DBShadow, die vom Systemhaus der Würth IT, der SMC Spengler IT Software Consulting GmbH, an Engel und Holl herangetragen wurde.

Nachdem eine andere Software mit hohem individuellem Aufwand getestet worden war, entschied man sich für einen schnellen Switch auf die Libelle-Lösung.

Würth IT erlaubte sich aber einen ausführlichen POC (Proof of Concept), in dem viele unterschiedliche Szenarien und unterschiedlichste Nutzungs- und Nutzenaspekte ausprobiert wurden.
Wiederherstellungszeiten

Der DBShadow bedient sich nun des Spiegel-Rechenzentrums und seines patentierten Zeittrichters: Nach einer einmaligen Initial-Copy der Datenbank laufen alle Transaktionen in einen Zwischenspeicher auf die Spiegelseite, auch Zeittrichter genannt.

Die Verweildauer der Daten im Trichter wird von Würth IT dynamisch festgelegt. Nach Ablauf dieser definierten Wartezeit werden die Transaktionen in die Spiegeldatenbank recovert, sodass ein konstanter Zeitversatz zwischen Produktiv- und Spiegelsystem besteht, alle noch nicht revocerten Transaktionsdaten sich aber physikalisch bereits auf der Spiegelseite ­befinden.

Die Datenbank auf der Spiegelseite läuft aus Infrastruktursicht komplett eigenständig und unabhängig von der produktiven Datenbank, die DBShadow-Prozesse verknüpfen die beiden Systeme auf logischer Ebene.

So ist im Falle eines klassischen Disasters in Minuten wieder ein laufendes, aktuelles System verfügbar, zum anderen kann Jörg Engel auch das reguläre Backup zu einem beliebigen Zeitpunkt auf dem Spiegelsystem ausführen, ohne dabei den laufenden Betrieb des Produktivsystems zu stören.

Mit dem Einsatz von DBShadow entfallen somit im DR-Fall der Restore der 28 Te­rabyte großen Datenbank, der Restore der Log-Dateien, die Wiederherstellung der logischen Verknüpfungen der Datenbanken sowie das Anlegen der Redo-Gruppen.

Der Zeitaufwand für die Wiederverfügbarkeit eines Produktivsystems beträgt jetzt nur noch zehn Minuten, im Worst Case maximal fünf Stunden. Ohne die Libelle-Lösung betrüge der Zeitaufwand – sofern alles funktioniert – 13 Stunden und 30 Minuten.

Ein wichtiger Zusatznutzen ist die Versicherung gegen die Folgen von Nutzerfehlern. Während hardwarebasierte Methoden wie Snapshots vor allem gegen technische Fehler schützen, kann die Libelle-Lösung dies auch gegen logische und menschliche Fehler leisten.

Solche Fehler sind weit häufiger als Datenverluste durch Hardware- Ausfälle. Denn auch im Falle logischer Fehler wie zum Beispiel bei Anwenderfehlern, fehlerhaften Software-Updates oder Ähnlichem kann das Produktivsystem per „Point-in-time-Recovery“ auf die Schattendatenbank umgeschaltet werden.

In wenigen Minuten werden dann alle gültigen Transaktionen – und zwar genau bis zu einem definierbaren Zeitpunkt vor dem Anwenderfehler oder der Störung – aus dem Zeittrichter in die Schattendatenbank recovert. Anschließend wird die Schattendatenbank als Produktivsystem online geschaltet.

Disaster Recovery

Den Empfehlungen des BSI und dem gesunden Menschenverstand folgend sind große Abstände zu physischen Gefahrenquellen wichtig. Dies können Tankstellen oder Tanklager ebenso sein wie Betriebe, in denen Chemikalien verarbeitet werden.

Nicht immer ist bekannt, wie nah solche Gefahren sind. Während viele Unternehmen aufgrund von Bandbreitenbeschränkungen und Latenzzeiten ihre Replikationsspiegel bestenfalls in einem nur wenige Kilometer entfernten Rechenzentrum anlegen, nutzt Würth IT mithilfe des Libelle-Konzepts nicht nur die Spiegelung auf das benachbarte Spiegel-Data-Center, sondern demnächst auch die Long-Distance-­Option des DBShadow für die Spiegelung der Datenbanken in die Schweiz.

Damit begegnet man auch der Gefahr der Zerstörung von Daten durch großflächige Stromausfälle, regionale Katastrophen und Angriffe und Ähnliches.

Engel begründet die Entscheidung für DBShadow außerdem mit der Anwenderfreundlichkeit:

„Ob wir die Schattendatenbank für die Datensicherheit, für den schnellen Rollout von Software in den angeschlossenen Unternehmen der Würth- Gruppe oder für die leichte Bedienbarkeit einsetzen, wir kommen mit Libelle zügig voran.“ – „Bei anderen Lösungen war der individuelle Aufwand viel zu hoch“

bestätigt Holl.

Im Produktivbetrieb heißt es jetzt „einmal täglich Libelle“, und gemeint ist damit ein prüfender Blick auf vier Anzeigen im DBShadow-GUI. Jörg Engel erklärt:

„Wir überwachen den Schatten, obwohl dies aufgrund der Zuverlässigkeit der Lösung eigentlich nicht erforderlich ist, aber es geht nun mal um unsere wichtigste Datenbank.“

Würth IT schätzt die Möglichkeit einer Korrektur semantischer Fehler sehr hoch ein, obwohl die Feuertaufe bislang ausblieb.

„Es ist gut, wenn wir kein Rollback benötigen. Der Libelle-Zeittrichter ist dafür eine Versicherung“

bestätigen Holl und Engel.