![\"\"](\"https:\/\/e3magpmp.greatsolution.dev\/wp-content\/uploads\/2024\/08\/nl_werbung_800x100_es.jpg\")
<\/a><\/div>![\"\"](\"https:\/\/e3magpmp.greatsolution.dev\/wp-content\/uploads\/2024\/08\/nl_werbung_800x100.jpg\")
<\/a><\/div>![\"\"](\"https:\/\/e3magpmp.greatsolution.dev\/wp-content\/uploads\/2023\/12\/steampunk_2024_1_800x100-scaled.jpg\")
<\/a><\/div>\n\n\n\nIn weiterer Folge m\u00f6chte ich Sie mit auf die gedankliche Reise nehmen, welche Erkenntnisse diese Pioniere hatten und wo wir sie noch verbessert haben.<\/p>\n\n\n\n
System vs. Datenintegration<\/h3>\n\n\n\n
Betrachtet man das Produktportfolio von SAP, gibt es eine scharfe Trennung zwischen Prozessintegration und Data-Integration. Einmal m\u00f6chte man das ERP-System mit einer anderen Applikation verbinden, im anderen Fall Tabelleninhalte von A nach B \u00fcbertragen. Fragt man einen Applikationsentwickler, so spricht dieser von \u201eEntities\u201c wie dem Business-Partner. In der Datenintegration ist man eine Ebene tiefer unterwegs, den Tabellen. Diese Trennung gibt es in der Big-Data-Welt nicht. Dort k\u00f6nnen alle Produkte mit tief verschachtelten Objekten umgehen und eine Datenbanktabelle ist nur ein besonders einfaches Objekt. Daraus ergibt sich die erste Schlussfolgerung: Vergessen wir lieber Datenbank-Tools und sehen wir uns besser bei den Big-Data-Produkten um.<\/p>\n\n\n\n
Batch vs. Realtime<\/h3>\n\n\n\n
Als N\u00e4chstes gibt es Tools, die Massendaten im Batch-Verfahren \u00fcbertragen, und andere sind f\u00fcr Realtime gebaut. Diese Trennung hat technische Gr\u00fcnde, rein logisch betrachtet ist aber Realtime eine Obermenge der beiden. Im Batch kann man niemals die Daten in beliebig kurzen Abst\u00e4nden \u00fcbertragen. Mit einem Realtime- System ist jedoch eine Batch-Verarbeitung m\u00f6glich. Das sieht dann so aus, als w\u00fcrde in einer Quelle stundenlang nichts passieren und als w\u00fcrden dann pl\u00f6tzlich \u2013 f\u00fcr ein kurzes Intervall \u2013 sehr viele Daten erzeugt werden. Dazu muss das Realtime-Tool aber mit Massendaten umgehen k\u00f6nnen \u2013 womit wir erneut im Big-Data-Portfolio gelandet w\u00e4ren.<\/p>\n\n\n\n
Betrachtet man die L\u00f6sung aus der Fragestellung heraus, welche Systeme mit welchen gekoppelt sind, so war das in der Vergangenheit eher eine Eins-zu-eins-Beziehung. Die SAP-ERP-Daten gehen nach SAP BW. Die Daten der Zeiterfassung landen als Buchungen im SAP-HCM-Modul. Und genau so sind die SAP-Werkzeuge gebaut. War diese Annahme fr\u00fcher schon nicht unbedingt richtig, sind heute an jedes Quellsystem sehr viele konsumierende Systeme angeschlossen \u2013 Tendenz steigend. Beispielsweise gehen die ERP-Daten ins SAP BW, in ein Data Lake, an Ariba, Salesforce und unz\u00e4hlige weitere Intelligent-Enterprise-Apps.<\/p>\n\n\n\n
Damit kommt man auch mit einer Datenorchestrierung, wie bei allen SAP-Werkzeugen \u00fcblich, nicht weit. Es macht mehr Sinn, wenn jeder Konsument sich an den Daten beliebig bedienen kann, also eine Datenchoreografie. In solch einem Setup gibt nicht mehr der Dirigent vor, wer wann was zu tun hat, sondern es gibt f\u00fcr jedes Objekt einen Kanal, in dem Systeme \u00c4nderungen publik machen und andere Systeme die \u00c4nderungen nach Gutd\u00fcnken konsumieren k\u00f6nnen.<\/p>\n\n\n\n
Beispielsweise w\u00fcrde das ERP bei jeder \u00c4nderung eines Business-Partner-Eintrags die neueste Version ver\u00f6ffentlichen und das BW konsumiert diese einmal am Tag in einem Rutsch. Eine andere Applikation wiederum h\u00f6rt st\u00e4ndig auf \u00c4nderungen in diesem Topic und kann diese mit einer Latenz im Millisekundenbereich in die eigene Applikation integrieren.<\/p>\n\n\n\n Nimmt mal all diese Gedanken zusammen, landet man unweigerlich bei Apache Kafka. Nicht nur deswegen wird Kafka inzwischen von allen gro\u00dfen Firmen eingesetzt und setzt sich immer weiter als Standard durch. Wenn das f\u00fcr die Big-Data-Welt funktioniert, k\u00f6nnen wir das sicherlich auch f\u00fcr die operativen Daten gut gebrauchen, oder?<\/p>\n\n\n\n Apache Kafka besteht im Kern aus \u201eTopics\u201c, welche den Datenkanal darstellen. Jedes dieser Topics kann in sich partitioniert werden, um eine Parallelisierung der Massendaten zu erm\u00f6glichen. Und jede \u00c4nderungsnachricht hat ein Schema mit den zugeh\u00f6rigen Daten. Es gibt also in unserem Beispiel ein Schema \u201eBusiness-Partner\u201c mit den Stammdaten wie Vorname und Nachname und darin sind alle Adressen des Kunden verschachtelt. Betrachtet man das aus der Datenintegrationssicht, sind das die SAP-ERP-Tabellen KNA1 mit den zugeh\u00f6rigen ADRC-Adressdaten. In der Prozessintegration verwendet man die verschachtelte Struktur, etwa \u00fcber SAP IDocs oder Bapis.<\/p>\n\n\n\n Das bedeutet zwar einen Mehraufwand f\u00fcr den einen (!) Producer, daf\u00fcr haben es aber die vielen Consumer viel leichter. In einer Welt, in der es f\u00fcr jeden Bereich viele Consumer gibt, ist das insgesamt der kosteng\u00fcnstigere Weg.<\/p>\n\n\n\n Jetzt ist es aber nicht damit getan, einfach z. B. jede IDoc an Kafka zu \u00fcbergeben \u2013 und hinter mir die Sintflut. Wenn schon, sollte das volle Potenzial mobilisiert werden. Eine dieser Chancen dreht sich um \u00c4nderungen der Struktur \u2013 der Tod jeder aktuellen Integrationsl\u00f6sung. Weder ist es gangbar, alle Producer und Consumer synchron anzupassen, noch ist es sinnvoll, mehrere Versionen der Struktur gleichzeitig vorzuhalten. Darum folge ich dem Konzept der Schema-Evolution, also die F\u00e4higkeit, ein Schema zu erweitern, ohne dass etwas kaputtgeht. <\/p>\n\n\n\n Der einfachste Fall ist leicht erkl\u00e4rt: Angenommen, es gibt zwei Producer und zehn Consumer f\u00fcr Business-Partner-Stammdaten. Der eine Producer, das SAP-System, hat heute ein Z-Feld zus\u00e4tzlich bekommen. Der SAP-Producer f\u00fcgt dieses in das offizielle Schema ein und gibt ihm einen Default-Wert <null>. Von nun an kann das SAP-System auch dieses Feld mitversenden. <\/p>\n\n\n\n Der andere Producer verwendet die n\u00e4chsten 20 Minuten weiter die vorhergehende Schemaversion, bis er sich neu synchronisiert. Das Umschalten auf das neue Schema bringt ihn aber nicht aus dem Tritt, denn dieses Feld gibt es f\u00fcr ihn nicht, also f\u00fcllt er es nicht, also bleibt es auf <null>. Es muss nichts an diesem Producer ge\u00e4ndert werden, er l\u00e4uft einfach weiter wie gehabt.<\/p>\n\n\n\n Bekommen die Consumer das erste Mal die neue Schemavariante, wird ab jetzt diese zum Lesen aller Nachrichten verwendet. Somit ist das zus\u00e4tzliche Feld immer vorhanden. Wird eine alte Nachricht \u00fcber das neue Schema gelesen, ist das Z-Feld nicht in den Daten und daher . Auch in diesem Fall gibt es also keine Komplikationen.<\/p>\n\n\n\n Die Consumer wiederum k\u00f6nnen selbst entscheiden, wie sie mit dem neuen Feld umgehen. Ein Applikations-Consumer holt sich aus dem Schema sowieso nur die Felder, die er wirklich ben\u00f6tigt, und das Z-Feld hat im Moment gar keine Entsprechung in der Zielapplikation. Ein Data Lake Consumer erweitert wahrscheinlich die Zielstruktur um dieses zus\u00e4tzliche Feld automatisch, um nie Information zu verlieren.<\/p>\n\n\n\n Die Schema-Evolution erlaubt somit das sukzessive Anpassen des offiziellen Schemas \u00fcber die Zeit. Dann gibt es noch F\u00e4lle, in denen der Producer technische Informationen mitschicken m\u00f6chte. Daf\u00fcr hat jedes Schema einen Extension-Bereich reserviert.<\/p>\n\n\n\n \u00dcberhaupt beinhaltet das Schema noch einige weitere Informationen, die sp\u00e4ter interessant sein k\u00f6nnen: Was ist das Quellsystem der Nachricht? Welchen Transformationen wurden die Daten unterzogen? Wie ist die Datenqualit\u00e4t des Satzes einzusch\u00e4tzen?<\/p>\n\n\n\n Der Fall, bei dem ein Consumer das zus\u00e4tzliche Feld gesehen hat, aber nicht verwenden konnte, zeigt ein anderes, ungel\u00f6stes Problem auf: Wie bekommt man die bereits geladenen Daten nochmals? Vor der Zeit von Kafka h\u00e4tte man Message Queues verwendet und dort ist die einzige M\u00f6glichkeit, alle Daten nochmals zu bekommen, sie nochmals von der Quelle produzieren zu lassen. Damit flie\u00dfen sie jedoch durch alle Consumer, selbst solche, die daran gar kein Interesse haben. Wird der n\u00e4chste Consumer angepasst, m\u00fcssen wieder alle Daten produziert werden. Was f\u00fcr ein Horror. Darum haben sich Message Queues auch nie so durchgesetzt, wie man urspr\u00fcnglich erwartet hat.<\/p>\n\n\n\n Die Pr\u00e4misse unserer L\u00f6sung war jedoch, dass der Consumer entscheiden kann, was er wann liest. In diesem Fall sollte er auch die M\u00f6glichkeit haben, schon einmal gelesene Daten nochmals lesen zu k\u00f6nnen. Praktisch w\u00fcrde man diesen Consumer wie gew\u00fcnscht ver\u00e4ndern und bei dessen Neustart sagen, er m\u00f6ge die \u00adDaten der vergangenen sieben Tage bitte nochmals lesen. Anders als Message \u00adQueues schmei\u00dft Kafka die Daten nicht sofort weg, sondern ist als Big-Data-Tool daf\u00fcr gebaut, die \u00c4nderungsnachrichten eine Weile oder sogar f\u00fcr immer vorzuhalten.<\/p>\n\n\n\n Diese Option ist f\u00fcr zahlreiche weitere Situationen ein immenser Gewinn. Zum Beispiel kann der Entwickler die gleichen Tests beliebig oft wiederholen und bekommt die gleichen \u00c4nderungsdaten. Oder ein neuer Consumer f\u00e4ngt nicht ohne Daten an, sondern bekommt beim ersten Aufruf gleich eine gro\u00dfe Menge an Daten.<\/p>\n\n\n\n Sollten Sie ebenfalls eine g\u00fcnstige, offene und zukunftsweisende L\u00f6sung f\u00fcr die Integration Ihrer verschiedenen Applikationen suchen, k\u00f6nnen Sie sich auf meiner Website inspirieren lassen.<\/p>\n","protected":false},"excerpt":{"rendered":" Softwareentwicklung kostet Zeit, daher muss man die L\u00f6sung planen, bevor die ersten Kunden \u00fcberhaupt danach fragen. Als ich Hana Smart Data Integration (SDI) erfunden habe, hat noch niemand so eine L\u00f6sung auf dem Radar gehabt \u2013 ETL-Tools waren gut genug.<\/p>\n","protected":false},"author":1891,"featured_media":67861,"comment_status":"open","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"_acf_changed":false,"rank_math_lock_modified_date":false,"footnotes":""},"categories":[5,37840],"tags":[1268,600,601,73,65,8155,16452],"coauthors":[36006],"class_list":["post-67859","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-infrastruktur","category-mag-2007","tag-datenintegration","tag-digitale-transformation","tag-digitalisierung","tag-erp","tag-hana","tag-realtime","tag-sdi"],"featured_image_urls_v2":{"full":["https:\/\/e3magpmp.greatsolution.dev\/wp-content\/uploads\/2020\/08\/shutterstock_1259435662.jpg",1000,450,false],"thumbnail":["https:\/\/e3magpmp.greatsolution.dev\/wp-content\/uploads\/2020\/08\/shutterstock_1259435662-150x150.jpg",150,150,true],"medium":["https:\/\/e3magpmp.greatsolution.dev\/wp-content\/uploads\/2020\/08\/shutterstock_1259435662.jpg",400,180,false],"medium_large":["https:\/\/e3magpmp.greatsolution.dev\/wp-content\/uploads\/2020\/08\/shutterstock_1259435662-768x346.jpg",768,346,true],"large":["https:\/\/e3magpmp.greatsolution.dev\/wp-content\/uploads\/2020\/08\/shutterstock_1259435662.jpg",1000,450,false],"image-100":["https:\/\/e3magpmp.greatsolution.dev\/wp-content\/uploads\/2020\/08\/shutterstock_1259435662-100x45.jpg",100,45,true],"image-480":["https:\/\/e3magpmp.greatsolution.dev\/wp-content\/uploads\/2020\/08\/shutterstock_1259435662-480x216.jpg",480,216,true],"image-640":["https:\/\/e3magpmp.greatsolution.dev\/wp-content\/uploads\/2020\/08\/shutterstock_1259435662-640x288.jpg",640,288,true],"image-720":["https:\/\/e3magpmp.greatsolution.dev\/wp-content\/uploads\/2020\/08\/shutterstock_1259435662-720x324.jpg",720,324,true],"image-960":["https:\/\/e3magpmp.greatsolution.dev\/wp-content\/uploads\/2020\/08\/shutterstock_1259435662-960x432.jpg",960,432,true],"image-1168":["https:\/\/e3magpmp.greatsolution.dev\/wp-content\/uploads\/2020\/08\/shutterstock_1259435662.jpg",1000,450,false],"image-1440":["https:\/\/e3magpmp.greatsolution.dev\/wp-content\/uploads\/2020\/08\/shutterstock_1259435662.jpg",1000,450,false],"image-1920":["https:\/\/e3magpmp.greatsolution.dev\/wp-content\/uploads\/2020\/08\/shutterstock_1259435662.jpg",1000,450,false],"1536x1536":["https:\/\/e3magpmp.greatsolution.dev\/wp-content\/uploads\/2020\/08\/shutterstock_1259435662.jpg",1000,450,false],"2048x2048":["https:\/\/e3magpmp.greatsolution.dev\/wp-content\/uploads\/2020\/08\/shutterstock_1259435662.jpg",1000,450,false],"trp-custom-language-flag":["https:\/\/e3magpmp.greatsolution.dev\/wp-content\/uploads\/2020\/08\/shutterstock_1259435662.jpg",18,8,false],"bricks_large_16x9":["https:\/\/e3magpmp.greatsolution.dev\/wp-content\/uploads\/2020\/08\/shutterstock_1259435662.jpg",1000,450,false],"bricks_large":["https:\/\/e3magpmp.greatsolution.dev\/wp-content\/uploads\/2020\/08\/shutterstock_1259435662.jpg",1000,450,false],"bricks_large_square":["https:\/\/e3magpmp.greatsolution.dev\/wp-content\/uploads\/2020\/08\/shutterstock_1259435662.jpg",1000,450,false],"bricks_medium":["https:\/\/e3magpmp.greatsolution.dev\/wp-content\/uploads\/2020\/08\/shutterstock_1259435662.jpg",600,270,false],"bricks_medium_square":["https:\/\/e3magpmp.greatsolution.dev\/wp-content\/uploads\/2020\/08\/shutterstock_1259435662.jpg",600,270,false],"profile_24":["https:\/\/e3magpmp.greatsolution.dev\/wp-content\/uploads\/2020\/08\/shutterstock_1259435662-24x24.jpg",24,24,true],"profile_48":["https:\/\/e3magpmp.greatsolution.dev\/wp-content\/uploads\/2020\/08\/shutterstock_1259435662-48x48.jpg",48,48,true],"profile_96":["https:\/\/e3magpmp.greatsolution.dev\/wp-content\/uploads\/2020\/08\/shutterstock_1259435662-96x96.jpg",96,96,true],"profile_150":["https:\/\/e3magpmp.greatsolution.dev\/wp-content\/uploads\/2020\/08\/shutterstock_1259435662-150x150.jpg",150,150,true],"profile_300":["https:\/\/e3magpmp.greatsolution.dev\/wp-content\/uploads\/2020\/08\/shutterstock_1259435662-300x300.jpg",300,300,true]},"post_excerpt_stackable_v2":" Softwareentwicklung kostet Zeit, daher muss man die L\u00f6sung planen, bevor die ersten Kunden \u00fcberhaupt danach fragen. Als ich Hana Smart Data Integration (SDI) erfunden habe, hat noch niemand so eine L\u00f6sung auf dem Radar gehabt \u2013 ETL-Tools waren gut genug.<\/p>\n","category_list_v2":"IT Management<\/a>, MAG 20-07<\/a>","author_info_v2":{"name":"Werner D\u00e4hn, rtdi.io","url":"https:\/\/e3magpmp.greatsolution.dev\/de\/author\/werner-daehn\/"},"comments_num_v2":"0 comments","acf":[],"_links":{"self":[{"href":"https:\/\/e3magpmp.greatsolution.dev\/de\/wp-json\/wp\/v2\/posts\/67859","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/e3magpmp.greatsolution.dev\/de\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/e3magpmp.greatsolution.dev\/de\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/e3magpmp.greatsolution.dev\/de\/wp-json\/wp\/v2\/users\/1891"}],"replies":[{"embeddable":true,"href":"https:\/\/e3magpmp.greatsolution.dev\/de\/wp-json\/wp\/v2\/comments?post=67859"}],"version-history":[{"count":0,"href":"https:\/\/e3magpmp.greatsolution.dev\/de\/wp-json\/wp\/v2\/posts\/67859\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/e3magpmp.greatsolution.dev\/de\/wp-json\/wp\/v2\/media\/67861"}],"wp:attachment":[{"href":"https:\/\/e3magpmp.greatsolution.dev\/de\/wp-json\/wp\/v2\/media?parent=67859"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/e3magpmp.greatsolution.dev\/de\/wp-json\/wp\/v2\/categories?post=67859"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/e3magpmp.greatsolution.dev\/de\/wp-json\/wp\/v2\/tags?post=67859"},{"taxonomy":"author","embeddable":true,"href":"https:\/\/e3magpmp.greatsolution.dev\/de\/wp-json\/wp\/v2\/coauthors?post=67859"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}![\"Werner-Daehn\"](\"http:\/\/e3magpmp.greatsolution.dev\/wp-content\/uploads\/2020\/08\/Werner-Daehn.jpg\")
<\/figure>\n\n\n\nApache Kafka<\/h3>\n\n\n\n
Message Queue vs. Kafka Transaction Log<\/h3>\n\n\n\n