{"id":142817,"date":"2024-06-10T07:00:00","date_gmt":"2024-06-10T05:00:00","guid":{"rendered":"https:\/\/e3magpmp.greatsolution.dev\/?p=142817"},"modified":"2024-06-04T16:15:10","modified_gmt":"2024-06-04T14:15:10","slug":"daten-streaming-pipelines-gehoert-die-zukunft","status":"publish","type":"post","link":"https:\/\/e3magpmp.greatsolution.dev\/de\/daten-streaming-pipelines-gehoert-die-zukunft\/","title":{"rendered":"Daten-Streaming-Pipelines geh\u00f6rt die Zukunft"},"content":{"rendered":"\n

Sie verwenden in der Regel Punkt-zu-Punkt-Daten-Pipelines, um Daten zwischen operativen Datenbanken und einem zentralisierten Data Warehouse oder Data Lake zu verschieben. ETL-Pipelines (Extrahieren, Transformieren und Laden) zum Beispiel nehmen Daten auf, transformieren sie in regelm\u00e4\u00dfigen Batches und leiten sie sp\u00e4ter an ein nachgelagertes analytisches Data Warehouse weiter. ETL-Pipelines und Reverse-ETL-Pipelines senden zudem Ergebnisse von Datenanalysen, die im Warehouse stattfinden, zur\u00fcck an operative Datenbanken und Anwendungen.<\/p>\n\n\n\n

Auch wenn Unternehmen heutzutage oft Dutzende bis Hunderte Punkt-zu-Punkt-Daten-Pipelines betreiben, kommen immer mehr IT-Verantwortliche zu dem Schluss, dass Punkt-zu-Punkt- und Batch-basierte Daten-Pipelines nicht mehr zeitgem\u00e4\u00df sind. \u00c4ltere Pipelines sind in der Regel nicht sehr flexibel und werden von Entwicklern als \u201eBlackboxes\u201c wahrgenommen, da sie nicht angepasst werden k\u00f6nnen und sich nur schwer in andere Umgebungen \u00fcbertragen lassen. Wenn betriebliche Prozesse oder Daten angepasst werden m\u00fcssen, vermeiden es Datenentwickler deshalb, bestehende Pipelines zu \u00e4ndern. Stattdessen f\u00fcgen sie noch mehr Pipelines und die damit verbundenen technischen Schulden hinzu. Im Endeffekt ben\u00f6tigen herk\u00f6mmliche ETL-Pipelines zu viel Rechenleistung und Speicherplatz, was mit zunehmendem Datenvolumen und Anforderungen zu Skalierungs- und Leistungsproblemen sowie hohen Betriebskosten f\u00fchren kann.<\/p>

\"\"<\/a><\/div>
\"\"<\/a><\/div>
\"\"<\/a><\/div>\n\n\n\n

Daten-Streaming-Pipelines sind ein moderner Ansatz zur Bereitstellung von Daten als Self-Service-Produkt. Anstatt Daten an ein zentrales Warehouse oder ein Analyse-Tool zu senden, k\u00f6nnen Daten-Streaming-Pipelines \u00c4nderungen in Echtzeit erfassen, sie im Fluss anreichern und an nachgelagerte Systeme senden. Teams k\u00f6nnen mit einem eigenen Self-Service-Zugriff Daten verarbeiten, freigeben und wiederverwenden, wo und wann immer sie ben\u00f6tigt werden.\u00a0<\/p>\n\n\n\n

Im Gegensatz zu gew\u00f6hnlichen Pipelines k\u00f6nnen Daten-Streaming-Pipelines mit deklarativen Sprachen wie SQL erstellt werden. Dabei werden unn\u00f6tige operative Aufgaben mit einer vordefinierten Logik der erforderlichen Vorg\u00e4nge gemieden. Dieser Ansatz tr\u00e4gt dazu bei, das Gleichgewicht zwischen zentralisierter kontinuierlicher Observability, Sicherheit, Policy-Management, Compliance-Standards und der Notwendigkeit f\u00fcr leicht durchsuchbare und auffindbare Daten zu wahren.<\/p>\n\n\n\n

confluent.io<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"

Um den Zugriff auf diese Daten zu erleichtern, zentralisieren die meisten IT-Abteilungen so viele Informationen wie m\u00f6glich. <\/p>\n","protected":false},"author":2368,"featured_media":142818,"comment_status":"open","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"_acf_changed":false,"rank_math_lock_modified_date":false,"footnotes":""},"categories":[5,43962],"tags":[],"coauthors":[39720],"class_list":["post-142817","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-infrastruktur","category-mag-24-06"],"featured_image_urls_v2":{"full":["https:\/\/e3magpmp.greatsolution.dev\/wp-content\/uploads\/2024\/06\/2406-59-Datenstreaming.jpg",1100,495,false],"thumbnail":["https:\/\/e3magpmp.greatsolution.dev\/wp-content\/uploads\/2024\/06\/2406-59-Datenstreaming-150x150.jpg",150,150,true],"medium":["https:\/\/e3magpmp.greatsolution.dev\/wp-content\/uploads\/2024\/06\/2406-59-Datenstreaming-400x180.jpg",400,180,true],"medium_large":["https:\/\/e3magpmp.greatsolution.dev\/wp-content\/uploads\/2024\/06\/2406-59-Datenstreaming-768x346.jpg",768,346,true],"large":["https:\/\/e3magpmp.greatsolution.dev\/wp-content\/uploads\/2024\/06\/2406-59-Datenstreaming.jpg",1100,495,false],"image-100":["https:\/\/e3magpmp.greatsolution.dev\/wp-content\/uploads\/2024\/06\/2406-59-Datenstreaming-100x45.jpg",100,45,true],"image-480":["https:\/\/e3magpmp.greatsolution.dev\/wp-content\/uploads\/2024\/06\/2406-59-Datenstreaming-480x216.jpg",480,216,true],"image-640":["https:\/\/e3magpmp.greatsolution.dev\/wp-content\/uploads\/2024\/06\/2406-59-Datenstreaming-640x288.jpg",640,288,true],"image-720":["https:\/\/e3magpmp.greatsolution.dev\/wp-content\/uploads\/2024\/06\/2406-59-Datenstreaming-720x324.jpg",720,324,true],"image-960":["https:\/\/e3magpmp.greatsolution.dev\/wp-content\/uploads\/2024\/06\/2406-59-Datenstreaming-960x432.jpg",960,432,true],"image-1168":["https:\/\/e3magpmp.greatsolution.dev\/wp-content\/uploads\/2024\/06\/2406-59-Datenstreaming.jpg",1100,495,false],"image-1440":["https:\/\/e3magpmp.greatsolution.dev\/wp-content\/uploads\/2024\/06\/2406-59-Datenstreaming.jpg",1100,495,false],"image-1920":["https:\/\/e3magpmp.greatsolution.dev\/wp-content\/uploads\/2024\/06\/2406-59-Datenstreaming.jpg",1100,495,false],"1536x1536":["https:\/\/e3magpmp.greatsolution.dev\/wp-content\/uploads\/2024\/06\/2406-59-Datenstreaming.jpg",1100,495,false],"2048x2048":["https:\/\/e3magpmp.greatsolution.dev\/wp-content\/uploads\/2024\/06\/2406-59-Datenstreaming.jpg",1100,495,false],"trp-custom-language-flag":["https:\/\/e3magpmp.greatsolution.dev\/wp-content\/uploads\/2024\/06\/2406-59-Datenstreaming-18x8.jpg",18,8,true],"bricks_large_16x9":["https:\/\/e3magpmp.greatsolution.dev\/wp-content\/uploads\/2024\/06\/2406-59-Datenstreaming.jpg",1100,495,false],"bricks_large":["https:\/\/e3magpmp.greatsolution.dev\/wp-content\/uploads\/2024\/06\/2406-59-Datenstreaming.jpg",1100,495,false],"bricks_large_square":["https:\/\/e3magpmp.greatsolution.dev\/wp-content\/uploads\/2024\/06\/2406-59-Datenstreaming.jpg",1100,495,false],"bricks_medium":["https:\/\/e3magpmp.greatsolution.dev\/wp-content\/uploads\/2024\/06\/2406-59-Datenstreaming-600x270.jpg",600,270,true],"bricks_medium_square":["https:\/\/e3magpmp.greatsolution.dev\/wp-content\/uploads\/2024\/06\/2406-59-Datenstreaming-600x495.jpg",600,495,true],"profile_24":["https:\/\/e3magpmp.greatsolution.dev\/wp-content\/uploads\/2024\/06\/2406-59-Datenstreaming-24x24.jpg",24,24,true],"profile_48":["https:\/\/e3magpmp.greatsolution.dev\/wp-content\/uploads\/2024\/06\/2406-59-Datenstreaming-48x48.jpg",48,48,true],"profile_96":["https:\/\/e3magpmp.greatsolution.dev\/wp-content\/uploads\/2024\/06\/2406-59-Datenstreaming-96x96.jpg",96,96,true],"profile_150":["https:\/\/e3magpmp.greatsolution.dev\/wp-content\/uploads\/2024\/06\/2406-59-Datenstreaming-150x150.jpg",150,150,true],"profile_300":["https:\/\/e3magpmp.greatsolution.dev\/wp-content\/uploads\/2024\/06\/2406-59-Datenstreaming-300x300.jpg",300,300,true]},"post_excerpt_stackable_v2":"

Um den Zugriff auf diese Daten zu erleichtern, zentralisieren die meisten IT-Abteilungen so viele Informationen wie m\u00f6glich. <\/p>\n","category_list_v2":"IT Management<\/a>, MAG 24-06<\/a>","author_info_v2":{"name":"E3-Magazin","url":"https:\/\/e3magpmp.greatsolution.dev\/de\/author\/e3_magazin\/"},"comments_num_v2":"0 comments","acf":[],"_links":{"self":[{"href":"https:\/\/e3magpmp.greatsolution.dev\/de\/wp-json\/wp\/v2\/posts\/142817","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/e3magpmp.greatsolution.dev\/de\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/e3magpmp.greatsolution.dev\/de\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/e3magpmp.greatsolution.dev\/de\/wp-json\/wp\/v2\/users\/2368"}],"replies":[{"embeddable":true,"href":"https:\/\/e3magpmp.greatsolution.dev\/de\/wp-json\/wp\/v2\/comments?post=142817"}],"version-history":[{"count":1,"href":"https:\/\/e3magpmp.greatsolution.dev\/de\/wp-json\/wp\/v2\/posts\/142817\/revisions"}],"predecessor-version":[{"id":142819,"href":"https:\/\/e3magpmp.greatsolution.dev\/de\/wp-json\/wp\/v2\/posts\/142817\/revisions\/142819"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/e3magpmp.greatsolution.dev\/de\/wp-json\/wp\/v2\/media\/142818"}],"wp:attachment":[{"href":"https:\/\/e3magpmp.greatsolution.dev\/de\/wp-json\/wp\/v2\/media?parent=142817"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/e3magpmp.greatsolution.dev\/de\/wp-json\/wp\/v2\/categories?post=142817"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/e3magpmp.greatsolution.dev\/de\/wp-json\/wp\/v2\/tags?post=142817"},{"taxonomy":"author","embeddable":true,"href":"https:\/\/e3magpmp.greatsolution.dev\/de\/wp-json\/wp\/v2\/coauthors?post=142817"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}