Integración de Confluent en SAP: entrevista con Greg Murphy de Confluent

Greg Murphy es director de marketing de productos y se centra en el desarrollo y la promoción del programa de socios tecnológicos de Confluent. Ayuda a los clientes a comprender mejor cómo encaja la plataforma de streaming de datos de Confluent en el ecosistema de socios más amplio. Antes de unirse a Confluent, Greg ocupó puestos de marketing y gestión de productos en Salesforce y la nube de Google.

Greg Murphy, Director de Marketing de Productos, Confluent

E3: ¿Puede decirnos algo más sobre la integración de Confluent en SAP?

En nuestra oferta SAP, nos centramos en ofrecer a los clientes de SAP y BTP la posibilidad de trasladar sus datos ERP a cualquier lugar. Así, cuando los clientes de SAP piensan en crear experiencias de cliente en tiempo real, análisis avanzados y el tipo de soluciones que su empresa necesita, no siempre significa que estos datos puedan permanecer en SAP; es necesario trasladarlos a herramientas y aplicaciones de terceros para darles vida.

Así que si pensamos en ello en primer lugar, ha añadido las opciones que están disponibles para los clientes de SAP. En la actualidad, lo más habitual es que estos clientes utilicen la tecnología de código abierto Apache Kafka, una tecnología de streaming de datos que permite a los clientes capturar estas actividades sobre la base de eventos y transmitirlas a donde sea necesario. Confluent fue desarrollado por los inventores de Apache Kafka. Hemos desarrollado una plataforma de streaming de datos totalmente gestionada y nativa en la nube con Kafka como epicentro. Permite a las organizaciones eliminar por completo la sobrecarga operativa, los gastos y retos de la gestión de la tecnología de código abierto. Los clientes pueden aprovechar las ventajas del streaming de datos, lo que les permite convertirse en una organización inteligente en tiempo real que puede trabajar con estos datos ERP dondequiera se necesiten.

E3: ¿Qué hace exactamente una plataforma de streaming de datos?

Apache Kafka es una tecnología de código abierto que se fundó en LinkedIn en 2011. Fue creada por los fundadores de Confluent porque había una necesidad de movimiento de datos en tiempo real dentro de LinkedIn en ese momento con la tecnología que aún no existía. Así que si piensas en la actividad basada en eventos -cada vez que a alguien le gusta o responde a un mensaje en LinkedIn, cualquier tipo de actividad- había una serie de sistemas que querían conocer y entender esa actividad para poder construir procesos en torno a ella. Esto es exactamente para lo que se creó originalmente Kafka.

El principal caso de uso inicial es un modelo PubSub (publicar-suscribir), en el que los productores pueden enviar mensajes a la plataforma de streaming de datos, y cualquier consumidor posterior que quiera trabajar con esos datos de uno a muchos puede recogerlos y trabajar elegantemente con ellos. En lugar de una solución punto a punto en la que cada aplicación o herramienta ascendente tiene que mantener una integración directa con todos los servicios descendentes que necesitan esos datos, este es un modelo mucho más elegante que permite a todos esos productores producir una vez en la tecnología de streaming de datos, y luego los consumidores pueden suscribirse o leer tantos de esos feeds como quieran. Proporciona a una empresa una forma muy elegante de transmitir todos los datos a través de la organización y crear un sistema nervioso central en tiempo real. Eso es Apache Kafka. En esencia, es un sistema distribuido.

E3: ¿Qué diferencia a la plataforma de datos de Confluent?

Aunque Apache Kafka es una tecnología muy potente y ampliamente utilizada para el streaming de datos y el movimiento de datos a través de la empresa en tiempo real, es muy difícil para la mayoría de las organizaciones operar, escalar y utilizar realmente con éxito. La mayoría de las organizaciones tardarán varios años en obtener un beneficio real de la tecnología, teniendo en cuenta los recursos de infraestructura, el personal a tiempo completo que se encargará de mantenerla en funcionamiento y los riesgos y desafíos que podría implicar.

Kafka es muy potente, pero es una tecnología engorrosa, pesada y extensa que añade valor pero distrae a los equipos del núcleo del negocio. Por ejemplo, un minorista que confía en Apache Kafka no es precisamente alabado por sus clientes intermedios por gestionar tan bien Kafka. El minorista quiere centrarse en nuevos casos de uso que tengan un impacto en el cliente y que aprovechen los datos en tiempo real a los que tiene acceso. El objetivo de Confluent es basarse en esta tecnología de código abierto y proporcionar a los clientes de todos los sectores todo el valor de una plataforma de streaming de datos, eliminando al mismo tiempo las cargas, los retos y los costes de gestionar esa tecnología de código abierto, porque no es ahí donde está el valor para nuestros clientes y no es eso lo que quieren llevar al mercado. Eso es lo que hacemos nosotros. Y ahí es donde reside nuestra experiencia.

E3: ¿Puede explicarnos con más detalle?

Hay tres pilares que realmente diferencian a la plataforma de streaming de datos de Confluent de esta tecnología de código abierto. El primero es que Confluent es nativa de la nube. Hemos tomado Apache Kafka, la tecnología de código abierto, y la hemos rediseñado completamente para la nube. Es una gran inversión llevar esta tecnología a la nube y permitir a los clientes configurar un clúster que pueda gestionar toda la organización con unos pocos clics.

Todas estas funciones se resumen en el llamado motor Kora. El motor Kora es el motor Apache Kafka, desarrollado especialmente para la nube. Es elásticamente escalable. Esto significa que los clústeres individuales pueden alcanzar hasta 20 gigabytes por segundo. Dispone de una cantidad infinita de espacio de almacenamiento.

E3: ¿Puede dar un ejemplo de estas funciones y cómo afectan a los clientes?

Se gaste como se gaste, se trata de una actividad muy perturbadora y costosa para la que las organizaciones deben estar preparadas. Dentro de la nube de Confluent, el escalado elástico significa que escalamos automáticamente con la actividad para garantizar que los clientes tengan el rendimiento y la capacidad que necesitan para gestionar cualquier tráfico que llegue a través de la plataforma. Además, reducimos la escala automáticamente cuando el tráfico se ralentiza para garantizar la rentabilidad y que nadie tenga que pagar de más.

Se gaste como se gaste, se trata de una actividad muy perturbadora y costosa para la que las organizaciones deben estar preparadas. Dentro de la nube de Confluent, el escalado elástico significa que escalamos automáticamente con la actividad para garantizar que los clientes tengan el rendimiento y la capacidad que necesitan para gestionar cualquier tráfico que llegue a través de la plataforma. Además, reducimos la escala automáticamente cuando el tráfico se ralentiza para garantizar la rentabilidad y que nadie tenga que pagar de más.

E3: ¿Qué hay del almacenamiento en el motor Kora?

El motor de Kora dispone de un espacio de almacenamiento infinito. Los clientes no sólo tienen acceso a los datos en tiempo real que circulan por la plataforma. Pueden almacenar datos, y una cantidad infinita de ellos con nosotros. Ofrecemos un SLA (Service Level Agreement o acuerdo de nivel de servicio) de tiempo de actividad del 99,99 por ciento. Por tanto, damos una alta garantía de que la plataforma estará disponible. También garantizamos tiempos de latencia bajos y un alto caudal de datos a través de la plataforma. En definitiva, con este pilar nativo de la nube, hemos eliminado toda la carga operativa, el coste y las distracciones de Apache Kafka y hemos reconstruido todo el servicio en una experiencia en la nube, tal y como esperaría un cliente.

E3: ¿Cuál es el segundo pilar que caracteriza a la plataforma de streaming de datos de Confluent?

El segundo pilar es que Confluent es completo. Nuestros clientes no solo necesitan Apache Kafka para crear experiencias en tiempo real. Lo que necesitan es una plataforma de streaming de datos completa que les permita construirla en torno a Apache Kafka y trabajar de forma realmente eficiente. Esto incluye integraciones de datos, como SAP, que nosotros ofrecemos. Tenemos más de 120 integraciones de origen y sincronización preconstruidas en la plataforma. La tecnología de streaming de datos permite tomar los datos de dondequiera que se produzcan y enviarlos a dondequiera que deban consumirse. Nuestros clientes nos han dicho que cada una de estas integraciones tarda hasta seis meses en desarrollarse, además de toda una vida de soporte y gestión para mantenerlas en funcionamiento. En cambio, hay más de 120 para esta integración preconstruida, por lo que los clientes pueden ahorrarse este tiempo, acceder automáticamente a todos los datos que necesitan y enviarlos allí donde se necesiten.

Como SAP es una oferta básica, se integra directamente en la consola SAP. No se trata sólo de acceder a los datos SAP y reenviarlos a una de las ubicaciones que ofrecemos. También hay datos de gran valor que residen fuera del sistema SAP. Piense en datos IoT, datos de herramientas de marketing, streaming de clics en tiempo real de Internet... hay una gran variedad de fuentes de datos que podrían ser necesarias. Permitimos a los clientes de SAP acceder a sus datos SAP y fusionarlos en tiempo real con todas estas fuentes de datos diferentes para que puedan pasarlos a bases de datos, almacenes de datos, lagos de datos y herramientas AI ML en tiempo real como un producto de datos completo.

Es la única suite de gobernanza totalmente gestionada del sector para Apache Kafka que asegura y garantiza datos de alta calidad, pero también los hace accesibles al resto de la organización. Esto garantiza que más personas de la organización tengan acceso a datos en tiempo real para dar forma de manera eficiente a las experiencias que se esperan hoy en día.

E3: ¿Cuál es el tercer pilar que caracteriza a la plataforma de streaming de datos de Confluent?

Y, por último, es una oferta que está disponible en todas partes. Ya sea en la nube -estamos en AWS, Azure GCP, disponible en todas las nubes- la capacidad de conectar todos esos entornos y enviar datos entre ellos, o en las instalaciones con la plataforma Confluent y la conectividad allí también. Así que entre un entorno local, un entorno en la nube y un entorno híbrido, realmente un sistema nervioso centralizado. Datos en tiempo real para toda la empresa es lo que puede construirse en última instancia.

E3: ¿Cómo pueden integrarse las dos plataformas específicamente con SAP BTP, la Plataforma Tecnológica Empresarial?

En diciembre, hicimos un anuncio externo sobre la disponibilidad de Confluent en la tienda SAP. Como parte de este anuncio, presentamos nuestra integración directa entre SAP Datasphere, BTP y la nube de Confluent.

Esto ofrece a los clientes de SAP la posibilidad de acceder a la plataforma de streaming de datos de Confluent y a streamings de datos totalmente gestionados directamente desde SAP Datasphere. Así, cuando trabajo con BTP, tengo acceso a S/4 Hana ECC y a otras herramientas de SAP. Como usuario, puedo configurar la escritura de estos datos en tiempo real en streamings de datos totalmente gestionados en Confluent. De este modo, los datos de ERP salen de SAP y pueden utilizarse posteriormente para alimentar aplicaciones y análisis con datos en tiempo real.

E3: ¿En qué casos no serían aplicables estas plataformas o ideales para las soluciones de un entorno informático?

Creo que los casos de uso son muy variados. Son muy abiertos. En Confluent, decimos que los clientes con los que trabajamos han abierto realmente un número casi ilimitado de casos de uso. Sabemos que las soluciones que los clientes quieren crear no siempre dependen únicamente de los datos de SAP, y que estos datos por sí solos no siempre son decisivos para un caso de uso. Por lo tanto, es crucial que los clientes de SAP tengan acceso a datos más allá de los sistemas BTP y SAP. Y esto es algo que hacemos fácilmente accesible en la plataforma. No son sólo los conectores preconstruidos en la plataforma los que permiten trasladar fácilmente los datos hacia abajo. También se pueden tomar datos adicionales, fusionarlos con datos SAP y crear algo más completo y listo para su uso posterior.

E3: ¿Cuál es la ventaja de la plataforma de streaming de datos de Confluent?

En cuanto a la oferta nativa en la nube, se ha demostrado que nuestra oferta reduce el coste total de propiedad de Apache Kafka para las empresas hasta en un 60 por ciento. Así que cuando hablamos del valor de los datos en streaming –y hay mucha demanda por parte de los clientes de SAP– quieren trabajar con Apache Kafka; quieren utilizarlo para su experiencia de cliente en tiempo real. Confluent puede ofrecer una solución mejor para Kafka y también una plataforma completa de streaming de datos que reducirá el coste total de propiedad de Kafka en un 60 por ciento. Esto devolverá a nuestros clientes tiempo para centrarse no en la gestión de la infraestructura, sino en lo que realmente impulsará su negocio. Y en lo que sorprenderá y encantará a sus clientes, ya sean internos o externos.

E3: ¿Cuáles opciones le daría a los clientes que buscan integración con S/4 Hana en la nube y con BTP?

La mejor manera de hacerlo es a través de la integración de Datasphere que hemos desarrollado. Está directamente conectada a la herramienta Datasphere dentro de BTP. Extrae datos de S/4 Hana ECC, BW, hay una lista de al menos cinco, seis o siete fuentes diferentes por parte de SAP, pero S/4 Hana encabeza la lista. Es el buque insignia de SAP. Así que esa es, con diferencia, la recomendación por nuestra parte en cuanto a la forma más sencilla de liberar esos datos ERP para introducirlos en la plataforma de streaming de datos y moverlos en sentido descendente hacia donde tienen que ir. Para la gestión de inventarios de comercio electrónico en tiempo real, fabricación, casos de uso de IoT, IA, ML, entre otros. Esa será la recomendación por nuestra parte.

E3: ¿Qué significa esto para los clientes de ERP en particular?

Creemos que es importante que el mercado entienda la oferta de Confluent porque es, ante todo, una empresa inteligente en tiempo real que proporciona datos ERP en tiempo real a las aplicaciones posteriores. Los tres pilares en los que nos centramos específicamente para SAP son: en primer lugar, crear aplicaciones en tiempo real a un coste menor. Esto se consigue con el motor Kora y reduciendo el coste total de propiedad de Kafka hasta en un 60 por ciento.

El segundo pilar es la transmisión de datos SAP a cualquier lugar donde se necesiten y su fusión con otras fuentes. Esto se hace con los conectores 120 y el procesamiento de streamings con Apache Flink (un marco de procesamiento por lotes de código abierto).

El último pilar es permitir que los clientes mantengan estrictas normas de seguridad a medida que migran de BTP a la nube de Confluent. Disponemos de una serie de funciones de seguridad de nivel empresarial que son estándar en la plataforma. Por ejemplo, el cifrado de datos en reposo y en tránsito. Disponemos de diversas funciones de personalización, redes privadas, registros de auditoría y toda una serie de funciones de seguridad disponibles en la plataforma. Dispone de un conjunto estándar de normas de cumplimiento.

E3: ¿Puede hablarnos un poco más de las características de gobernanza de la plataforma?

Ofrecemos la única suite de gobernanza totalmente gestionada del sector para Apache Kafka. Consta de varios pilares: calidad del flujo, catálogo de flujos y linaje de flujos. La calidad del flujo es probablemente lo que la gente piensa más a menudo cuando piensa en la gobernanza del flujo, y es la integridad de los datos, las reglas de datos, los contratos, asegurándose de que los estándares están en su lugar para todos los datos que pasan a través de la plataforma. Esto también garantiza que los datos puedan reutilizarse fácilmente más adelante. Esto se hace por defecto.

También tenemos un catálogo de flujos y tanto el catálogo de flujos como el linaje de flujos son la otra cara de la gobernanza, una visión más moderna de la gobernanza. Forman parte del mismo conjunto, pero no se centran en bloquear los datos, sino en abrirlos al catálogo de flujos de la empresa.

Nuestro portal de datos permite a los clientes de la plataforma de streaming de datos comprender, por ejemplo, cuáles son los streamings de datos de alto valor que proceden de SAP. De modo que, aunque facilitamos enormemente a los clientes de SAP la generación de estos streamings de datos y su envío a Confluent, el catálogo de datos de nuestro sitio web y, en concreto, el portal de datos garantiza que los clientes de la nube de Confluent, aquellos que utilizan nuestra plataforma a diario, puedan ver y conocer estos streamings de datos. Saben qué datos están disponibles y pueden crear las herramientas que necesitan.

E3: ¿Puede dar un ejemplo de esto?

Un ejemplo: tenemos un usuario de BTP y un usuario de la nube de Confluent. El usuario de la nube podría utilizar el catálogo que tiene el usuario de BTP para encontrar un streaming de datos que contenga los datos IoT de fabricación que quiere y necesita. Así que eso es genial. Has encontrado algo que impulsa el proyecto. Sin embargo, la siguiente pregunta podría ser: ¿De dónde proceden realmente estos datos? ¿Qué ha pasado con ellos? ¿Se han mezclado con muchos otros datos? ¿Cómo puedo estar seguro de que puedo utilizar estos datos en mi proyecto?

Stream Lineage es la tercera parte de la suite de gobernanza, que proporciona a los clientes una visión integral de estos streamings de datos en forma de "Google Maps" para que puedan entender de dónde vienen, a dónde van y qué les ocurre por el camino. Pueden hacerlo a través del catálogo. Y cuando los encuentran con linaje, pueden entender fácilmente qué son todos estos datos y cómo pueden utilizarlos. Así que ese es el tercer punto que quería añadir: el mantenimiento de estrictas normas de seguridad, gobernanza y cumplimiento que pueden mantener los clientes de SAP cuando trasladan todos esos datos a la plataforma de streaming de datos de Confluent.

E3: ¡Gracias por la entrevista!

confluent.io