Gestión de datos: ¿una tarea o una inversión rentable?

La gestión de datos no goza de gran popularidad, aunque la mayoría de las empresas son conscientes de que este tema de futuro es esencial en el contexto de una creciente avalancha de datos.

En la práctica, es evidente que, a pesar de ello, muy pocas empresas aprovechan plenamente las posibilidades de la gestión (automatizada) de datos. A menudo faltan recursos y una solución técnica suficiente.

A más tardar, si la migración a Hana resulta demasiado costosa porque la base de datos es demasiado grande, la limpieza de datos se convierte en algo esencial antes de que la migración pueda llevarse a cabo.

Razones del crecimiento de los datos

Hay varias razones que han llevado a un crecimiento cada vez mayor de los datos en los últimos años, como el aumento de las transacciones comerciales y los nuevos procesos empresariales digitales, así como las normativas legales que exigen archivar durante periodos de tiempo más largos.

Entre ellas figuran las normas de la Ley Sarbanes-Oxley para las empresas que cotizan en bolsa y las disposiciones de Basilea III para las instituciones financieras. En EE.UU. están las directrices de la Securities and Exchange Commission (SEC) para el control de la negociación de valores y en la UE la Directiva sobre conservación de datos.

Otras palabras clave son FDA en el sector farmacéutico y alimentario, HIPAA en el sector sanitario, así como GDPdU (DE), ElDI-V (CH), BAO (AT) y FRCP.

El valor de los datos...

Cuanto mayor es el volumen de datos de un sistema, menor es el porcentaje de datos valiosos utilizados activamente. En particular, los datos antiguos e históricos (fríos) a menudo sólo se conservan para posibles auditorías.

Sin embargo, los datos fríos se siguen gestionando de la misma manera que los datos utilizados activamente (cálidos y calientes). Por término medio, sólo entre el 7% y el 15% de los datos de una base de datos se utilizan de forma productiva y están listos para la elaboración de informes.

El resto son datos maestros, datos temporales, datos históricos (de más de dos años). Los sistemas SAP BW, en particular, acumulan datos que requieren una gestión proactiva y sofisticada.

Por término medio, entre el 20 y el 30 por ciento de las bases de datos SAP están ocupadas por datos temporales. Estos se generan con cada transacción e interacción SAP y pierden su valor muy rápidamente tras su generación.

Los datos temporales suelen encontrarse en las áreas de registros (registros de aplicaciones, registros de cambios), puesta en escena (PSA y registros de cambios), protocolos de comunicación (IDOCS, RFC, registros) y datos de administración (solicitudes).

...y sus costes

Aunque solía ser la forma más fácil y percibida como más barata de comprar nuevo espacio de almacenamiento en cuanto las cosas se ponían difíciles porque era bastante barato, esto ha cambiado en los últimos años.

Entre otras cosas, esto se debe a que un poco de espacio de almacenamiento no es suficiente: los datos que no se utilizan mucho o nada pasan por los mismos procesos y causan los mismos costes que los datos productivos. Por ejemplo, cada GB de datos de un sistema productivo se replica 7 veces dentro del entorno del sistema.

En el caso de nuestros clientes, observamos un crecimiento medio de los datos del 32,5% anual. El tamaño de un sistema se cuadruplica con un crecimiento anual de los datos del 25% en tan solo cinco años si no se lleva a cabo una limpieza de datos.

A cambio, en el sistema de ejemplo con un tamaño inicial de 774 GB, se pueden ahorrar 3,6 TB en cinco años, siempre que se hayan aplicado las medidas adecuadas para una gestión inteligente de los datos.

Una base de datos hinchada no sólo genera costes innecesarios en cuanto al espacio de almacenamiento necesario. También se incurre en mayores costes de mantenimiento, licencias, copias de seguridad o almacenamiento.

Hoy en día, por ejemplo, vemos variaciones significativas en los costes de SAP Hana, entre 50.000 y 150.000 euros, dependiendo del cliente y de la configuración. La nube, el alojamiento, la integración en centros de datos a medida, los dispositivos, la HA/DR... todo influye en los costes, el rendimiento y la escalabilidad.

La basura de datos afecta a los sistemas

Si el sistema se contamina con basura de datos, el rendimiento del sistema también suele deteriorarse. Esto puede resultar especialmente desagradable al navegar por las principales transacciones y al elaborar informes.

También en este caso, el lastre de los datos cuesta tiempo y dinero. Tiempo que se pierde en la limpieza de datos, lo que conduce a más basura de datos: un círculo vicioso.

En contra de la suposición de que la falta de gestión de datos no importa al cliente final, la coherencia de los datos también suele resentirse, como muestra el ejemplo de nuestro cliente.

El departamento informático del fabricante de camas hospitalarias y asistenciales Stiegelmeyer recibió comentarios del personal de ventas de que el sistema era confuso debido a la existencia de duplicados en los datos maestros y a que no se podía encontrar inmediatamente al cliente adecuado. Además, el rendimiento del sistema se colapsaba en ocasiones.

El motivo era la evolución del sistema, con numerosos desarrollos propios. Determinamos los puntos débiles y las posibilidades de optimización con un análisis del sistema. Por ejemplo, 700 desarrollos internos no se utilizaban y podían suprimirse. También había potencial de optimización en el archivado de datos: el 85% del stock de datos era superfluo y podía archivarse.

¿Cómo se mantiene ágil la base de datos?

Vemos cinco puntos de partida para mantener unas bases de datos ágiles y eficaces:

1. evitar la generación de datos - o mantener los datos sin procesar únicamente en un lago de datos central. Cuantos menos datos no utilizados se almacenen en el sistema SAP, mejor será el rendimiento del sistema y más optimizado podrá estar el funcionamiento.

Eliminar y dar de baja datos, aplicaciones e informes no utilizados: Lo que no se necesita debe eliminarse.

Limpieza automatizada: ¿Sistemas SAP eficientes sin mano de obra? Basada en reglas y equipada con las mejores prácticas, una solución de limpieza automatizada puede eliminar hasta el 35% del contenido de la base de datos sin perder los conocimientos empresariales.

4. descargar los datos calientes y fríos a un medio escalable y más barato: Gracias a tecnologías modernas como Hadoop pueden combinarse diferentes conceptos y enfoques de Big Data. Por ejemplo, externalizando documentos y archivos de SAP a Hadoop. Los datos transaccionales y analíticos también pueden externalizarse. Gracias a interfaces certificadas, se puede seguir accediendo a los datos aunque no estén almacenados en la base de datos primaria.

Utiliza la copia selectiva: Los sistemas de prueba y validación no necesitan todos los datos de un sistema productivo.

Al copiar selectivamente datos validados por el proceso de un sistema productivo a otro de prueba, los sistemas no productivos se vuelven más ágiles. Esto acelera los procesos de copia, que se repiten así más a menudo, reduciendo los costes de hardware y personal.

Ahorro en gestión de datos

Normalmente, una gestión eficaz de los datos puede ahorrar entre un 30% y un 50% del tamaño del sistema y reducir la tasa de crecimiento de los datos en un 60%.

La primera prioridad es optimizar la clasificación de los datos para decidir si es mejor almacenarlos y cómo: Los datos calientes deben estar disponibles rápidamente; se guardan en la memoria principal y, por ejemplo, se migran directamente durante una migración a SAP Hana.

Los datos en caliente pueden externalizarse a otra base de datos (secundaria) con un rendimiento adecuado pero costes inferiores. Los datos fríos se almacenan, archivan o eliminan de la forma más rentable posible.

Normalmente, la clasificación de los datos se apoya ahora en estadísticas de uso y análisis de valor, que ayudan al administrador de datos en su papel de gestor del ciclo de vida de la información.

Además de crear un catálogo de datos que describa dónde se almacenan, en qué formato y con qué importancia, un administrador de datos se ocupa de la identificación y suministro de datos, la creación y mantenimiento de datos de referencia y la calidad coherente de los datos maestros.

Con la ayuda de una gestión de datos automatizada y eficaz, KION Group pudo eliminar el 30% del lastre de datos y aumentar así el rendimiento del sistema en un 25% de media.

Microsoft Azure ofrece soluciones listas para la empresa en la nube con SAP on Azure y una amplia gama de opciones de bases de datos y almacenamiento. Incluso los sistemas muy grandes pueden funcionar eficazmente gracias a la escalabilidad de SAP Hana, Hadoop y los servidores SQL. Los escenarios híbridos con almacenamiento secundario en la nube y la base de datos principal in situ son cada vez más populares para impulsar la expansión de la estrategia en la nube.

Conclusión

La gestión inteligente de los datos es indispensable para contener su crecimiento, garantizar un buen rendimiento constante del sistema y ahorrar costes. Merece la pena superar los obstáculos existentes.

Un ILM centralizado es la clave para una mayor transparencia, un menor esfuerzo y una ejecución fiable de todas las tareas necesarias. Además, los enfoques organizativos, como la instalación de administradores de datos y catálogos de datos, son elementos básicos importantes.

Las nuevas tecnologías enlazadas de la mejor manera posible y provistas de herramientas analíticas constituyen la base de la gestión moderna del ciclo de vida de los datos y la información.

La gestión eficaz de los datos se está convirtiendo en un importante factor competitivo para las empresas en tiempos de rápido crecimiento de los lagos de datos, de modo que puedan aprovechar al máximo las oportunidades y el valor añadido de los datos disponibles.

Criterios para una gestión eficaz de los datos

Medir el valor de los datos: Con la ayuda de herramientas de análisis, los datos deben clasificarse correctamente para reconocer con precisión su valor. Los enfoques modernos, como el aprendizaje automático, ayudan hoy en día en este sentido.

• Posibilidad de tratar, almacenar, archivar y suprimir los datos de forma automatizada en función de su valor.
• De este modo, el valor de los datos se ajusta a los costes directos e indirectos.
• Aplicación periódica teniendo en cuenta los nuevos objetos
• Simplificación de la gestión de datos mediante la automatización
• Transparencia mediante documentación, normas, programación y supervisión centralizadas y entre sistemas.
• Seguridad gracias a una programación que ahorra recursos y alternativas a la retención o eliminación radical

Efectos positivos de una ILM inteligente

• Ahorro de costes directos e indirectos mediante la reducción del tamaño del sistema y la ralentización del crecimiento de los datos.
• Mayor rendimiento
• Simplifique la administración del sistema y acelere las tareas que requieren mucho tiempo, como las copias de seguridad y recuperación, las copias del sistema y las actualizaciones.
• Ahorro de costes directos e indirectos al utilizar Business Warehouse Accelerator Hana