Las pilas de datos modernas constan de varias herramientas y marcos para procesar datos. Por lo general, será una gran colección de diferentes recursos en la nube cuyo objetivo es transformar los datos y llevarlos a un estado en el que podamos crear información valiosa. Gestionar la multitud de estos recursos de procesamiento de datos no es una tarea fácil y puede parecer abrumadora. Lo bueno es que los ingenieros de datos inventaron la llamada solución. infraestructura como código. Básicamente, es la codificación la que nos ayuda a implementar, aprovisionar y administrar todos los recursos que podamos necesitar en nuestras canalizaciones de datos. En esta historia, quiero analizar técnicas populares y marcos existentes que tienen como objetivo simplificar la adquisición de recursos y la implementación de canales de datos. Recuerdo cuán temprano en mi carrera de datos solía administrar recursos de datos utilizando la interfaz de usuario web, es decir, depósitos de respaldo, roles de seguridad, etc. se realizan mediante programación utilizando plantillas y código.
Pilas de datos modernas
¿Qué será: Modern Data Stack (MDS)? Las tecnologías utilizadas específicamente para organizar, almacenar y manipular datos serán lo que constituirá una base de datos moderna (1). Esto es lo que ayuda a dar forma a una plataforma de datos innovadora y exitosa. Recuerdo que planteé esta discusión en una de las historias anteriores.
Un plan de plataforma de datos simplificado suele tener este aspecto:
Por lo general, se necesitan docenas de fuentes de datos diferentes y recursos de plataformas en la nube para procesarlos.
Los tipos de arquitectura de plataforma de datos pueden depender de las necesidades funcionales y comerciales, las habilidades de nuestros usuarios, etc. Pero, en general, el diseño de infraestructura implica muchos procesos de datos…
