Categoria: Engenharia de dados

O que é uma ODS?

Uma ODS – (operational data store) é um banco de dados central que fornece um snapshot dos dados mais recentes de vários sistemas transacionais para relatórios operacionais. Ele permite que as organizações combinem dados em seu formato original de várias fontes em um único destino para disponibilizá-los para relatórios de negócios. Uma ODS contém informações…
Leia mais

Luigi, Airflow, Pinball e Chronos: Comparando Sistemas de Gerenciamento de Fluxo de Trabalho

A construção de sistemas de grande escala que lidam com uma quantidade considerável de dados geralmente requer vários trabalhos de ETL e diferentes mecanismos de processamento. Em nosso caso, por exemplo, o processo ETL consiste em muitas transformações, como normalização, agregação, desduplicação e enriquecimento de milhões de registros de dados do carro. Esses tipos de…
Leia mais