Categoria: Engenharia de dados

Operational Data Storage (ODS), ou Armazenamento de Dados Operacionais, é uma abordagem que permite armazenar e gerenciar dados em tempo real, de forma integrada e acessível. O ODS é um tipo de armazenamento de dados que está sempre atualizado e pronto para ser utilizado por outras aplicações ou processos de negócios. Ele pode ser considerado…
Leia mais

O Windows Subsystem para Linux ou Windows WSL é uma ótima solução para os desenvolvedores trabalharem nativamente no Linux diretamente na área de trabalho da versão do Windows 10, mas onde ficam os arquivos e pastas? O que é o WSL? WSL ou C:\Windows\System32\wsl.exe é uma ferramenta do Windows que permite instalar uma distribuição Linux…
Leia mais

Para aumentar a produtividade dos cientistas de dados e pesquisadores da Lyft, desenvolvemos um aplicativo de descoberta de dados baseado em um mecanismo de metadados. Com o codinome Amundsen (em homenagem ao explorador norueguês Roald Amundsen), melhoramos a produtividade de nossos usuários de dados fornecendo uma interface de pesquisa de dados semelhante a esta: O…
Leia mais

Uma ODS – (operational data store) é um banco de dados central que fornece um snapshot dos dados mais recentes de vários sistemas transacionais para relatórios operacionais. Ele permite que as organizações combinem dados em seu formato original de várias fontes em um único destino para disponibilizá-los para relatórios de negócios. Uma ODS contém informações…
Leia mais

A construção de sistemas de grande escala que lidam com uma quantidade considerável de dados geralmente requer vários trabalhos de ETL e diferentes mecanismos de processamento. Em nosso caso, por exemplo, o processo ETL consiste em muitas transformações, como normalização, agregação, desduplicação e enriquecimento de milhões de registros de dados do carro. Esses tipos de…
Leia mais