Modern Data Stack: Como implementar na minha empresa?

É uma realidade que as empresas mais bem-sucedidas de hoje têm produtos, experiências e, em geral, propostas de valor fortemente habilitadas por dados.

A utilização destes permite às empresas modernas criar campanhas de atração de clientes altamente otimizadas, oferecer experiências personalizadas e criar produtos ou serviços inovadores. Por sua vez, essas organizações geram um círculo virtuoso onde medem cada vez mais elementos de seus negócios, geram maiores volumes de dados e criam uma cultura baseada na tomada de decisões com evidências.

Mas, por outro lado, podemos encontrar empresas que sofrem com concorrentes que são nativos digitais e desconfiam de sua capacidade de gerar valor usando seus dados embora essas empresas geralmente já possuem algumas ferramentas. No entanto, suas soluções são projetadas para cumprir um papel 100% técnico ou de engenharia e tendem a se ater a contextos anteriores onde os dados não desempenhavam um papel fundamental na experiência e na proposta de valor.

Os dados são essenciais na execução da proposta de valor das empresas modernas. Assim nasceu o conhecido Modern Data Stack. Isso consiste não apenas na escolha de tecnologias modernas, mas em uma total mudança de paradigma na forma como as organizações tratam seus dados.

Modern Data Stack tem como filosofia:

Garanto que com a mentalidade correta e a pilha de dados certa, em pouco tempo você começará a gerar muito valor para sua empresa. Agora você pode estar se perguntando, como usar isso na minha empresa?

Analise o seguinte para começar:

Que perfil minha equipe tem?

A organização da sua empresa é importante e define na maioria dos casos a personalidade da sua equipe. Quando a equipe de dados depende da área de sistemas de informação, normalmente ela terá um perfil muito técnico com perfis muito focados em sistemas e administração de banco de dados. Por outro lado, se depender de áreas de negócios como Vendas, Recursos Humanos ou Operações, geralmente o perfil das pessoas é mais voltado para analytics.

Ambos os extremos podem estar corretos, dependendo das necessidades do negócio, mas as habilidades de sua equipe desempenham um papel importante na sua escolha. Agora que você refletiu sobre a situação atual em sua organização, começaremos mencionando os blocos de construção da Modern Data Stack.

Você pode encontrar muitas versões da Modern Data Stack, mas em essência ela é composta por 5 elementos:

Fontes de dados: Nas organizações modernas, eles buscam extrair valor dos dados de todos os tipos de fontes como APIs, SaaS, redes sociais, aplicativos e bancos de dados de qualquer tipo.

Ingestão: A ingestão de dados é ágil. Poucos recursos são dedicados aos processos de engenharia de carregamento de dados usando ferramentas com conectores pré-construídos. Nesse caso, as organizações podem seguir um dos dois paradigmas para esse processo: ETL (Extract-Transform-Load) ou ELT (Extract-Load-Transform).

O último está crescendo em popularidade à medida que as empresas buscam ter data lakes e armazéns em um só lugar.

Armazenamento: A Modern Data Stack é naturalmente considerada nativa da nuvem para aproveitar, entre outras coisas, os benefícios de baixa manutenção de infraestrutura e modelos de cobrança escaláveis.

As soluções modernas de data warehouse permitem a centralização e o gerenciamento da diversidade de dados estruturados e não estruturados que uma empresa pode precisar.

Valor: A geração de valor com dados pode acontecer de várias maneiras, desde os relatórios de TI mais tradicionais até os aplicativos de dados mais avançados. Nossa pilha de dados deve nos permitir concentrar esforços neste ponto, principalmente.

Governo: Pode parecer invisível, mas é decisivo para o sucesso de qualquer iniciativa de dados.

A implementação de um bom programa de governança de dados deve priorizar a privacidade e a segurança dos dados, mas sem se tornar um processo burocrático que limite a geração de valor.

Esse elemento é um facilitador muito importante de outros recursos, como catalogação, exploração e acesso de autoatendimento aos dados.

Esses são os elementos essenciais de uma Modern Data Stack, mas não são os únicos. Eu recomendo que você comece a explorar a de outras empresas e entenda como elas se alinham às suas necessidades.

Agora você pode estar se perguntando, quais soluções existem no mercado para formar minha Modern Data Stack? Mostrarei algumas soluções líderes que você deve analisar em detalhes para garantir que atendam às suas necessidades.

Lembre-se de que existem muitas soluções no mercado e que todas podem ser valiosas, dependendo das suas circunstâncias. Neste caso, mencionaremos alguns dos mais populares.

Fontes de dados

Embora não nos aprofundemos neles porque podem ser infinitos, é importante lembrar que o paradigma considera que devemos ser capazes de integrar dados de todas as fontes que sejam valiosas para o negócio. Portanto, devemos ser capazes de ingerir fontes que não eram tradicionalmente feitas, como redes sociais, SaaS ou APIs.

Ingestão de dados

Apresento três alternativas que, de acordo com o perfil da sua equipe e do seu stack tecnológico, podem te ajudar:

Armazenamento de dados

Apresento apenas algumas alternativas, que tratam de um paradigma Data Warehouse (principalmente para dados estruturados) ou Data Lakehouse (permite gerenciar dados estruturados, semiestruturados e não estruturados).

A Modern Data Stack é nativa da nuvem, portanto, todas as soluções oferecem os benefícios de baixa manutenção de infraestrutura e escalabilidade de custos.

Geração de valor com dados

Neste caso específico, as ferramentas não são concorrentes, mas complementos. Compartilho com você os que considero essenciais em sua Data stack.

Governo

Do meu ponto de vista, o sucesso das iniciativas de dados está na implementação de uma cultura de dados baseada em confiança e responsabilidade. Portanto, o design e a aplicação da governança de dados são essenciais.

Espero que este artigo desafie seus paradigmas atuais e que você possa começar a projetar uma estratégia de dados de médio e longo prazo que permita passar da dedicação de esforços para a mera engenharia de gerenciamento de dados para a geração de valor para o seu negócio.