Big Data: habilidades e ferramentas para o triunfo

Existem vários caminhos dentro do universo dos dados, mas todos precisam de certos conhecimentos e destrezas para obter o sucesso.

Supondo que você seja esperto(a) com tecnologia e decide fazer do Big Data o seu desafio profissional. Ótimo. É uma grande decisão que traz vários desafios. Agora vejamos… em qual campo do Big Data você vai desenvolver? Análise? Arquitetura? Ciencia de dados? Independente da sua escolha, vai ser preciso ter certas habilidades para que a sua experiência seja a melhor. Provavelmente você tenha algumas, mas aqui vamos te contar quais são as essenciais que você deve ter.

O essencial

Independentemente do que vai fazer, tudo começa em dominar as linguagens de programação como R, Python, JavaScript, Kotlin, SQL/NoSQL, Apache Spark o MapReduce, porque com elas, poderá desenvolver ou compreender os códigos existentes em um tema determinado. Além disso, tenha em mente a mineração de dados, pois ela fornecerá a matéria-prima com a qual você poderá traduzir as informações brutas em elementos processados ​​e úteis para o seu trabalho. Nesse caso, RapidMiner ou Knime podem ser de grande utilidade.

Outro detalhe é a visualização de dados. É necessario que você conheça sobre Tableau, Pandas y/o Jupyter, porque seu uso implica em várias casos em Big Data. Por último, na seção básica você também deve ter noções de matemática, álgebra, estatística e probabilidade.

Junto com as ferramentas que mencionamos aqui no artigo, você deve considerar outras que serão fundamentais dependendo da sua área de especialização. A seguir, mencionaremos algumas das vertentes e quais ferramentas você vai precisar na sua profissão.

Atenção: as ferramentas citadas aqui não são exclusivas de cada segmento, portanto, podem ser utilizadas transversalmente.

• Ciência de Dados: Apache Hive, Apache Hadoop, Apache Mahout, Kagle, IBM, Anaconda, SAS, entre outras.
• Análises de Dados: Bottlenose, Datameer, Pentaho, Guavus, Google Analytics, Attivio, C++, HTML, CSS.
• Machine Learning: TensorFlow, Keras, PyTorch, Weka, Google colab, Amazon Machine Learning, Dataiku, Databricks, Playment, Mljar e similares.
• Administração de bases de dados: CouchDB, Membase, Oracle Database, MongoDB, Redis, Apache Hive, Apache Cassandra, etc.
• Análises de negócios: Certificações PMI-PBA e CBAP, Balsamiq, Bizagi, Trello, Jira, IRise, entre outras.
• Arquitetura de dados: Apache Hadoop, ERwin, Riak, Neo4j. Engenharia de dados: Apache Hadoop, SAP Hana, Teradata, Pentaho, Oracle, Neo4j e similares.

Praticamente todos os itens acima ocorrem no campo numérico e digital. Se você tiver o conhecimento e um equipamento para usar essas ferramentas, terá uma boa parte do caminho percorrido. No entanto, não é a única coisa que você vai precisar.

Para ser referência em Big Data você também precisará de outras habilidades, algumas mais focadas em você como pessoa e como profissional. Sim, seu domínio das ferramentas é primordial, mas há outros detalhes que você também deve abordar. Isto é o que queremos dizer:

Comunicação: pode ser que, após usar as ferramentas que comentamos, você saiba interpretar bem o que encontra nos dados e qual caminho seguir no futuro. Mas seus clientes ou superiores podem não estar tão imersos em Big Data quanto você. Portanto, você precisa expressar suas descobertas de forma clara, concisa e refinada.

Quem vem até você como profissional de Big Data espera resultados precisos e rápidos porque precisa deles para tomar decisões. Então você deve comunicá-los da melhor maneira possível. Evite qualificadores ou pensar demoradamente no discurso: vá direto ao ponto.

Se seus resultados mostrarem que o caminho percorrido pela empresa não está correto, expresse-o com tato e assertividade. Faça-os ver que você está do lado deles e que você partilha do sucesso que eles desejam. Persuadir e convencer com bondade.

Trabalho em equipe: é muito provável que suas aventuras no Big Data sejam na companhia de seus colegas ou outros colaboradores. Compartilhe entre vocês as atividades de trabalho, teste diferentes ferramentas, troque informações e assegure mutuamente as melhores práticas.

Prevenir erros: trabalhar com zettabytes de informações pode gerar bugs e erros que podem afetar seu trabalho. É muito provável que, em algum momento, haja retrocessos no que você propõe. Por isso, é importante rever bem seus passos, antecipar situações críticas e blindar suas descobertas. Se você tiver dúvidas ou algo sensível aconteceu, peça ajuda ou denuncie antes que isso aumente.

Apresentação é tudo: aqui falamos sobre suas próprias descobertas. Embora sua área de trabalho esteja em um computador e os milhões de dados dentro dele, você precisará apresentá-lo para diferentes públicos.

Aí vem a outra parte. Em seu relatório de resultados, compartilhe-os de forma atrativa, ou seja com tabelas, gráficos, modelos, ilustrações ou desenhos que permitam sua rápida interpretação por seus superiores ou clientes. Inove, crie modelos diferentes, escolha cores e fontes amigáveis. Lembre-se que o gráfico deve sempre superar o escrito. Ah, e não se esqueça de mostrar tudo brevemente.

Pronto. Com isso, damos uma ideia sobre as ferramentas e habilidades que você precisará enquanto trabalhar com Big Data. Tenha em mente que assim como há toneladas de novos dados todos os dias, também existem programas, linguagens e aplicativos para analisá-los. É fundamental que você esteja sempre atualizado para se diferenciar como profissional.