Big Data é o termo que descreve o imenso volume de dados, estruturados e não estruturados, que impactam os negócios no dia a dia. Mas o importante não é a quantidade de dados. E sim o que as empresas fazem com os dados que realmente importam. Big Data pode ser analisado para a obtenção de insights que levam a melhores decisões e direções estratégicas de negócio.
É um termo amplamente usado atualmente para nomear conjuntos de dados muito grande ou complexos, que os aplicativos de processamento de dados tradicionais não conseguem lidar. Para atuar com Big Data, deve-se compreender os desafios de se trabalhar na área, que incluem: Análise, Captura, Curadoria de Dados, Pesquisa, Compartilhamento, Armazenamento, Transferência, Visualizações e informações acerca da privacidade dos dados.
Big Data pode-se basear em 5V’s: Velocidade, Volume, Variedade, Veracidade e Valor.
Volume: O primeiro V refere-se exatamente ao volume de dados gerados a cada segundo, essa quantidade de dados que o Big Data lida.
Variedade: Quanto mais dados e fontes eu tenho, maior é a complexidade para trabalhar os dados, mas também maiores as possibilidades que tenho para gerar informação útil. Por isso a variedade de dados é tão importante. Aqui já é bom dizer que chamamos de fonte de dados os locais onde os dados são armazenados, portanto ferramentas como Google Analytics, RD Station, Facebook e apps como o Whatsapp são fontes de dado.
Velocidade: A velocidade trata de um dos grandes desafios do Big Data. Devido ao grande volume e variedade de dados, todo o processamento deve ser ágil para gerar as informações necessárias. É necessário gerar informação com a maior agilidade possível para as tomadas de decisão sejam efetivas.
Veracidade: A veracidade está ligada diretamente ao quanto uma informação é verdadeira. O emaranhado de dados pode nos confundir, por isso todo cuidado é pouco para obtermos veracidade dos dados.
Valor: O último V é o valor. Se você direcionou esforços para gerar uma informação que não serve para nada, o valor do trabalho realizado será perto de zero, portanto, precisamos entender muito bem o contexto e necessidade para gerar a informação certa para as pessoas certas. Por isso falamos tanto em “informação útil”.
Como TRABALHAR COM BIG DATA
As oportunidades de trabalho na área de estatística estão aumentando graças à proliferação de programas para análise de dados e seu uso, especialmente, na tomada de decisão com objetivos estratégicos como: políticas de governo, seleção de investimentos, gestão de empresas e negócios, etc. O Big Data permite trabalhar com grandes volumes de dados, por vezes, não aceitos pelos grandes programas estatísticos. No Brasil existe da profissão de Estatístico, regulamentada pelo Decreto Federal nº 62497 de 1968. Este profissional é treinado para trabalhar com estruturas de dados, em seu manuseio para extração de informação estratégica, nos métodos estatísticos de análise e em programação para sua análise estatística, de modo a se obter conclusões com margens de erro controladas para a tomada de decisões com base nos dados disponíveis.
Para se trabalhar com Big Data, acredita-se que o melhor caminho é:
- Conhecer as ferramentas utilizadas;
- Possuir perfil misto: técnico e negócios;
- Conhecer Business Inteligence e Data Warehouse;
- Compreender os processos da empresa;
- E conhecer estatística e matemática.
Pode-se classificar os profissionais que atuam com Big Data em três perfis:
1. ANALISTA DE DADOS
- Responsável por atender as demandas das áreas de negócio ou planejamento da empresa;
- Participa da formulação dos problemas e respostas;
- Deve conhecer as ferramentas de consulta e acesso aos dados;
- Deveria conhecer estatística.
2. DESENVOLVEDOR
- Responsável por desenvolver os processos necessários para geração dos dados;
- Processos de Captura, Transformação e Carga de Dados;
- Deve conhecer tecnicamente as ferramentas envolvidas;
- Deve conhecer sobre programação;
3. ADMINISTRADOR
- Responsável por manter os ambientes e ferramentas funcionando da melhor maneira;
- Deve conhecer sobre os sistemas operacionais utilizados, principalmente Linux;
- Deve conhecer sobre arquitetura de hardware e redes para garantir a melhor performance;
- Deve conhecer sobre os processos de Tunning das ferramentas.
O QUE É PRECISO SABER PARA SE TRABALHAR COM BIG DATA?
Alguns pontos técnicos importantes para se trabalhar com Big Data.
- Programação – as ferramentas ainda são pouco automatizadas na geração de código;
- Sistema Operacional Linux – Diversos softwares rodam em Linux. É necessário conhecer comandos básicos para execução de processos;
- Modelagem de Dados
- Conhecer sobre o negócio ou sobre os processos da empresa;
- Conhecer ou ter noções mínimas de estatística e matemática aplicada a dados.
