Agora, na parte 2, aprenderemos como extrair informações do Big Data e as principais ferramentas utilizadas.

Como extrair informações do big data

Para extrair informações do big data são utilizados os chamados Big data analytics, que são softwares poderosos que processam dados transformando-os em informação.

O big data representa uma enorme quantidade de dados e por isso necessita de grande capacidade de processamento computacional.

Dessa maneira, para implementar um projeto com essa tecnologia, as etapas abaixo devem ser seguidas (NeoWay, 2019).

1. Concepção

Antes de tudo, são definidos os objetivos e a estratégia por trás do projeto de análise de dados.

2. Coleta de dados

Em seguida, os dados são coletados de acordo com os critérios definidos na etapa anterior.

3. Pré-processamento

Logo após é feita uma limpeza dos dados. Esta etapa consiste na utilização de métodos estatísticos para encontrar e corrigir discrepâncias e desvios como valores duplicados, nulos ou inconsistentes.

4. Data Mining

Posteriormente, é feito o processamento dos dados. É nesta etapa onde os dados são processados com métodos de Inteligência Artificial para encontrar padrões de acordo com os objetivos traçados para o projeto.

5. Análise de conteúdo

Logo após a mineração dos dados, aplicam-se métodos de análise (como análise descritiva, preditiva e diagnóstica) para embasar a tomada de decisão.

6. Visualização de informações

Os métodos de visualização de dados ajudam a melhorar a compreensão, além de facilitar a interpretação de todos sobre os padrões encontrados ao processar e analisar as informações.

7. Integração de dados

Por fim, é feita a integração dos dados. Essa etapa final representa o amadurecimento da empresa que, ao invés de processar e analisar os dados de maneira pontual, cria processos para que isso seja feito sistematicamente.

Principais ferramentas

1- Import.io

O Import.io oferece um produto SaaS, ou seja, disponibiliza softwares e soluções de tecnologia por meio da internet, como um serviço.

Essa ferramenta permite aos usuários converter a massa de dados de sites em dados estruturados e legíveis, sem a necessidade de codificação.

Ademais, possui uma interface que transforma sites em dados com alguns cliques simples, permitindo que qualquer pessoa obtenha os dados de que precisa.

2- Apache Hadoop

O Apache Hadoop é uma das principais ferramentas de Big Data utilizadas no mercado. Ou seja, é o principal framework utilizado no processamento e armazenamento de grandes conjuntos de dados.

É uma plataforma de software em Java de computação distribuída voltada para clusters e processamento de grandes volumes de dados, com atenção a tolerância a falhas.

A plataforma está disponível nas versões gratuita e paga.

3- Oracle Data Mining

Essa ferramenta apresenta algoritmos de mineração que permitem obter insights, previsões e alavancar investimentos.

Ademais, o ODM também pode criar e aplicar modelos de análise preditiva, identificar padrões de comportamento, oportunidade de vendas e detectar possíveis fraudes e anomalias.

4- Statwing

O Statwing é bastante usado na análise estatística. Seu funcionamento é simples, basta importar uma planilha e os dados contidos nela serão verificados automaticamente.

Dessa maneira, o uso dessa ferramenta permite construir relações entre diferentes dados, fazer análises detalhadas, comparações e descrições dos dados e criar tabelas e gráficos automaticamente.

5- Tableau

A finalidade principal dessa ferramenta é a visualização. Com ela pode-se criar mapas, gráficos, tabelas para facilitar a compreensão das informações obtidas na análise de dados.

Tudo isso é criado de forma rápida e atualizado em tempo real. O Tableau está disponível nas versões gratuitas e pagas com funcionalidades adicionais.

6- Chartio

Essa ferramenta permite a combinação dos dados para a criação de relatórios. Tudo isso feito diretamente no seu navegador.

Além disso, os arquivos podem ser convertidos em formato PDF e enviados por e-mail. Essa ferramenta também está disponível nas versões gratuita e paga.

7- Pentaho

A principal função dessa ferramenta é a integração. Ou seja, ela conecta outras ferramentas como o Tableau (item 5) com as redes sociais da sua empresa.

O Pentaho é gratuito no primeiro mês.

8 – Pesquisas automatizadas

Por fim, as pesquisas automatizadas são utilizadas para a coleta de dados que podem servir de guia na tomada de decisão e estratégias de negócio.

Porém, esse método exige, em muitos casos, a utilização de outras ferramentas, conhecimento em métodos estatísticos, modelos preditivos, programação de algoritmos e outras técnicas.

Na parte 3 iremos conhecer as aplicações do Big Data na engenharia.

The post Big Data: A nova commodity – Parte 2 appeared first on Blog da Engenharia.

Ou seja, a informação surge a partir da análise e processamento dos dados. Essa informação, por sua vez, gera conhecimento que serve de base para a tomada de decisão das empresas, indústria e governo.

Definição de Big Data

Big Data pode ser representado como uma enorme quantidade de dados dos mais variados tipos. Em outras palavras, refere-se à capacidade de armazenamento e de processamento de um número imensurável de informações distintas entre si.

Existem vários tipos de dados. Nossos dados pessoais, por exemplo, como nome, idade e estado civil, podem ser considerados dados, pois isoladamente não constituem uma informação.

Além disso, o Big Data está relacionado a área do conhecimento que estuda como tratar, analisar e obter informações a partir desse grande conjunto de dados. Ou seja, gerar valor e informações úteis a partir de dados brutos.

O conceito de Big Data se divide em 5 V’s:

• Volume, devido ao gigantesca quantidade de dados;
• Velocidade, ligada à velocidade de produção dos dados;
• Variedade, relacionada aos diferentes tipos de dados;
• Veracidade, atrelada aos dados verídicos e atualizados e;
• Valor, sendo este gerado após o processamento e análise.

Resumindo, Big Data nada mais é do que uma gigantesca quantidade de dados que ao serem processados e analisados produzem informações valiosas que servem de base para a tomada de decisão.

Ademais, o Big Data pode trabalhar com dados estruturados, não estruturados e semiestruturados. Dados estruturados são aqueles organizados por um padrão fixo como o banco de dados.

Por outro lado, os dados não-estruturados não possuem estrutura de organização rígida, sendo totalmente desestruturados como as fotos, áudios e vídeos.

Já os dados semiestruturados estão no meio termo. Estes possuem algumas características consistentes e definidas, mas não apresentam uma estrutura rígida como os dados estruturados. O arquivo XML é um exemplo.

Um grande potencial

Ao longo do tempo, a quantidade de dados gerados vem crescendo exponencialmente. Esse fenômeno se deve, principalmente, ao surgimento da rede mundial de computadores e à internet das coisas (IoT).

Essas invenções permitem a criação e compartilhamento de dados e informações de forma bastante facilitada. Para se ter uma ideia, atualmente geramos mais de 40 trilhões de Gigabytes de dados diariamente.

Toda vez que você navega na internet, posta fotos ou vídeos em redes sociais há a produção de dados. Adicionalmente, as empresas, indústrias e governo produzem dados durante a execução de suas atividades. Ou seja, é dado que não acaba mais!

Agora imagine quantas informações valiosas podem ser extraídas dessa imensidão de dados. São infinitas possibilidades!

A partir da análise desses dados pode-se obter tendências de mercado, padrões de comportamentos, realizar o diagnóstico atual de uma empresa ou até mesmo fazer previsões por meio da análise preditiva.

Tudo isso ajuda as empresas, indústrias e governo a tomarem decisões mais inteligentes, aumentar a produtividade e efetividade das suas ações. Além disso, contribui para a redução dos custos e das chances de tomar uma decisão errada.

Percebeu o grande potencial do big data e da análise desses dados?

Na parte 2 veremos como podemos aplicá-los na engenharia.

The post Big Data: a nova commodity – Parte 1 appeared first on Blog da Engenharia.

A estrutura

Primeiramente precisamos entender que internet é um conjunto de redes que fazem interface entre si. Logo, redes irão variar de tamanho e alcance, podendo ser as menores e mais conhecidas LAN’s (Local Area Network) as  gigantes WAN’s (Wide Area Network).

Os dados viajam de um emissor para um receptor, por meio de duas formas: Wireless (sem cabeamento) ou cabeada.

A tecnologia Wireless envia nossos dados através de ondas eletromagnéticas que se propagam no ar. Contudo, a rede cabeada (fibras ópticas) envia nossos dados por meio de pulsos de luz.

O percurso dos dados

Os dados percorrem distâncias que variam, de pontos próximos, como acesso a um site hospedado em um servidor na sua cidade, até sites em outros países.

Entretanto, existem caminhos por onde os dados trafegam. Estes caminhos serão apresentados a seguir.

Backbones

É a espinha dorsal dos caminhos dos dados, fazendo uma analogia, backbones seriam as rodovias principais e os pontos de distribuição as vias locais. Portanto, eles proporcionam a conexão entre grandes distâncias, ligando estados e países.

Vamos a um exemplo: quando você envia um e-mail para um destinatário, o que acontece é o envio dos dados (e-mail) da rede local para o backbone, do backbone para rede local do destinatário.

Provedor de acesso

São serviços que tem a função de conectar um usuário a internet, empresas que contratam o sinal dos Backbones para distribuir a seus clientes. Contudo, subdividem-se em mais dois tipos de provedores: provedor de serviço e provedor de hospedagem.

Provedores de serviço são responsáveis pelo registro e manutenção de domínios, oferecendo ou não serviços como os de hospedagem.

Provedores de hospedagem são empresas que oferecem serviços de hospedagem de sites na Internet e também podem oferecer registro de domínio a seus clientes de forma agregada.

Usuário final

 Sim, somos nós os usuários finais da internet, mas engana-se quem acha que é o ponto final da internet. Dados fazem caminhos reversos constantemente, viajam para um destino, desse destino fazem o caminho reverso, vão a outro local, e seguem suas jornadas sem fim.

Protocolos

Você provavelmente já deve ter ouvido falar em IP, mas já se perguntou o que significa essa sigla, ou melhor, qual sua funcionalidade?

IP é a sigla para Internet Protocol, e esse protocolo é o principal responsável por endereçar pacotes de dados que trafegam pela internet.

Dentro de um pacote de dados existe o cabeçalho e os dados propriamente ditos. O cabeçalho carrega as informações de endereçamento dos dados. Contudo, cada pacote de dados tem seu endereço de origem e destino em seu cabeçalho.

Outra sigla conhecida quando o assunto são dados é o TCP. TCP é a sigla de Transmission Control Protocol, que é o responsável por fracionar uma mensagem em partes menores, distribuindo-as pela internet.

Apesar de serem mais lembrados juntos (TCP/IP), como visto acima tratam-se de dois protocolos de internet diferente, mas que trabalham em conjunto. Um fraciona os dados e outro os endereça para um destino.

Os pacotes de dados podem eventualmente, percorrer caminhos diferentes, mas com o endereçamento IP que cada um terá, o destino final não se altera.

Portanto, apesar de para nossos olhos dados viajam pela internet em velocidades altíssimas, seu caminho não é tão simples quanto parece.

Com algumas etapas, os dados seguem um padrão de viagem, que pode ser alterado a depender do evento. Porém, existem ferramentas que garantem ou possibilitam a entrega das informações.

The post O caminho dos dados pela internet appeared first on Blog da Engenharia.

Além disto, realiza uma série de pesquisas e buscas que revelam muito sobre os seus interesses e seu perfil consumidor.

Nos Estados Unidos, uma investigação apontou que parte destas informações pessoais foram usadas por determinados candidatos nas últimas eleições presidenciais, em especial os dados fornecidos ao Facebook.

E no Brasil? Quem pode ter acesso aos dados que você fornece na internet ou para empresas?

Graças à Lei Geral de Proteção de Dados (LGPD), que pode entrar em vigor ainda este ano, todos os seus dados pessoais estarão protegidos. Sejam aqueles dados que a sua operadora de celular detém, sejam aqueles que você mesmo forneceu para determinada instituição.

A ideia não é proibir as empresas de compartilharem os dados das pessoas, mas estabelecer protocolos que garantam que estes dados não sejam usados de forma a ferir os direitos individuais e/ou a privacidade de qualquer cidadão.

Por exemplo, quem é aposentado ou pensionista já se deparou com correspondências de escritórios de advocacia, ou com ligações de empresas financeiras, e se surpreendeu ao ver todos os dados pessoais ali.

Como pode uma empresa com a qual a pessoa nunca se relacionou saber tudo sobre ela?

Com a LGPD, cada cidadão terá o direito de saber com quem (e por qual motivo) os seus dados pessoais foram compartilhados.

Para que tudo isso comece a valer de verdade, o Brasil ainda precisa de duas coisas: de um órgão para gerenciar e fiscalizar todos estes dados e regras estabelecidas pela nova lei (a própria lei prevê a criação da Autoridade Nacional de Proteção de Dados, pelo governo federal), e da adequação das empresas e instituições que utilizam-se de dados pessoais de seus clientes e colaboradores.

O desafio de fazer acontecer

Este é o maior desafio, já que esta adequação vai exigir a alteração estrutural e jurídica de muitas organizações.

Quando falamos em mudança, estamos indo além da iniciativa privada, estamos falando do próprio poder público que terá se adequar.

Os dados de beneficiários de um determinado programa social, por exemplo, não poderão ser compartilhado para outra política pública sem que os titulares autorizem.

O mesmo deve ocorrer em situações de pesquisas, de proteção ao crédito e até mesmo processos judiciais. Ou seja, todo o sistema deverá se adequar.

Em um mundo em que tudo é digital, em que contratos dos mais diversos tipos são feitos 100% digitalmente, é imprescindível estabelecer regras para que o que você compartilha com determinada empresa ou prestador de serviço não seja usado de forma indevida e sem o seu consentimento, o que ainda é possível de se ocorrer no Brasil.

A LGPD pretende ser uma revolução no conceito de privacidade. Afinal, é privado aquilo que pertence a si mesmo. Segundo o próprio dicionário, é aquilo que está “à parte do coletivo”.

Portanto, dados privados não devem ser compartilhados com outras empresas ou grupos sem a autorização prévia do titular e sem a mediação do poder público, que deve resguardar esta privacidade.

Vinicius Marchese, engenheiro e presidente licenciado do CREA-SP.
Instagram: @viniciusmarchese
youtube.com/Vimarchese

The post Como sua vida pode mudar com a LGPD – Lei Geral de Proteção de Dados appeared first on Blog da Engenharia.