Agora, na parte 2, aprenderemos como extrair informações do Big Data e as principais ferramentas utilizadas.

Como extrair informações do big data

Para extrair informações do big data são utilizados os chamados Big data analytics, que são softwares poderosos que processam dados transformando-os em informação.

O big data representa uma enorme quantidade de dados e por isso necessita de grande capacidade de processamento computacional.

Dessa maneira, para implementar um projeto com essa tecnologia, as etapas abaixo devem ser seguidas (NeoWay, 2019).

1. Concepção

Antes de tudo, são definidos os objetivos e a estratégia por trás do projeto de análise de dados.

2. Coleta de dados

Em seguida, os dados são coletados de acordo com os critérios definidos na etapa anterior.

3. Pré-processamento

Logo após é feita uma limpeza dos dados. Esta etapa consiste na utilização de métodos estatísticos para encontrar e corrigir discrepâncias e desvios como valores duplicados, nulos ou inconsistentes.

4. Data Mining

Posteriormente, é feito o processamento dos dados. É nesta etapa onde os dados são processados com métodos de Inteligência Artificial para encontrar padrões de acordo com os objetivos traçados para o projeto.

5. Análise de conteúdo

Logo após a mineração dos dados, aplicam-se métodos de análise (como análise descritiva, preditiva e diagnóstica) para embasar a tomada de decisão.

6. Visualização de informações

Os métodos de visualização de dados ajudam a melhorar a compreensão, além de facilitar a interpretação de todos sobre os padrões encontrados ao processar e analisar as informações.

7. Integração de dados

Por fim, é feita a integração dos dados. Essa etapa final representa o amadurecimento da empresa que, ao invés de processar e analisar os dados de maneira pontual, cria processos para que isso seja feito sistematicamente.

Principais ferramentas

1- Import.io

O Import.io oferece um produto SaaS, ou seja, disponibiliza softwares e soluções de tecnologia por meio da internet, como um serviço.

Essa ferramenta permite aos usuários converter a massa de dados de sites em dados estruturados e legíveis, sem a necessidade de codificação.

Ademais, possui uma interface que transforma sites em dados com alguns cliques simples, permitindo que qualquer pessoa obtenha os dados de que precisa.

2- Apache Hadoop

O Apache Hadoop é uma das principais ferramentas de Big Data utilizadas no mercado. Ou seja, é o principal framework utilizado no processamento e armazenamento de grandes conjuntos de dados.

É uma plataforma de software em Java de computação distribuída voltada para clusters e processamento de grandes volumes de dados, com atenção a tolerância a falhas.

A plataforma está disponível nas versões gratuita e paga.

3- Oracle Data Mining

Essa ferramenta apresenta algoritmos de mineração que permitem obter insights, previsões e alavancar investimentos.

Ademais, o ODM também pode criar e aplicar modelos de análise preditiva, identificar padrões de comportamento, oportunidade de vendas e detectar possíveis fraudes e anomalias.

4- Statwing

O Statwing é bastante usado na análise estatística. Seu funcionamento é simples, basta importar uma planilha e os dados contidos nela serão verificados automaticamente.

Dessa maneira, o uso dessa ferramenta permite construir relações entre diferentes dados, fazer análises detalhadas, comparações e descrições dos dados e criar tabelas e gráficos automaticamente.

5- Tableau

A finalidade principal dessa ferramenta é a visualização. Com ela pode-se criar mapas, gráficos, tabelas para facilitar a compreensão das informações obtidas na análise de dados.

Tudo isso é criado de forma rápida e atualizado em tempo real. O Tableau está disponível nas versões gratuitas e pagas com funcionalidades adicionais.

6- Chartio

Essa ferramenta permite a combinação dos dados para a criação de relatórios. Tudo isso feito diretamente no seu navegador.

Além disso, os arquivos podem ser convertidos em formato PDF e enviados por e-mail. Essa ferramenta também está disponível nas versões gratuita e paga.

7- Pentaho

A principal função dessa ferramenta é a integração. Ou seja, ela conecta outras ferramentas como o Tableau (item 5) com as redes sociais da sua empresa.

O Pentaho é gratuito no primeiro mês.

8 – Pesquisas automatizadas

Por fim, as pesquisas automatizadas são utilizadas para a coleta de dados que podem servir de guia na tomada de decisão e estratégias de negócio.

Porém, esse método exige, em muitos casos, a utilização de outras ferramentas, conhecimento em métodos estatísticos, modelos preditivos, programação de algoritmos e outras técnicas.

Na parte 3 iremos conhecer as aplicações do Big Data na engenharia.

The post Big Data: A nova commodity – Parte 2 appeared first on Blog da Engenharia.

E o que o georreferenciamento tem a ver com tudo isso? 

Bom, não estamos falando apenas do georreferenciamento em si, e sim de softwares que unem banco de dados e referencias geográficas, para melhorar a confiabilidade do cadastro de água e esgoto de empresas prestadoras do serviço. 

O que é georreferenciamento? 

De forma conceitual, é tornar conhecidas as coordenadas de uma imagem, mapa ou qualquer outra forma de informação geográfica em um sistema de referência. 

Desse modo, o processo inicia com a obtenção dos pontos de controle da imagem ou mapa a ser georreferenciado. Os pontos, devem ser facilmente visíveis e fácil de identificar.  

Os pontos de controle, são obtidos em campo, a partir de levantamentos topográficos, geodésico com GPS, mesas digitalizadoras, ou até mesmo imagens ou mapas já georreferenciados.  

A princípio, geralmente a técnica é aplicada em atividades de dimensionamento de solos para agricultura, agropecuária, construção de loteamentos e estradas.  

Georreferenciamento e saneamento 

Voltando para a área saneamento, a ferramenta é utilizada para cadastrar tudo o que engloba tanto cadastro operacional quanto comercial. 

Ou seja, mapeamento de redes de água e esgoto, ligações, pontos de controle como ETA’s (Estação de Tratamento de Água), ETE’s (Estação de Trameto de Esgoto), boosters, reservatórios, captação, entre outras estruturas que compõe o sistema. 

Além disso, esses itens, são incluídos em cima de quadras, lotes, ruas e bairros que compõe a região a ser cadastrada. 

Banco de dados 

O objetivo, não é apenas georreferenciar, e sim incluir informações em cima do que foi alocado. 

Bom, basicamente os softwares utilizados para esse trabalho, permitem a você criar uma planilha de dados em cima de uma layer. 

Por exemplo, em cima da minha layer (camada) de “rede de água”, posso incluir informações como, diâmetro, tipo de rede, material, data de implantação, lado da rua, profundidade, e qualquer outra informação que a operação ache necessária. 

Do mesmo modo, um outro exemplo, são as ligações, onde pode ser incluído todo o cadastro do cliente em cima de um único ponto georreferenciado no endereço onde está sendo prestado o serviço. 

Além disso, essas informações estão dentro de polígonos, linhas e a imagem da cidade, que pode ser atualizada conforme ela for crescendo, através de levantamento com drone. 

E qual a real importância isso tem para o saneamento? 

Lá no início, eu citei um principal fator, que é a segurança do cadastro operacional. 

Vamos citar um exemplo prático! 

Começou um vazamento muito grande de água em um ponto da cidade, então, para a equipe de manutenção fazer o conserto, será necessário estancar toda a água que está passando naquela linha. Dessa forma, os registros de manobra serão fechados de maneira que facilite o serviço. 

Nesse sentido, é aí que entra o banco de dados e a rede de água devidamente georreferenciada. Dessa forma, basta consultar o cadastro, encontrar o ponto do vazamento e visualizar os registros que compõe o sistema daquela região. Posteriormente, serão coletadas as informações de profundidade, lado da rua e distância que o registro está de um ponto de referência, como o muro de uma casa por exemplo. 

Você conseguiu imaginar o quanto isso facilita e agiliza, o serviço de quem irá consertar o vazamento?! 

Imagina só, se tivesse que sair escavando vários pontos para talvez encontrar os registros? Muito trabalho né?! 

Aumentando a base de clientes 

Como foi mostrada a visão operacional, nada mais justo do que aplicar no setor de clientes também! 

Então, imagina você trabalhando em uma empresa de saneamento, e seu desafio é trazer 500 novos clientes para a base da operação. Imaginou?! E aí, o que você faria? 

Simples, você tem uma base de dados georreferenciada, e uma imagem de satélite atualizada, dessa maneira conseguirá visualizar onde estão pontuadas as ligações existentes e terrenos que tem uma edificação, porém não existe nenhuma ligação. 

É muito normal várias casas não terem ligação de água ou esgoto ativas, recorrendo a poços artesianos ou até mesmo ligações clandestinas.

Você já tem a faca e o queijo na mão! 

Em outras palavras, simplesmente, serão coletados os dados de quadra, lote e rua desses pontos, e a próxima etapa é tentar contato com o morador dessa casa.  

Esse, é apenas um dos exemplos onde pode ser aplicado uma base de dados georreferenciada. 

Quais são os softwares utilizados? 

Existem alguns softwares no mercado, que possibilitam esse tipo de trabalho. Profissionalmente, trabalhei muito com a ferramenta ArcGIS aplicada no saneamento. 

O ArcGIS é um sistema de informação geográfica (Geographic Information System – GIS) utilizado para criar, gerenciar, compartilhar e analisar dados espaciais. 

O sistema fornece uma infraestrutura para criar mapas e buscar informações. 

A plataforma ArcGIS consiste em muitos componentes que se comunicam entre si através da API REST do ArcGIS e formatos de arquivo comuns.  

O software é um produto da empresa ESRI (Environmental Systems Research Institute), fornecedor internacional de sistemas de informações geográficas (GIS). 

Mas não é tão simples assim!

Busquei apresentar aqui de forma objetiva e fácil de entender, a aplicação dessa ferramenta no dia a dia de uma empresa. 

Mas não é tão fácil assim obter um cadastro comercial e operacional de qualidade. Envolve equipe antenada, tanto em campo quanto atualizando a base. E também, principalmente muita conexão entre os setores, até porque a base de dados não é apenas para uma pessoa ou um setor, é para a empresa como um todo, tanto CAPEX quanto OPEX.  

Por experiência própria, a parte mais difícil, é a implantação do sistema, é quando toda a base cadastral é colhida e colocada em um só lugar. E conforme vai se desenvolvendo, as dificuldades vão surgindo, os problemas vão sendo encontrados, e uma nova rotina dentro do ambiente operacional deve ser criado. 

Uffa!  

Como todo trabalho possui suas dificuldades, nesse não é diferente! 

Porém, conforme observado, pode-se afirmar que essa é uma ferramenta que usada de forma inteligente e integrada a rotina, traz muitos benefícios dentro das atividades já desenvolvidas.  

Afinal, é um projeto de grande importância para o mundo do saneamento, onde o caminho é facilitar o dia a dia e melhorar a infraestrutura para melhor atender a população com saneamento básico! 

The post Georreferenciamento e sua importância para o saneamento appeared first on Blog da Engenharia.