Tópicos Avançados de Banco de Dados Prof. Esp. Rafael Neiva
[email protected] www.rafaelneiva.com.br
Conteúdo Programático ● ● ● ● ● ●
Banco de dados relacional Banco de dados orientado a objetos Data Warehouse OLAP Data Mining Big Data
Data Warehouse - Como Surgiu ? ● ●
em meio às dificuldades que as organizações passaram a sentir pela quantidade de dados que suas aplicações estavam gerando e à dificuldade de reunir estes dados de forma consolidada para uma análise mais eficiente
Data Warehouse - Definição “ É uma coleção de dados orientados por assuntos, integrados, variáveis no tempo e não voláteis, para dar suporte ao processo gerencial de tomada de decisão ” [ Inmon ] “ É um processo em andamento que aglutina dados de fontes heterogêneas, incluindo dados históricos e dados externos para atender às necessidades de consultas estruturadas e ad-hoc, relatórios analíticos e de suporte a decisão ” [Harjinder ]
Dados operacionais X Data Warehouse
Componentes de um DW
Características do DW ●
Orientação por assunto
●
Integração
●
Variação no tempo
●
Não volatilidade
●
Localização
●
Credibilidade dos dados
●
Granularidade
●
Metadados
Porque usar DW ? ● ● ● ● ●
A informação é o bem mais valioso para uma empresa; Decisões precisam ser tomadas rapidamente e corretamente,usando todo dado disponível; A quantidade de dados está dobrando a cada 18 meses, o que afeta o tempo de resposta e a habilidade de compreender seu conteúdo; Estratégias de competição - diferencial positivo em relação a concorrência; Análise do perfil do mercado;
Implementação de DW ● ● ● ●
Através de um banco de dados contendo dados extraídos do ambiente de produção da empresa, que foram selecionados e depurados Tendo sido estes dados otimizados para processamento de consulta Em geral, requer a consolidação de outros recursos de dados além dos armazenados em base de dados relacionais Inclui informações provenientes de planilhas eletrônicas e documentos textuais
Arquitetura do DW
Data Mart ●
é subconjunto de dados de um Data warehouse (armazém de dados).
●
Geralmente são dados referentes a um assunto em especial (ex: Vendas, Estoque, Controladoria)
●
ou diferentes níveis de sumarização (ex: Vendas Anual, Vendas Mensal, Vendas 5 anos), que focalizam uma ou mais áreas específicas.
Implementações do DW
Beneficios do DW ●
oferecem informações aprimoradas
●
facilitam a obtenção da informação por quem toma as decisões
●
Incluem a capacidade de modelar e remodelar os dados
●
habilitam os tomadores de decisões a acessar os dados quantas vezes precisarem, sem afetar o desenvolvimento dos sistemas operacionais subjacentes.
Tabelas Dimensão As tabelas dimensões, na linguagem mais simples possível, guardam informações de cadastro, como dados do cliente ou produto. São tabelas com informações mais descritivas sobre o negócio. Para exemplificar, segue uma tabela dimensão de clientes:
Tabelas Fatos As tabelas fato armazenam informações relacionadas ao que se deseja analisar. Enquanto a estrutura das tabelas dimensões são mais complexas, com códigos, descrições e atributos, a estrutura das tabelas fato é mais simples. Basicamente, é composta por chaves estrangeiras e os valores:
Modelo Estrela ● ●
●
O modelo estrela é o modelo mais usado e funcional para data warehouse. A tabela fato, responsável por armazenar as milhões de transações, armazena apenas valores numéricos, diminuindo seu tamanho físico, o do índice e aumentando a velocidade das consultas; Todas as tabelas necessárias para montar relatórios podem ser criadas com apenas 1 join entre a fato e a dimensão, diminuindo o custo gasto pelo banco para descobrir onde estão as informações.
Modelo Floco de Neve ●
●
●
Esse modelo possui o nome “floco de neve” (ou snowflake) porque seu modelo fica irregular, com várias pontas sobrando, parecendo um floco de neve. O modelos floco de neve é mais usado em projetos pequenos, onde se espera resultados rápidos, como protótipos. Para projetos longos e grandes, o ideal é que utilize o modelo estrela até onde for possível.
Tipos de Dados ● ● ●
Ao criar tabelas, opte sempre pelo menor tipo possível de dados. Se você sabe que o valor cadastrado no campo ficará entre 0 a 20, não há porque criar usar o tipo int sendo que um simples tinyint é o suficiente. Um tinyint consome apenas 1 byte, enquanto um int, 4 bytes. Uma tabela com 20 linhas não seria problema, mas considerando uma tabela fato com alguns milhões de linhas, uma coluna tinyint reduziria consideravelmente o tamanho da tabela.
Mantendo histórico de Dados ●
Problema: SCD(slowly changing dimension) - Mudando de dimensão lentamente Solução 1
●
Solução 2
●
Atividade Prática -
Tabelas : contrato, devedores e pagamento Dimensões: dim_contrato, dim_devedores, dim_pagamento Fato (Fato_01) -
Pessoas do sexo feminino Devedores Numero do contrato valor menor que 500 reais UF: BAHIA
Atividade Prática -
Fato (Fato_02) -
-
Pessoas do sexo masculino Devedores data pagamento no mês de fevereiro UF: SP ou MG
Fato (Fato_03) -
Pessoas que tenham a profissão: Analista de sistemas Devedores Que o contrato esteja vencido Que sejam casados
OLAP OLAP é um conceito de interface com o usuário que proporciona a capacidade de ter idéias sobre os dados, permitindo analisá-los profundamente em diversos ângulos. As funções básicas do OLAP são: • Visualização multidimensional dos dados; • Exploração; • Rotação; • Vários modos de visualização.
OLAP e DW O OLAP e o Data Warehouse são destinados a trabalharem juntos, enquanto o DW armazena as informações de forma eficiente, o OLAP deve recuperá-las com a mesma eficiência, porém com muita rapidez. As duas tecnologias se complementam, ao ponto de que um Data Warehouse para ser bem sucedido, já na sua concepção, deve levar em consideração o que se deseja apresentar na interface OLAP.
Métodos de armazenamento • ROLAP (OLAP Relacional):Os dados são armazenados de forma relacional. • MOLAP (OLAP Multidimensional): Os dados são armazenados de forma multidimensional. • HOLAP (OLAP Híbrido): Uma combinação dos métodos ROLAP e MOLAP. • DOLAP (OLAP Desktop):O conjunto de dados multidimensionais deve ser criado no servidor e transferido para o desktop. Permite portabilidade aos usuários OLAP que não possuem acesso direto ao servidor.
Métodos de armazenamento ROLAP é mais indicado para DATA WAREHOUSE pelo grande volume de dados, a necessidade de um maior número de funções e diversas regras de negócio a serem aplicadas.
MOLAP é mais indicado para DATA MARTS, onde os dados são mais específicos e o aplicativo será direcionado na análise com dimensionalidade limitada e pouco detalhamento das informações
Motivação - Mineração de Dados ● ● ● ● ● ● ● ●
Redes socias Internet Ambientes virtuais de aprendizagem Aplicativos embarcados Sistemas de telecomunicações Autoatendimento Sistemas de informação em geral Internet das coisas
Mineração de dados - por que? ●
Técnicas de Mineração podem ajudar analistas: ○ ○ ○
●
Entender e prever as necessidades dos clientes Descobrir fraudes Descobrir perfis de comportamento de clientes
Técnicas de Mineração podem ajudar cientistas: ○ ○
Classificar e segmentar dados Formular hipóteses
Exemplos ● ● ● ● ●
Qual o perfil do cliente que consome mais ? Que produtos são comprados conjuntamente ? E em sequência ? Meu site web tem uma boa estrutura ? Como as chuvas, variação de temperatura, aplicação de pesticidas afetam as colheitas ? Existe uma relação entre o aquecimento global e a frequência e intensidade das perturbações no ecossistema tais como secas, furacões, enchentes ?
Dado, informação e conhecimento
Definições de KDD Descoberta de Conhecimento em Bancos de Dados (Knowledge Discovery in Databases – KDD).Processo não trivial, interativo e iterativo, para identificação de padrões compreensíveis, válidos, novos e potencialmente úteis a partir de grandes conjuntos de dados.
Processo de KDD ● ● ● ● ● ● ●
Limpeza dos Dados Integração dos Dados Seleção Transformação Mineração Avaliação ou Pós-Processamento Visualização dos Resultados
Processo completo
Mineração de Dados ● ● ●
Extração de padrões interessantes conhecimento de um grande volume de dados O que é um padrão interessante? ○ ○ ○ ○
●
Não-trivial Implícito Anteriormente desconhecido Útil
Exemplo: Se (sexopaciente == feminino) então grávida
Técnicas de mineração - Predição ●
Classificação: aprendizado de uma função que pode ser usada para mapear dados em uma de várias classes discretas definidas previamente ○ ○
●
Diagnostico médido Detecção de fraude
Regressão ou Predição: aprendizado de uma função que pode ser usada para mapear os valores associados aos dados em um ou mais valores reais. ○ ○
Previsão de valor das ações Estimativa de validade de medição
Técnicas de Mineração - Descrição ●
Agrupamento (ou clustering ): identificação de grupos de dados onde os dados tem características semelhantes aos do mesmo grupo e onde os grupos tenham características diferentes entre si. ○ ○
●
Identificação de categorias de clientes Sugestão antes de colocar no carrinho de compras
Regras de Associação: identificação de grupos de dados que apresentam Co-ocorrência entre si (ex. cesta de compras). ○
Sugestão após colocar no carrinho de compras
Caso Bank of America O banco usou técnicas de MD para selecionar entre seus 36 milhões de clientes aqueles com menor risco de dar calote num empréstimo. A Partir desses relatórios, enviou cartas oferecendo linhas de crédito para os correntistas cujos filhos tivessem entre 18 e 21 anos e, portanto, precisassem de dinheiro para ajudar os filhos a comprar o próprio carro, uma casa ou arcar com os gastos da faculdade. Resultado: em três anos, o banco lucrou 30 milhões de dólares.
Caso Walmart A empresa identificou um hábito curioso dos consumidores. Há cinco anos, ao procurar eventuais relações entre o volume de vendas e os dias da semana, o software de data mining apontou que, às sextas-feiras, as vendas de cervejas cresciam na mesma proporção que as de fraldas. Crianças bebendo cerveja? Não, uma investigação mais detalhada revelou que, ao comprar fraldas para seus bebês, os pais aproveitavam para abastecer o estoque de cerveja para o final de semana.
Regras de Associação Encontrar tendências que possam ser usadas para entender e explorar padrões de comportamento dos dados.
Regra de associação ● ●
Conclusões simples sobre a base de dados da tabela: Quem compra leite quase sempre compra ovos. ○ ○
●
Quem compra ovos e açúcar sempre compra leite. ○
●
Como definir “quase sempre”? Quantas vezes isso ocorre na base de dados? Mas quantas compras contém ovos e açúcar? O que causa a compra de leite?
Quem compra cerveja sempre compra fraldas. ○
Quantas vezes isso ocorre na base de dados? Isso é relevante?
Regras de associação Simulação do Apriori com suporte mínimo 25% e confiança 75%:
Associação Estratégias de venda ● ● ●
Realização de promoções entre produtos Rearranjo da disposição dos produtos em prateleiras Reavaliação do catálogo
Associação Algoritmos ● ● ● ● ● ● ● ●
Apriori DHP Partition Cumulate Clique EstMerge MaxClique Eclat
Regressão ● ● ●
A análise de regressão entende-se como previsão. Quando fazemos uma regressão, queremos prever resultados. O objetivo é prever os valores de uma variável dependente com base em resultados da variável independente. Fórmula da regressão linear: Y = ax + b, sendo x a variável independente e y a variável dependente.
Regressão Aplicações ● ● ● ●
Predição de biomassa presente em uma floresta Estimativa de probabilidade de um paciente sobreviver Predição de riscos de determinados investimentos Definição de limite de crédito para cada cliente do banco
Agrupamento ou Clusterização ● ●
Dividir automaticamente um conjunto de objetos em grupos (clusters) de acordo com algum de tipo de relacionamento de similaridade existente. Exemplo: se você tivesse que dividir em dois grupos de acordo com a similaridade, como você faria?
Agrupamento
Agrupamento Algoritmos ● ● ● ● ●
K-means X-means EM Lógica Fuzzy Agrupamento hierárquico
Classificação ● ●
Predição de uma categoria ou classe discreta. Como entrada: instâncias para as quais as classes são conhecidas. ○
●
Com isso criamos um classificador ou modelo (fase de treinamento).
Como entrada em uma segunda fase, temos vários dados para os quais as classes não são conhecidas. ○ ○
Usamos o classificador para indicar classes para estes dados. Podemos avaliar o modelo classificando instâncias com classes conhecidas.
Classificação
Classificação Métodos de classificação supervisionada: • Baseados em separabilidade (entropia): árvores de decisão e variantes. • Baseados em particionamento: SVM (support vector machines).
Classificação Árvores de Decisão • Uma árvore representa uma função discreta para aproximar/ representar os dados de treinamento • Árvores de Decisão classificam instâncias ordenando-as da raíz para algum nó folha • Cada nó da árvore representa um atributo
Classificação - Árvore de decisão • Considere a tomada de decisão para o problema “Jogar Tênis” • Classifica se um determinado dia é adequado ou não para jogar Tênis
Classificação Aplicações comuns: • Diagnóstico de pacientes • Problemas em equipamentos mecânicos e elétricos • Análise de crédito
Sumarização Também denominada descrição de conceitos Consiste em identificar e apresentar, de forma concisa e compreensível, as principais características de um conjunto de dados Exemplo: Identificar as características dos assinantes de uma revista que residem na região sudeste do Brasil: “são grande maioria assinantes com faixa salarial de X reais, nível superior completo e que possuam residência própria”
Trabalhando com WEKA ●
Download: ○ http://www.cs.waikato.ac.nz/ml/weka/downloading.html
WEKA ● ● ●
Weka é um Software livre do tipo open source para mineração de dados, desenvolvido em Java. O sistema foi desenvolvido por um grupo de pesquisadores da Universidade de Waikato, Nova Zelândia. Ao longo dos anos se consolidou como a ferramenta de data mining mais utilizada em ambiente acadêmico
WEKA ● ●
Seu ponto forte é a tarefa de classificação, mas também é capaz de minerar regras de associação e clusters de dados. Pode ser utilizada no modo console ou através da interface gráfica Weka Explorer.
Utilizando o WEKA Interface Gráfica: o ambiente Weka Explorer permite a execução dos algoritmos de data mining da Weka de forma interativa.
Formato dos dados • ARFF • CSV • Entre outros
Exemplo ARFF
Exemplos práticos ●
cancer-mama.arff - Árvore de Decisão - Classificação
●
diabetes.arff - Naive Bayes - Classificação
●
consumo veiculos.arff - Regressão Linear
●
Supermercado.arff - Apriori - Associação
●
iris.arff - Clustering (K-means e DBScan)
Maiores desafios da área ● ● ● ● ●
Mineração de dados heterogêneos Lidar com dados de alta dimensão Lidar com dados incompletos, incertos e ruídos Incorporar exceções e conhecimentos a prioris sobre os problemas resolvidos Eficiência e escabilidade de algoritmos
BIG DATA Trabalhos em grande escala que não podem ser feitos em escala menor, para extrair novas ideias e criar novas formas de valor de maneiras que alterem os mercados, organizações e a relação entre cidadãos e o governo
Volume de Dados Processa 24 Petabyte de dados por dia
10 milhões de fotos por hora Botão curtir ou comentário 3 bilhões de vezes por dia
800 milhões de usuários mensais enviam mais de uma hora de vídeo por segundo
OS Vs do BIG DATA ● ● ● ● ●
Volume Velocidade Variedade Veracidade Valor
Soluções do BIG DATA O NoSQL faz referência às soluções de bancos de dados que possibilitam armazenamento de diversas formas, não se limitando ao modelo relacional tradicional. Bancos do tipo são mais flexíveis, sendo inclusive compatíveis com um grupo de premissas que "compete" com as propriedades ACID: a BASE (Basically Available, Soft state, Eventually consistency - Basicamente disponível, Estado Leve, Eventualmente consistente).
BDs NoSQL
Hadoop: é uma plataforma open source desenvolvida especialmente para processamento e análise de grandes volumes de dados, sejam eles estruturados ou não estruturados. O projeto é mantido pela Apache Foundation, mas conta com a colaboração de várias empresas, como Yahoo!, Facebook, Google e IBM. MapReduce: Modelo de programação que distribui o processamento a ser realizado entre vários computadores para ajudar o seu mecanismo de busca a ficar mais rápido e livre da necessidades de servidores poderosos (e caros)
Cases Big Data Ministério da Justiça Possui um data warehouse (banco de dados) com mais de 1 bilhão de registros, além de um poderoso supercomputador da IBM, chamado Watson, capaz de coletar, agrupar e processar petabytes de dados em frações de segundos. O objetivo do Ministério com o uso de Big Data é identificar indícios de ações ilícitas, sobretudo ligadas à lavagem de dinheiro.
Cases Big Data Nike A maior fabricante de materiais esportivos do planeta fechou uma parceria com uma empresa especialista em tecnologia, no intuito de desenvolver um software que fosse usado por praticantes de running, informando a eles frequência de batimentos cardíacos, velocidade, quantidade de passos dados, distância percorrida e muitos outros dados. O “pulo do gato”, neste caso, foi integrar esse app com as redes sociais, estimulando amigos e fãs de corrida a compartilharem suas informações, propiciando uma certa “competição” entre os atletas.
Big Data e Netflix A Netflix tem como base do seu trabalho diário a análise de dados. Seus algoritmos e especialistas possuem habilidades analíticas para personalizar o atendimento, distribuir conteúdo, analisar melhores dispositivos e conhecer os hábitos dos clientes. Com isso, a empresa pode prever e recomendar ao usuário o estilo que mais combina com ele se baseando em seu comportamento na rede.
Quem trabalha com essas tecnologias ? O que fazer com o volume e a variedade de dados? O que eles significam? Como analisá-los em tempo real? O que isso pode gerar de negócios, conhecimento, melhorias, transformações? Todas essas perguntas apontam para o ...
Data Scientist - Cientista de Dados
Mercado Ainda em 2012 o Gartner, uma das maiores empresas de consultoria do mundo, já anunciava: o Brasil precisará de 500 mil pessoas capacitadas para trabalhar com Big Data. Tanto no Brasil, quanto nos Estados Unidos, quem souber lidar com essa quantidade enorme de dados não estruturados que é o Big Data, é quem vai receber os maiores contracheques. Aqui no Brasil, um analista pode chegar a ganhar 15 mil reais por mês, mais bonificações e benefícios – muito fora da curva, mas possível de se alcançar só com tecnologia.
Bibliografia básica BEZERRA, E.;PASSOS,E;GOLDSCHMIDT,R. Data mining: Conceitos,Técnicas, algoritmos, orientações e aplicações. 2. Ed. Rio de Janeiro: Elsevier, 2015 HAN, J.; KAMBER, M. Data Mining: Concepts and Techniques. 2nd ed. San Francisco, CA: Morgan Kaufmann, 2006. 743 p. WEKA. Data mining with open source machine learning software in Java. Disponível em:
. Acesso em: 20 de janeiro 2017 SANTOS, R. Weka na munheca. 2005. Disponível em:
. Acesso em: 25 janeiro 2017. MAYER, V.; CUKIER, K. Big data: como extrair volume, variedade, velocidade e valor da avalanche de informação cotidiana. 1. Ed. - Rio de Janeiro: Elsevier, 2013.
