Please enable JavaScript.
Coggle requires JavaScript to display documents.
BI2 - Barbieri - 108-119 (Data Warehouse e Data Mart) (BI2 - Elementos…
BI2 - Barbieri - 108-119
(Data Warehouse e Data Mart)
Definição direta
Estruturas de Armazenamento especializadas, e voltadas para a obtenção de informações para tomada de decisão
Estruturars Relacionais ou Dimensionais
Remodeladas para prover análise
Data Warehouse
1 - dados operacionais , CSVs, XLSs, Arquivos Texto, Dados não estruturados, etc
2 - Extraçao das informações
3 - Area de Staging (incluindo ODS)
Transformação
Limpeza
Classificação
Correção/Acerto
Junção/Match
Fornece dados para o Data Mining
4 - Carga dos dados
5 - DW corporativo
Cubos
Relatórios
Ferramentas de análise
Sistemas Self Service BI
Pode ser composto dos diversos data marts da empresa
Quando evolui de vários data marts é considerado DW evolutivo ou Supermart
é uma fonte de informações para o processo de Data Mining
Data Mining
Processo de análise de infrerência
Foco mais estatístico
Busca de informação com base em algoritmos de reconhecimento de padrões
BI2 - Elementos Adicionais
1 - Dados não Estruturados
2 - Forte uso dos metadados *
Metadados de negócio
Medadados tecnico
3 - MDM (Master data management)
Gerenciamento de dados mestre (MDM) é uma tecnologia que permite disciplinar o trabalho conjunto entre equipes de negócios e TI visando assegurar a uniformidade, acurácia, a administração/tutoria, consistência semântica e a prestação de contas do principal repositório de dados mestre compartilhado na empresa
4 - Ferramentas EII (enterprise information integration)
O objetivo do EII sistemas é fornecer uniforme acesso a múltiplas fontes de dados sem ter que carregá-los em um armazém de dados.
5 - DW/DMs Virtuais
6 - RTE (Real Time Enterprises)
7 Visões Dimensionais obtidas diretamente das fontes transacionais
8 - Data mining extendidad
Text Mining (texto)
Web mining (conteúdo, estrutura, utilização do usuarios, perfis dos usuários, etc)
Abordagens para projetos de DW/Data Mart
Bill Inmon
Abordagem Top-Down
pode demorar muiot
Pai do conceito de DW
Conceitos introduzidos no BI2
Forte prototipação
Interações com no máximo 3 meses
Ciclo dos dados (e idade dos dados)
Interativo
mais atuais, com maior probabilidade de consumo
Integrados
idade entre horas e alguns meses
Near line
3 a 5 anos (proximo de disponibilidade quase imediata)
Archival (separados)
Uma espécie de aquivo morto, mais de 5 anos de idade
Monitorar o ambiente de DW
Iniciou conceito de bancos de dados para tomada de decisoes (SAD) em 1970
Livro: The architecture for the next generation (derek strauss)
Ralph Kimball
Workstation Star
Xerox
uso de mouse e ícones
Ralph foi o principal projetista
Condições revolucionarias de usabilidade
Consultor Independente
Fundador do The Kimball Group (referencia com várias publicações ao longo de 30 anos)
Fundador da Red Brick Systens
banco de dados relacional otimizado para DW
Udo de índices Bitmap
banco cerca de 10 vezes mais rápido que concorrentes da época
Abordagem Botton Up
pode gerar ilhas de informações
Aponta para projetos de Data Marts separados que serão posteriormente integrados conforme ocorre evolução
pode ser integrada com a metodologia Inmon
Aponta para Supermarts
Deve ser mantida a compatibilidade (conformidade), dimensional
Tem relativa proximidade com o BI-Ágil (data marts evolutivos/ Supermarts )
Pai do Conceito Star Schema
Tabelas Fato
Dados de interes
Manipulação numérica e estatística
Tabelas Dimensão
Tabelas satelite
possuem chaves de entrada para informação
Informações descritivas de cada dimensão
Convergência das Abordagens
Surgimento dos Supermarts ou Data marts evolutivos)
Perguntas a serem feitas
Qual data mart trara mais valor
Qual pergunta respondida gera mais impacto
Evolução pode ser conduzida com base nas perguntas que agregam mais valor para empresa
Data marts feitos de maneira a convrgirem para um framework que com certa visão prévia de conformidade (compatibilidade) de dimensões, os integrará a medida que forem projetados
Deve-se definir logo no inicio a compatibilidade/conformidade de dimensoes e ajustes necessários para tal
Deve-se manter a compatibilidae/conformidade das métricas
Incluir imagem de evolução Supermarts do Draw.io
Cenários de Aplicação
Finanças
Analise de cliente
Seguradoras
Faude
analise de risco
Valores históricos
Classe do consumidor
Região
Período
Tiipo de Produto
Correlações de Perfil
Assinaturas de produtos
fidelização
Dw / DM para vendas de informações
Caso de Uso
Wall Mart
100 milhões de clientes
17 mill fornecedores
5 mil lojas
11 países
Poderá no futuro vender informações sobre clientes, mercado, fornecedores etec.
Toyota (Livro Turban)
OLAP
Rolap
Molap
etc...
Possibilita uma forma múltipla e combinada de análise
ETL Tools
ODS
Operationa Data Store
Auxilia na integração e consolidação de várias fontes de daods
Fatores Críticos de Sucesso em projetos de Bi
Foco bem Definido
Conseguir um patrocidador forte
Obter os dados Necessários
Obter alto envolvimento dos usuários
Formar uma boa equipe de projeto
Definir uma boa arquitetura
Criar e Divulgar
Acompanhar a utilização do DW