Please enable JavaScript.
Coggle requires JavaScript to display documents.
Análise de TI - business inteligence análise de dados DW OLAP BI image,…
Análise de TI - business inteligence análise de dados
DW OLAP BI
BUSINESS INTELIGENCE
D.W
Repositório de Dados Centralizado
OLAP
M
OLAP
multidimensional
Não direta
cubos pré- processados
indicado pro DataMarts📚
mais caro💸
menor escalabilidade📉
maior consulta🔍📈(por ser multidimencional)
DOLAP
Desktop
R
OLAP
B.D
Relacional
s/ cubos
SQL
baseado em tabelas
Indicado ao DW🎯
melhor custo💲👍
Maior Escalabilidade📈
maior carga
Ferramenta 🔎de Consultas Analíticas👌
DATA MINING
Descobrir Padrões,
Prever Valor futuro, Análise de afinidade.
Não fica disponível em tempo real, a fim de não comprometer o OLTP.
Reportadores da informação
🖥
ETL
Sistema operacional
ERP
CRM
Fontes de dados
OLTP
Arquivos(pdf, xls...)
⬅➡ProcessoINMON-TOPDOWN(Este exemplo)
ods
(staging area)
Gera
DATA MARTINGs
bd especializados
clientes
bd especializados
R.H
bd especializados
estoque
bd especializados
departamento de vendas
No Kimball Bottom Up, há extração daqui.
Coleta, organização, análise e compartilhamento de informações para gestão de negócios
Arquitetura
CONCEITOS
Sumarização Métrica
Aditivas
A todas as Dimensões( D'')
parte da Tabela Fato (TF)
Semi-Aditivas
Algumas D''
Não Aditivas
S/agregação
D.W
Na carga
se difere da original
Conjunto estatístico
Atualização não reflete imediatamente no DW
Varia no Tempo(Histórico)
N atualiza constantemente
Only Read📖
é um banco de dados multidimensional
que extrai dados de diversos setores da organização
Estruturados
orientados a assuntos
características dos modelos multidimensionais
visões internas que usam uma menor quantidade de operações de junção de tabelas, menor latência durante a execução de consultas que trabalham com valores agregados e esquema em baixos níveis de normalização.
propriedades B.D
ACID
Atomicidade☢
Tudo ou nada
Recuperação
FALHAS
Consistencia🔄🔧
Redundância
De um estado a outro consistentemente
Restrições de integridade
Isolamento
Controle concorrência
Durabilidade
Becape🗃
recuperação
Granularidade :warning:
Inversamente prop
. ao detalhamento dos dados
Menor detalhe, maior granularidade
Existem duas camadas de dados
(granularidade dupla)
Históricos
Ficam todos os detalhes vindos do ambiente operacional.
Resumidos
Ficam os dados que fluem do armazenamento operacional e são resumidos na forma de campos apropriados para a utilização de analistas e gerentes.
Data Marting
dados diretamente de fontes de interesse específicas,
fornecendo acesso mais rápido pela não necessidade de sincronia com dados de outras fontes.
é mais simples
por isso envolve menos riscos.
ERP
concentra todas as informações de forma integrada e inteligente, dando à empresa autonomia
alinhando à comunicação de todas as áreas e facilitando a tomada de decisão.
BI🤓 :warning:
Business Inteligence é um termo utilizado para descrever as
habilidades
das organizações para
coletar
dados e
explorar
informações de diversas fontes,
analisá
-las e
desenvolver
entendimentos
para tomada de decisões.
Inteligência de Negócios
Business Intelligence ajuda a encontrar as respostas para as perguntas de
negócios que já conhecemos
CRM
Gerenciamento de Relacionamento com Cliente
coleta, análise, compartilhamento e monitoramento de informações que oferecem
suporte à gestão de negócios
Big Data :warning:
Premissas
3v,
5v
,7v
VEracidade
VOlume
DataLake
Armazenamento GIGANTESCO
armazenar dados de diversas fontes e formatos, não havendo a
necessidade da definição de um esquema de dados para inserir novos itens
VAriedade
Dados
Estruturados
Padronizados
Dados Relacionais
Não estruturados
internet, redes sociais, imagens, vídeos, dentre outros.
noSQL
1 more item...
Semi-estruturados
não estão de acordo com a estrutura formal dos modelos de dados como em tabelas
Com Marcadores semânticos e hierarquia
1 more item...
VAlor
VElocidade
Análise de dados em tempo real,
sem precisar armazená-los
Real-time data movement💿
Ferramentas
🛠
MapReduce
Mapear
Embaralhar e organizar
Reduzir
EX:
1 more item...
HDFS (Hadoop Distributed File System)
Hadoop YARN
Big Data Analytics:
o estudo e interpretação de grandes
quantidades de dados armazenados com a finalidade de
extrair padrões de comportamento
novos
nos ajuda a
encontrar
as perguntas e
respostas que nem sequer sabíamos que existiam
Principios
Write once and read-many
Escreva 1 vez e leia várias
Modelagem Multidimensional
TABELA FATO
Pode ser Textual
2 ou + Chaves estrangeiras
Contém valores Numéricos
Desempenho de um negócio
Tipos :warning:
Estrela
🔄
Multi Estrela,
Constelação ; Galáxia
Dois fatos centrais
➕Utilizado
Melhor desempenho
que o Floco de neve
Pois
priorizam o desempenho
nas consultas📈
em detrimento da garantia de consistência e não redundância
Uso de DESNORMALIZAÇÃO, ⬆🔄 📈
Tabela Fato🔢
armazena o fato ocorrido
Quantitativo
D
imensões⏱💎
armazena características do evento
Qualitativo(descritivo)
Altamente Redundante🔄
Multidimensional
Não normalizado
Floco de Neve
Snowflake Schema
Vantagem
economia de espaço em disco
evitando redundâncias
Desvantagem
Menor desempenho em consultas🔍📉
Drill Down⏬
algumas dimensões relacionam-se entre elas
Relacional/multidimensional
normalizado :pencil2:
baixa redundÂncia↪
D''imensões
Cada elemento chave para a dimensão deve ser representado e descrito na tabela ...DIMENSÃO... correspondente(JUNÇÃO)
Deve haver uma tabela ...DIMENSÃO... para cada dimensão do modelo,
DW
Suporte Decisão
Dados no DW(caract) :warning:
Variáveis
no tempo
Histórico
Os dados do DW representam uma
fotografia
,um conjunto
estático
de registros que foram registrados em tempo predeterminado.
Orientados
Assuntos
Estruturados
por temas de interesse da organização
não voláteis
Rígidas
Dados históricos
Mas pode ter sua estrutura modificada.
É possível incluir novos atributos nas tabelas e inserir novas dimensões em uma base de dados analítica.
Integrados
Padronizado
Racionalização
Multidimensional
Não transacional
ROLAP
Desnormalizado:
Não se aplica nenhuma forma normal na modelagem multidimensional de um DW.
Ordenação🕤
com o momento em que são realizados e registrados.
Ferramentas de extração de informação
ETL⚙(staging)
Funções
Carga dados
L
oading
T
ransforma⚙⚙🔬
E
xtrai
ODS
LIMPA
CLASSIF
COMBINA
ACERTA
BD do ETL Temporário
A Staging Area
Armazenamento Intermediário/ temporário
Correções
Ajustes de Dados
👉Extração e carga(L) são obrigatórios
e a Transformação é opcional 🕊
Inmon
TOP
D
O
W
N
EXtrai dados de diversas fontes de dados para o DW
OLTP➡etl⚙➡DW🧊➡etl⚙➡
Data Marting
📚➡OLAP🖥📊➡Usuário👩💻
DW antes
Operações Básicas
🔽Carga dados :warning:
Inicial Incremental
Acesso de Leitura
S/ necessidade de bloqueio por concorrência
consulta e exclusão.
Ki
m
Ball
Botto
m
up
Dos data martings para o DW
OLTP➡
Data Marting
📚➡⚙etl➡DW🧊➡OLAP🖥📊➡Usuário👩💻
Data marting está acima(antes) do DW
BD Apoia a implementação do BI :warning:
Assim como
aplicações CI (Competitive Intelligence)
aplicações BSC (Balanced ScoreCard)
aplicações KMS (Knowledgement Management System)
Clientes
(🔎consulta)de DW
OLAP
🖥📊
On-line Analitical Processing
7 Operações
Drill Down⏬
Detalhamento
ANO
MÊS
DIA
Drill Through
Pesquisa em outra Estrutura
Ex: Estava analisando abastecimento de água por bairro, e passo a analisar por ano.
Roll up / Drill up⏫
Agregamento ⬅
Dia
Mês
Ano
Drill Across
Cruza Tabelas Fato (TF')
Pivot
Rotação
Observar dimensões
Slicing
Restrição
Corte dimensão
Dicing
Big Restrição
Matriz multidimensional de dados
DATA MINING
Descobrir Padrões,
Prever Valor
futuro
, Análise de afinidade.
Técnicas🛠 :warning:
Métodos de Algoritmos
Tarefas
O que buscamos nos dados
Principais
Descritivo✍👀
Clusterização
:warning:
3 more items...
Associação
4 more items...
Detecção anomalias
Preditivo
Classif/ rotulação 🖥🧠
3 more items...
Regressão ou Predição🔮
1 more item...
Análise Outline
1 more item...
Tipos de Análises🔍 :warning:
D²P²
Prescritiva
Etapa mais avançada, não usada no BI, mas no DMining
Diagnóstica📈
Descritiva✍👀
Preditiva
coletar as informações e interpretá-las,
descrevendo
o atual cenário,
diagnosticando
situações e até mesmo
predizer
como, provavelmente, será o futuro do negócio, oferecendo, dessa forma, suporte à gestão.
Árvore Decisão🌲
Estratificação
em níveis
Big Data Analytics :warning:
CRISP-DM🧠
Boas práticas 6
END PM AI
EnteNDimento🧠🤨💡
(Business undertending)
ID problemas
1 more item...
Preparação
(data undestending/preparation)
Verificar Qualidade💎
interdependência das variáveis
ID dados
💞
Modelagem
🏗(modeling)
Téc,
tarefas
e algoritmos a serem usados
1 more item...
💞
Avaliação
(evaluation)
🎯
1 more item...
Implantação
(deployment)
1 more item...
Não sequenciadas
soluções comuns, padrão;
Redes neurais
objetivos
PICO⛰
IDENTIFICAÇÃO
CLASSIFICAÇÃO
PREVISÃO
OTIMIZAÇÃO
Mineração de Texto
Etapas
CPI MAranhão
Indexação
Mineração
Pré-processamento
Análise de dados
coleta🥄
Tipos de Aprendizado de máquina
Supervisionado 👨🏫
Dou algoritmos, padrões de entrada e saída.
Não supervisionado
Por reforço
Aprende sozinha, e tem seus resultados reforçados por agente externo.
Estes ,Não atualizam do DW
HOLAP
Híbrido
Clientes do DW👨💻
BI :warning:
✋➡
🏁
💞
