Please enable JavaScript.
Coggle requires JavaScript to display documents.
--3229 0861---ANÁLISE DE DADOS download - Coggle Diagram
--3229 0861---ANÁLISE DE DADOS download
BIG DATA
Conjunto de soluções tecnológicas capazes de lidar com dados digitais em volume, variedade e velocidade inéditos até hoje
ANALISA QUALQUER TIPO DE INFORMAÇÃO
V
VALOR
VERACIDADE
VOLUME
VELOCIDADE
VARIEDADE
PRINCIPAIS COMPONENTES DO BIG DATA
Hadoop
plataforma para armazenamento e processamento de um grande volume de dados utilizando hardware simples e que normalmente utilizam clusters para agilizar o acesso
MapReduce
modelo de programação paralela, escalável e que permite utilização de hardware simples para realizar trabalhos complexos
NoSQL
banco de dados que permite armazenar e recuperar dados com menos restrições do que os bancos de dados relacionais Possui uma modelagem mais simples e permite aumentar a escalabilidade e disponibilidade do ambiente
SQL:
BANCOS DE
DADOS TRADICIONAIS QUE ARMAZENAM A MAIOR PARTE DOS DADOS ESTRUTURADOS NAS ORGANIZAÇÕES. OS DADOS NORMALMENTE TÊM ORIGEMEM SISTEMA SERP,SCM(SUPPLYCHAIN),CRM,ETC
DW:
O DATA WARE HOUSE É UM BANCO DE DADOS APARTADO DO BANCO DE DADOS DOS SISTEMAS TRANSACIONAIS QUE SÃO MODELADOS PARA FACILITAR A ANÁLISE DE DADOS PARA A TOMADA DE DECISÃO
BIG DATA x DATA WAREHOUSE
BIG DATA
É A TECNOLOGIA:
UM MEIO PARA ARMAZENAR E GERENCIAR GRANDES QUANTIDADES DE DADOS
DATA WAREHOUSE
É A ARQUITETURA:
É UMA FORMA DE ORGANIZAR DADOS PARA QUE HAJA MAIOR CREDIBILIDADE E INTEGRIDADE CORPORATIVA.
MINERAÇÃO DE DADOS
DATA MINING ,MINERAÇÃO DE DADOS,É A DESCOBERTA DE NOVAS INFORMAÇÕES EM FUNÇÃO DE PADRÕES OU REGRAS EM GRANDES QUANTIDADES DE DADOS.
DATA MINING x DATA WAREHOUSING
Data warehousing sustenta a tomada de decisão com dados
Data mining auxilia na obtenção de novos padrões que não poderiam ser encontrados simplesmente pesquisando ou processando no DW
PREPARAÇÃO E MODELAGEM DOS DADOS
SLIDE
LIMPEZA: A ETAPA DE LIMPEZA DOS DADOS VISA ELIMINAR PROBLEMAS DE INCONSTITENCIA, VALORES ERRADOS, REGISTROS INCOMPLETOS, DE MODO QUE ELES NAO INFLUENCIEM NO RESULTADO DOS ALGORITIMOS USADOS
INTEGRAÇÃO: REUNIR EM PROPOROSITO UNICO E CONSTITETNTE DIVERSAS FONTESS TTAIS COMO:> BANCO DE DADOS, PLANILHAS, ARQUIVOS DE TEXTO
TRANSFORMAÇÃO: TRANSFORMAR VALOR NUMÉRICO EM CATEGORIAS
REDUÇÃO: REDUZIR MASSA DE DADOS
A MINERAÇÃO DESCREVE TENDENCIAS
CLASSIFICA REGISTROS
FAZ ESTIMAÇÕES
PREDIÇÃO( VER VALOR FUTURO)'
AGRUPAMENTO(CLUSTERING--APROXIMAR REGISTROS SIMILARES
ASSOCIAÇÃO( SE ATRIBUTO X, ENTÃO ATRIBUTO Y)'
CRISP-DM(SLIDE 16)
1 more item...
MODELAGEM MULTIDIMENSIONAL
Data Warehouse Armazém de Dados Conjunto de tecnologias de apoio à decisão Servem para o processamento analítico dos dados São otimizados para a recuperação dos dados São não voláteis, ou seja, não sofrem alterações Exibem informação que não é em tempo real
Gera matrizes multidimensionais
chamadas de CUBOS de dados
OPERAÇÕES COM CUBO
PIVOTT,
PIVOTEAMENTO
SLICING
FATIAMENTO
DICING
CORTAR EM SUBSCUBO
reduz os dados a um subcubo com várias dimensões
ROLL UP
DRILL DOWN
não reduz os dados, mas sim, exibe mais detalhes a respeito deles
SLIDE 6-MODELAGEM DE DADOS 1
MODELAGEM MULTIDIMENSIONAL
TIPOS DE TABELAS
TABELAS FATO
CONTÉM OS DADOS REAIS E VARIAVEIS E APONTAM PARA AS TABELAS DIMENSÃO
TABELA DIMENSÃO
IDENTIFICAM CADA LINHA DAQUELES DADOS DA TABELA DE FATO
TIPOS DE ESQUEMAS (SCHEMAS)
PODEM SER
ESTRELAS/
ÚNICA TABELA PARA CADA DIMENSÃO VER SLIDE
SNOWFLAKE
TABELA COM VÁRIOS NIVEIS