Please enable JavaScript.

Coggle requires JavaScript to display documents.

Aula 21 - Coggle Diagram

- - - - "Datamining e automático" é um processo inerativo, requer supervisão
        
        -"Investimentos são recuperados rapidamente" depende de muitos fatores
        
        "Software são intuitivos e simples" é mais importante conhecer os conceitos dos algorítimos e o negócio em si
        
        "DM pode identificar problemas no negocio" na vdd pode encontrar padroes e fenomenos
    - - especificação do que queremos buscar nos dados
      - Descritivas: caracterizam as propriedades gerais dos dados em um BD (focam em achar padroes reonhecidos por humanos para descrever os dados
        
        Preditivas:realizam uma inferência sobre os dados atuais para fazer previsões futuras sobre os mesmos)
      - Topdown(testes de hipóteses): verificar ou refutar notações preconcebidas, ideias e palpites referentesàs relações de dados
        
        Bottom-up(descoberta do conhecimento): Na descoberta de conhecimento a análise sobre os dados é feita sem suposições prévias(dados são autorizados a faar por si)
      - Algumas tarefas
        para MD
        
        Classificação(preditiva)
        
        Clustering(descritiva)
        
        Regra de associação(Dscritiva)
        
        Regressão(Preditiva)
        
        Detecção de desvios(Preditiva)
  - - - Essas tarefas tem correlaão com atividades de transformação do processo ETL e nao se confundem com as tarefas de mineração
      - Limpeza de dados: Preenche valores faltantes, suavisa ruidas, identifica/remove outliers e resolve inconsistências
      - Integração: ados de origem diferentes integrados
      - Transformação: Normalização e agregação de dados
      - Redução: Tenta reduzir o volume de dados sem provocar grandes alteraçãoes no resultado final
      - Discretização: Faz parte da redução - visa estabelecer valores discretos para variaveis continuas
  - - - Presença de um conjunto de itens com outra faixa de variáveis(ex: mulher que compra sapato x tbm compra a bolça y)
      - Padrão da forma X-->Y
      - A regra precisa satisfazer algumas medidas:
        
        Suporte: medida objetiva, representa a porcentagem de transações em que a regra se verifica
        
        confiança: medida objetiva- mede o grau de certeza de uma associação (probalidade condicional- % de transações X que tbm contem Y)
      - 3 passos principais da regra de associação:
        
        1 Gerar todas as combinações de itens
        
        2 Descobrir todos os conjuntos
        
        Conjunto pequeno não satisfazem as condições
        
        Conjunto Grande: satisfaz as condições
        
        3- Gerar regras de associação para a base de dados
    - - Definição das classes
        
        Conjunt de dados para aprendizado
      - Ex: Classificar, a partir de um conjunto de características, em "bom comprador" ou "Mal comprador"
    - - Identificar agrupamentos de objetos que identificam uma classe
      - Queremos achar grupos naturais nos dados onde dados em um mesmo grupo sao semelhantes entre si e dados de grupos diferentes que são diferentes entre si
      - Algoritimos
        
        Particionais: construir diversas partições com algum criterio
        
        Hierárquicos: decomposição hierárquica usando algum critério
- - - - Classificação de Padróes(ex: imagens, credito bancario)
      - Processamento de linguagem natural(ex: como usar noticias como fonte de informação - Reconhecimento de objetos(reconhecer pessoas ou objetos)
      - Jogar nogos(Xadrez, gamao)
      - Previsão de variáveis(ex: inflação, retorno de ativos financeiros
      - Clustering(ex: segmentar clientes de uma empresa)
  - - - Procura ajustar os dados a uma função qualquer
      - Supoe a existencia de um professor que te ensina que tipo de comportamento vc deve exibir em cada situação
      - ex: classificar empresas em saudaveis e nao saudaveis com uma amostra que associa caad empresa saudavel a uma serie de variaveis
      - Técnica modelo PROBIT: é um tipo de regressão em que a variável pode levar apenas dois valores(ex:casado ou não)
      - Aprendizado semi supervisionado: quando nem todos os pares de entrada e saída sao conhecidos
        
        Geralmente uma pequena quantidade de dados rotulados com uma grande quant de dados n rotulados
    - - Nenhum rotulo é dado ao algoritimo, deixando-o sozinho para encontrar a estrutura em sua entrada
      - Pode ser um objetivo em si(descobrir padroes ocultos nos dados) ou um meio para um fim
    - - Envolve como jogar um jogo em multiplos estagios com recompensas
      - EX: Forma como as empresaas ajustam seus preços de forma dinamica reagindo aos preços dos concorrentes
  - - - N incrementa(batchl:Sempre que todo o conjunto de treinamento deva estar presente para o aprendizado
      - Incremental: indutor apenas tenta atualizar a hipotese antigo sempre que novos exemplos sao adicionados ao conjunto de treinamento
  - - - Modo: supervisionado, n supervisionado por reforço
      - Paradigmas: simbolicos, estatistico, baseado em exemplos, conexista, evolutivo
      - Formas: Incremental, Ñ increental
      - Linguagem de descrição Exemplos ou objetos, Hipoteses, Conhecimento do dominio
    - - Tenta separar as classes diretamente (diferente da arvore)
    - - Um nó folha coresponde a uma classe ou um né de decisão que contem um teste sobre algum atributo
      - Divide recursivamente os exemplos em subconjuntos menores, tentando separar cada classe das demais
    - - Paradigma estatistico: Sistemas utiizam modelos estatisticos para encontrar uma boa aproximação do conceito induzido
      - Fornece uma abordagem probabilistica para aprendizagem
        
        Baseia-se na suposição de que as quantidades de interesse são reguladas por distribuiçoes de probabilidade
      - Permite combinar facilmente conhecimento a priori com dados de treinamento
      - Base no teorema de Bayes
    - - Classificar objetos com base em exemplos de treinamento que estão mais proximos no espaço de caracteristicas
      - Para utilizar o KNN é necessario:
        
        Um conjunto de exemplos de treinamento
        
        Definir uma métrica para calcular a distancia entre os exemplos de treinamento
        
        Definir o valor K(numero vizinho mais procximo considerado no algoritimo)
      - Classificar um modelo desconhecido como KNN consiste em
        
        Calcular a distancia entre o ex desconhecido e os outros exemplos do conjunto de treinamento
        
        Identificar os k vizinhos mais proximos
        
        Utilizar o rotulo das classes dos k para determinar o rotuo de classe do exemplo desconhecido(votação majoritaria)
    - - Aprendizado baseado em experiencias passadas
      - consiste em rsolver problemas ao recuperar e adaptar experiencias passadas - camadas de caos-armazenadas em uma base de dados de casos
    - - Várias unidades de processamento cujo funcionamento é muito simples
      - as unidades fazem operações sobre seus dados locais, que sao entradas recebidas pelas suas conexoes
      - Pode ser resumida em
        
        Sinais sao apresentados à entrada
        
        Cada sinal é multiplicado por um numero/peso que indica a sua influencia na saída da unidade
        
        É feita a soma ponderada dos sinais que produz um nivel de atividade - Se este nível de atividade exceder a um certo limite(threshold) a unidade produz uma determinada resposta de saida
    - - São algoritimos probabilisticos cuja deia era imitar as etapas de evolução natural das especies
      - 4 aspectos
        
        Baseiam-se em uma codificação do conjunto das soluções possiveis, e não nos parametros de otimizalçao em si
        
        Os resutados sao apresentados como uma população de solução e nao como uma solução unica
        
        n precisa de conhecimento derivado do problema, apenas de uma forma de avaliação do resultado
        
        Usam transições probabilisticas e nao regras determinísticas
      - Deve-se olhar o resultado e usar probabilidade para chegar ao resultado otimizado