Please enable JavaScript.

Coggle requires JavaScript to display documents.

Introdução a mineração de dados (Cap 1 e 2) (Cap 2 (Algumas questões…

- - - - Surgiu como um processo sistemático, interativo e iterativo de praparação e extração de conhecimentos a partir de grandes bases de dados.
  - - - Análise eficaz e eficiente
        
        Estabelecer a significância da mineração: tanto a significância estatistica quanto a prática da mineração devem ser consideradas. A significância estatistica está relacionada à confiabilidade dos resultados obtidos, ou seja, se a base de dados foi preparada adequadamente para a análise, se os resulltados apresentados são coerentes e se os algoritmos propostos tem o desempenho desejado. Por exemplo, uma amostragem ou nonrmalização inadequada da base pode gerar resultados que não tenham nenhuma significância estatística e que, portanto, são inúteis. A significância prática, por sua vez, questiona sobre a aplicabilidade prática das analíses realizadas, ou seja, se essas análises podem ser usadas em algum processo de tomada de decisão.
      - Necessidade de conhecer os dados
    - - Detecção de anomalias Uma base de dados pode conter objetos que não seguem o comportamento ou não possuem a característica comum dos dados ou de um modelo que os represente. Esses dados são conhecidos como anomalias ou valores discrepantes (outliers). A moiria das ferramentas de mineração descarta as anomalias - por exemplo, ruídos ou exceções, como na detecção de fraudes, os evetnos raro podem ser mais informativos do que aqueles que ocorrem regularmente.
- - - - Incompletude
        
        Faltar valores de um dado atributo (?); Falta de um atributo de interesse; Faltar um objeto de interesse.
      - Insconsistência
        
        Diferentes e conflitantes versões do mesmo dado aparecem em locais variados; Valor fora do domínio ou apresenta uma grande discrepância em relação aos outros dados.
      - Ruído
        
        Um dado ruidoso é aquele que apresenta alguma variação em relação ao seu valor sem ruído e, portanto, ruídos na base podem levar a insconsistência.
    - - A própria indisponibilidade de dados para alguns objetos e atributos
      - Erros de medição
      - Entendimento e/ou entrada de dados
      - Falhas no sistema
      - Fraudes nos dados
      - Erros de transmissão
      - Diferença de convenção(padronização)
    - - Conhecer e preparar de forma adequada os dados para análise
      - O não processamento ou mal feito pode inviabilizar uma análise ou invalidar um resultado.
      - Príncipio: GIGO - Garbage In Garbage Out
        
        Assume que a qualidade da saída do sistema depende da qualidade de sua entrada e está baseado na observação de que boas entradas geralmente resultam em boas saídas e entradas ruins costumam resultar em saídas ruins.
    - - Estruturados
        
        Dados que residem em campos fixos em um arquivo, banco de dados, uma planilha. Dependem da criação de um modelo de dados.
        
        Linha == Objeto, instância
        
        Coluna == atributo, característica, variáveis
        
        Atributo dependente: IMC | Atributo independente: peso e altura
        
        Tipos de atributos
        
        Categórico
        
        Binário
        
        1 more item...
        
        Nominal
        
        1 more item...
        
        Ordinal
        
        1 more item...
        
        Numérico
        
        Discreto
        
        Contínuo
        
        Razão
        
        1 more item...
      - Semiestruturados
        
        Não possui a estrutura completa de um modelo de dados, mas também não é totalmente desestruturado.
      - Não estruturados
        
        É aquele que não possui um modelo de dados, que não está organizado de uma maneira predefinida ou que não reside em locais definidos.
  - - - Três fatores a serem considerados
        
        1 - Os problemas da base
        
        2 - Qual problema deve ser resolvido?
        
        3 - Como operam as técnicas de mineração de dados que serão empregadas?
      - É comum que essa etapa consuma mais tempo de análise do que as etapas de aplicação dos algoritmos de mineração.
    - - Limpeza :check:
        
        A limpeza dos dados atuam no sentido de:
        
        Imputar valores ausentes
        
        "?" ou null
        
        Muitas vezes a imputação é necessária para a análise, pois muitos algoritmos não aceitam rodar com dados faltantes.
        
        A imputação não pode impactar no resultado da análise. Deve ser usada somente para completar o cenário, porém sua 'existência' não deve interferir no resultado.
        
        Métodos para imputação
        
        Ignorar o objeto
        
        Remover da base todos os valores ausentes
        
        Não é muito recomendado porque pode retirar muitos dados da base, reduzindo significativamente.
        
        Imputar manualmente os valores ausentes
        
        Não é muito indicado porque os valores podem fugir do domínio do atributo além de demandar um pouco a mais de trabalho por ser manual.
        
        Usar uma constante global para imputar o valor
        
        Substituir os valores por um valor constante. Deve-se tomar cuidado por que o algoritmo de mineração pode considerar esse valor por aparecer em grande quantidade.
        
        Imputação do tipo hot-deck
        
        Um valor ausente é imputado usando o valor do mesmo atributo de um mesmo objeto similar aleatoriamente selecionado. A similiaridade pode ser calculada utilizando, por exemplo, medida de similaridade ou distância entre objetos.
        
        Imputar de acordo com a última observação
        
        Dado que a coluna(atributo) está ordenado, usa-se o valor da célula imediatamente anterior para imputar no valor que está ausente.
        
        Usar a média ou moda de um atributo para imputar o valor ausente
        
        Muito utilizada, porém é suscetível a aoutliers
        
        Usar a média ou a moda de todos os objetos da mesma classe para imputar o valor ausente
        
        Usar modelos preditivos para imputar o valor ausente
        
        Sobre tratamento de valores ausentes é importante considerar:
        
        Investigar as razões dos dados ausentes de forma que os evite
        
        Investigar o impacto dos dados ausentes no resultado - Confiabilidade, validade, generalização das conclusões.
        
        Os vários métodos de imputação de valores ausentes
        
        Investigar o resultado da aplicação de cada um dos métodos considerados na imputação.
        
        Suavizar ruídos
        
        No mundo ideal, os algoritmos de mineração devem aprender a caracterizar os dados sem considerar os ruídos.
        
        Um dis problemas nesse passo é que não existe um padrão para identificação do que é ruído e assim removê-lo.
        
        O processo de caracterização, aprendizagem ou aproximação dos dados capturando os padrões importantes sem que o ruído seja aprendido é denominado suavização.
        
        Técnicas para suavização de atributos NUMÉRICOS:
        
        Encaixotamento (binning)
        
        De mesma largura
        
        1 more item...
        
        Mesma frequência
        
        1 more item...
        
        Agrupamento
        
        Aproximação
        
        Identificar valores discrepantes (outliers)
        
        Diferença do valor de um atributo em relação ao outro do mesmo tipo.
        
        Corrigir insconsitência.
        
        Uso de gráficos ajudam a identificar inconsistências, assim como ruídos.
      - Integração :check:
        
        Redundância
        
        Quando o mesmo dado aparece em dois locais diferentes da base, quando é repetido. (duplicidade)
        
        Situação onde determinado objeto ou atributo pode ser obtido de um ou mais objetos ou atributos da base. Ex: Atributo: Data de nascimento, atributo: idade
        
        Pode ser detectado com uma análise de correlação.
        
        Duplicidade
        
        Pode causar distorções e anomalias na base
        
        Pode ser prevenida por meio da normalização da base de dados, organização dos campos e tabelas e definição das relações entre elas.
        
        Conflitos
      - Redução :check:
        
        Para facilitar a análise por meio dos algoritmos de mineração são utilizadas técnicas para reduzir a quantidade de dados, mas sem reduzir o valor contido neles. (dimensionalidade)
        
        Métodos de redução
        
        Seleção de atributos
        
        Redução de dimensionalidade onde atributos irrelevantes, pouco relevantes ou redundantes são detectados e removidos.
        
        Compressão de atributos
        
        Redução de dimensionalidade aplicando algoritmos de codificação ou transformação ou invés de seleção.
        
        Sem perda (Lossless)
        
        Dados reconstruídos a partir dos dados comprimidos sem perda da informação
        
        Com perda (Lossy)
        
        Dados não podem ser reconstruídos a partir dos dados comprimidos.
        
        PCA - Análise de componentes principais :question: :recycle::
        
        Um dos métodos mais úteis e eficazes de compressão de dados
        
        É um procedimento estatístico que converte um conjunto de objetos com atributos possivelmente correlacionados em um conjunto de objetos com atributos linearmente descorrelacionados, chamados de componentes principais.
        
        É a principal técnica linear para a redução de dimensionalidade dos dados.
        
        Redução no número de dados
        
        Utiliza-se do processo chamado amostragem, que tem como objetivo selecionar um subconjunto de objetos de uma base que seja representativo de toda ela para efeitos de análise.
        
        Discretização
      - Transformação :check:
        
        VIsam modificar ou consolidar os dados em formas apropriadas aos processos de mineração.
        
        Padronização
        
        Visa resolver as diferenças de unidades e escalas dos dados
        
        Capitalização | Caracteres especiais | Padronização de formatos | Conversão de unidades
        
        Normalização
        
        É um processo de transformação dos dads que objetiva torná-los mais apropriado à aplicação de algum algoritmo de mineração.
        
        Max -min | pelo escore-z | pelo escalonamento decimal | range interquartil
      - Discretização :check:
        
        A tarefa de discretização, constitui em transformar valores numéricos contínuos em n intervalos que serão as n categorias que se deseja obter. Basicamente, todo o esforço está em decidir quantas categorias serão necessárias e onde ficarão os limites dos intervalos, no entanto, existem métodos de discretização não-supervisionada, onde não é necessário decidir esses parâmetros