Please enable JavaScript.
Coggle requires JavaScript to display documents.
DADOS - Coggle Diagram
DADOS
atributos
tipos
qualitativos/nuiméricos
valores
numéricos
permitem
operações
matemáticas
subtipos
discretos
contínuos
exemplos
idade
renda
saldo
qualitativos/categoricos
rerpesentam
categorias
distintas
subtipos
nominais
ordinais
exemplos
sexo
estado
civil
tipo
conta
binários
restritos
apenas
2valores
exemplo
sim/não
fraude/n fraude
modelo
dados
treinado
IA
tabela
contenha
input
entrada modelo
1 more item...
variável
alvo
1 more item...
análise
exploratória
dados
exemplo
distribuição
compreender
vomo
valores
1 more item...
cirrekalçai
descobrir
relaç~eos
ocultas
1 more item...
outliers
identificar
anomalias
pontos
1 more item...
transformação
dados
numericos
categóricos
meio
nomralização
padronização
criação
seleção
rigorosa
3 objetivos
vitais
reduzir
dimensionalidade
simplificar
arquitetura
1 more item...
melhorar
desempenho
aumetnar
velocidade
precisão
evitar
overfitting
impedir
modelo
1 more item...
precisão
depende
integridade
atributos
dados
faltantes
ruído
erroneamente classificado
fatores
externos
1 more item...
redundância
alta
correlação
multicolineariedade
altura
peso
categorias
responsáveis
descrever
elementos
armazenados
tabela
processo
dado bruto
tabela -> linhas/colunas
taxonomia
qualitativo/qunatitativo/binário
exploração/engenharia
EDA/limpeza e criação de faixas
seleção
1 more item...
representação de dados
envolve
maneira
guardar
dados
dentro
dataset
perpassa
toda
etapa
transformação
dados
vindos
diversas
fontes
1 more item...
extração
dados
vindos
diversas
fontes
data lake
organização
entrada
1 more item...
transformação
envovle
diversas
etapas
nomralização
transformaçaõ
dados
padronização
dados
representação
dados
tratada
antes
tudo
assuntos
dados
numéricos
podem
inteiros
valores
decimais
frequentes
armazenados
fomatos
inteiros
ponto
flutuante
notação
científica
dependendo
1 more item...
expressos
forma
número
representaçaõ
inteiros
decimal
binária
hexadecimal
base 16
ponto flutuante
notação decimal
notação científica
multiplicados
base
1 more item...
números complexos
imaginária
textuais
estruturados
representação
dados
especiais
georeferenciamento
geosensoriamento
valores
quantiativos
expressos
forma
números
Dashboards
projetos
machine learning
NumPy
cada
linah
corresponde
instânica
1 more item...
cada
matriz
representa
ponto
1 more item...
DataFrame
Pandas
estrutura
dados
tabular
1 more item...
pode
entendido
tabela
linhas
1 more item...
colunas
1 more item...
esparsidade
dados
numéricos
esparsos
contiveram
muitos
zeros
valores
1 more item...
pode
1 more item...
normalização/padronização
antes
fornecer
dados
numéricos
ML
muitas vezes
1 more item...
normalizaçaõ
escala
dados
intervalo
específico
0,1
-1,1
textuais
formato texto
podem
armazenados
texto simples
+complexos
HTML
PDF
bancos
dados
análise
geralmente
processamento de linguagem natural
PLN
extrair
informaç~eos
significativas
formas
representação
string
sequência
caracteres
vetorizaçaõ
baseada
frequência
lembrar
trnsformados
vetor
1 more item...
1o
define
todos
1 more item...
pré-processamento
retira
palavras
1 more item...
proomove
redução
1 more item...
bag of words
saco de palavras
consiste
criar
vocabulário
todas
palavras
1 more item...
representar
cada
documento
vetor
1 more item...
Term Frequency-Inverse Document Frequency
calcula
peso
cada
palvra
base
frequência
1 more item...
raridade
1 more item...
n-grammas
sequências
contiguas
palavras
texto
representação
n-gramas
1 more item...
incorporação de palavras
word embedding
Word2Vec
técnica
mapeia
palavras
vetores
1 more item...
GloVe
Global Vectors for Word Representation
método
similar
Word2Vec
cria
1 more item...
tabelas textuais
word claud
BI
maior
palavra
maior
importânica
rede palavras
maior
letra
+improtnaet
análise de sentimento
classifca
palavra
positiva
neuta
negativo
relatórios
sumários
textuais
machine learning
conversão
vetores
numéricos
conversão
one-hot encoding
cada
palavra
única
mapeada
1 more item...
posição
vetor
representa
1 more item...
pode
usar
3 campos
1 more item...
tipos de dados
quantitativos
tipos
contínuos
peso
temperatura
altura
dados
reais
discretos
número
filhos
quantidade
itens
dados
inteiros
dados
podem
medidos/expressos
numericamente
qualitativos/categóricos
dados
descritivos
n possuem
representação
numérica
direta
tipos
nominais
categorias
sem
ordem
cor
olhos
sexo
ordinais
categorias
com
ordem
classificações
níveis
satisfaçaõ
pré-processamento
diferente
cada
tipo
estruturados
organizados
tabelas
colunas
linhas
semiestruturados
organizados
maneira
n seguem
tabela
rígida
XML
JSON
n estruturados
texto livre
imagens
vídeos
definição
representação
simbólicas
relação
extrair
infomraç~eos
podem
processados/analisados
extrair
significado
alimentam
processos
analíticos
algoritmos
permitem
tomada
decisões
execução
operações
atribui
significado
gera
informação
diversas
informaç~eos/padrões
conhecimento
tratamento de dados
necessário
adequação
algoritmo
utilizado
normalização
numérica
alteração
escala
+atributo
numérico
necessário
atributos
1 more item...
importante
atributos
nume´ricos
=escla
necessária em ML
machine learning
atributos
entrada
estiverem
escalas
1 more item...
nem sempre
necessária
redimensioanr
operações
constantes
ex
converter
temperatura
1 more item...
normalizar
todos
elementos
ficarem
0-1
padronizar
subtrair
média
dividir
desvio
padrão
obtendo
variável
1 more item...
uso
z-score
padronização
z
novo
número
x
número
coluna
u
média
1 more item...
omega
desvio
padrão
min-max
Xchanged = X-Xmin/Xmax-Xmin
discretização
transformação
dados
escala
contínua
escala
discreta
objetivo
limitar
número
estados
atributo
forma
classificaçaõ
onde
intervalos
podem
receber
"nomes"
de
largura igual
equal-width discretization
divide
intervalo
valores
variável
1 more item...
simples
implementar
interpretar
n garante
cada
intervalo
=número
1 more item...
escala
divida
compartimentos
tamanhos
iguais
dados
serão
distribuídos
categorias
frequência igual
equal-frequency
discretizaçaõ
quantis
divide
dados
k
intervalos
1 more item...
binária
transforam
variável
contínua
variável
categórica
1 more item...
comum
problemas
classificaçaõ
binária
transformação
prolema
regressão
problema
1 more item...
entropia
utiliza
entropia
dividir
variável
intervalos
1 more item...
frequentemente
usada
algoritmo
árvore
decisão
por clustering
algoritmos
clustering
K-Means
agrupar
dados
1 more item...
clusters
foramm
intervalos
discretos
n garante
intervalos
tenham
=número
observações
por intervalos de probabildiade
distribuiça~~o
probabilidade
dados
cria
intervalos
base
percentuais
semelhantes
1 more item...
dados ausentes
erro
digitação
leitura
incorreta
natureza
dado
tipos
Missing Completely at Random
MCAR
perdidos
completamente
forma
aleatória
1 more item...
omissão
resposta
aleatória
Missing at Random
MAR
valor
faltante
depender
valroes
1 more item...
dado
pode
recuperado
através
1 more item...
omissão
respsotas
podem
conseguidas
1 more item...
Missing not at Random
MNAR
dado
faltante
motivo
específico
sujeitos
respondem
itens
indiscrimnadametne
1 more item...
tratar
recuperação
dado
original
uso
média
mediana
moda
escolah
estatística
descritiva
utilização
dado
aleatório
vlaor
padrão
constante
utilização
último/próximo
valor
válido
K-nearest
ponto
+próximo
métodos
avançados
ML
criação
estado
ausente
possível
1 more item...
pairwise deletion
casos
disponíveis/exclusão
amostras/linhas
dados
faltantes
varia´veis
1 more item...
outliers
observação
diferencia
demais
observações
levnta
suspeitas
aquela
1 more item...
tipos
univariado
detectado
analisar
distribuição
variável
simples
multivariado
espaço
n-dimensional
observaçaõ
deve-se
recorrer
1 more item...
natural
declaração
renda
verdadeiramente
pessoa
saiu
muito
1 more item...
idade
avançada
analisar
expectativa
vida
determinada
1 more item...
artificial
erro
amostragem
processar
dados
entrada
dados
medida
intencional
detecção
observação
direta
dados
estatísticas
quartis
histograma
z-score
útil
observar
dados
padrão 1
média
1 more item...
limite
superior
limite
inferior
denotam
fim
1 more item...
histograma
divide
dados
compartimentos
=frequência
colocando
quantos
1 more item...
diferença
interquartil
tratamento
eliminação
transformaçaõ
logarítimica
filtragem
tratamento
separado
clusterização
processos
geradores
dados
qualquer
sistema/mecanismo
cria/coleta
dados
podem
manuais
automatizados
exemplos
sensores IoT
capturam
dados
ambiente
físico
transações financeiras
sistemas
pagamento
compras
registram
infomraç~eos
redes sociais
interações
humanas
postagens
curtidas
cometna´rios
sistemas
corporativos
ERPs/CRMs
outros
sistemas
geram
1 more item...
formatos
comuns
arquivos
dados
XML
extensible markup language
usado
armazenar
dadios
1 more item...
JSON
JavaScript Object Notation
formato
leve/legível
humanos
1 more item...
suporta
estruturas
hierárquicas
1 more item...
compactação
suporte
big data
limitado
tipos
dados
estruturas
simples
complexas
desempenho
leitura
médio
Parquet
formato
armazenamento
dados
colunas
1 more item...
usado
frequentemente
big data
sistemas
analíticos
1 more item...
somente
acessa
dado
coluna
1 more item...
formato
colunar
opern-source
otimizado
armazenamento/processamento
eficiente
grandes
1 more item...
sistemas
distribuídos
Apache Hadoop
Apache Spark
Amazon S3
também
sistemas
1 more item...
operações
realizadas
subjconjunto
colunas
1 more item...
aceita
dados
BOOLEAN
1 bit
1 more item...
INT32
inteiros
1 more item...
INT64
64 bits
INT96
96 bits
FLOAT
fluante
1 more item...
Double
64 bits
Byte_Array
comprimento
1 more item...
Fixed_LEN_BYTE_Array
comprimento
1 more item...
metadados
globais
versão
arquivo
1 more item...
esquema de dados
descreve
estrutura
1 more item...
tipos
1 more item...
quaisquer
1 more item...
codificação
1 more item...
compressão
1 more item...
número
total
linhas
1 more item...
informações
compressão
descreve
1 more item...
informações
colunas
metadados
1 more item...
alta
compactação
suporte
big data
otimizado
tipos
dados
estruturas
simples
complexas
txt
texto puro
dados
formato
texto
1 more item...
fácil
abrir
mas
1 more item...
CSV
Comma-Separated Values
armazena
dados
tabulares
1 more item...
amplamente
utilizado
simplicidade
1 more item...
suporte
big data
limitado
tipos
dados
básicos
desempenho
leitura
lenta
XLSX
excel
formato
binário
utilizado
1 more item...
permite
formatação
rica
uso
1 more item...
