PLN
Processamento de Linguagem Natural é fazer computadores entenderem, interpretarem e manipularem a linguagem humana.
Problemas
Ambiguidade (polissemia)
Linguagens diferentes
Estuda
Som (fonologia)
Estrutura (morfológica e sintática)
Significado (semântica e pragmática)
Utilidade
Categorização de conteúdo
Descoberta e modelagem de tópicos
Extração contextual
Análise de sentimento
Conversão fala-texto e texto-fala
Sumarização
Tradução de máquina
Classificação
Interpretação de linguagem natural
Geração de linguagem natural
Captura de Dados
Pré-processamento
Normalização
Processamento
Scraping
Crawling
Remoção de stopwords
Análises estatísticas:
Correção Ortográfica
Etiquetagem (part-of-speech tagger)
Remoção de numerais
Stemização ou Lematização
Tokenização
Separa palavras ou sentenças em unidades
Algoritmos
Naives Bayes
RNN
LSTM
Representação vetorial(word embedding)
Bag Of Words
TF-IDF
Binário