PLN

Processamento de Linguagem Natural é fazer computadores entenderem, interpretarem e manipularem a linguagem humana.

Problemas

Ambiguidade (polissemia)

Linguagens diferentes

Estuda

Som (fonologia)

Estrutura (morfológica e sintática)

Significado (semântica e pragmática)

Utilidade

Categorização de conteúdo

Descoberta e modelagem de tópicos

Extração contextual

Análise de sentimento

Conversão fala-texto e texto-fala

Sumarização

Tradução de máquina

Classificação

Interpretação de linguagem natural

Geração de linguagem natural

Captura de Dados

Pré-processamento

Normalização

Processamento

Scraping

Crawling

Remoção de stopwords

Análises estatísticas:

Correção Ortográfica

Etiquetagem (part-of-speech tagger)

Remoção de numerais

Stemização ou Lematização

Tokenização

Separa palavras ou sentenças em unidades

Algoritmos

Naives Bayes

RNN

LSTM

Representação vetorial(word embedding)

Bag Of Words

TF-IDF

Binário