Please enable JavaScript.
Coggle requires JavaScript to display documents.
MODELOS END-TO-END E LLMS ÁUDIO NATIVO - Coggle Diagram
MODELOS END-TO-END E LLMS ÁUDIO NATIVO
modelos
ponta a ponta
substituíram
cadeia
componentes
arquitetura
clássica
única
rede
1 more item...
única
rede
neural
treinada
conjuntamente
mapeia
áudio
1 more item...
3 famílias
grande
desafio
técnico
famílais
divergem
forma
1 more item...
reconhecimento
alinhamento
áudio
1 more item...
texto
1 more item...
n sabe
1 more item...
comparação
CTC
alinhamento
1 more item...
depend~encia
1 more item...
tempo real
1 more item...
uso
1 more item...
falha
1 more item...
exemplo
1 more item...
sem
1 more item...
independência
1 more item...
RNN-T
alinhamento
1 more item...
dependência
1 more item...
tempo real
1 more item...
LM externo
1 more item...
falhas
2 more items...
exemplo
1 more item...
AED
alinhamento
1 more item...
dependência entre saída
1 more item...
tempo real
2 more items...
LLM
1 more item...
falhas
3 more items...
exemplo
2 more items...
propõe
lógica
única
rede
neural
alimentada
áudio
treinada
transcrições
aprende
sozinha
1 more item...
otimizada
1 more item...
mudança
simplificou
construção
sistemas
combinada
1 more item...
novos
problemas
alucinações
modelo
pode
1 more item...
pode
"melhorar"
texto
1 more item...
quando
recebe
áudio
atributos
simples
espectro log-mel
imagem
1 more item...
produz
diretamente
sequência
símbolos
escritos
sem
1 more item...
n há
dicionários
pronúncias
elaborado
linguistas
rede
aprende
a aprtir
pares
áudio-texto
correspondência
1 more item...
parte
1 more item...
unidades de saída
costumam
caracteres
subpalavras
pedaços
palavras
aprendidos
estatisticamente
1 more item...
cada
unidade
token
avaliaçaõ
ponta a ponta
componentes
ponta a ponta
rede
treinada
conjuntamente
léxico de pronúncias
dispensado
saída
caracteres
subpalavras
dados de treinamento
exige
muitos
dados
atingir
1 more item...
adaptação ao domínio
ajuste fino
lista
termos
prompt
fusão
modelo
língua
LM
1 more item...
interpretabildiade
comportmaento
+opaco
erros
típicos
grafias
inventadas
se
modelos
generativos
1 more item...
clássico
componetnes
vários
treinados
separadamente
léxico de pronúncias
necessário
elaborado
especialsitas
dados de treinamento
funciona
-dados
rotulados
adaptação ao domínio
troca/ajuste
léxico
modelo
língua
interpretabildiade
erro
atribuíveis
1 componente
erro típicos
substituições
palavra
léxico
comparação
vantagem
simplicidade
otimização
dados
suficinetes
resutla
1 more item...
construção
custo
dependência
dados
modelos
ponta a ponta
1 more item...
controle
conheicmento
distribuído
rede
1 more item...
continuam
usar
recursos
externos
1 more item...
conceitos
transformer
arquitetura
baseada
autoatenção
conformer
encoder
combina
convolução
autoatenção
alucinaçaõ
texto
fluente
produzido
modelo
n corresponde
dito
LLM multimodal
recebe/gera
outras
modalidades
texto
áudio
imagem
janela de contexto
quantidade
máxima
tokens
modelo
considera
1 vez
cascata
pipeline
ASR
gera
texto
LLM
processa
texto
etapa
separada
encoders
parte
rede
transforma
espectograma
representações
úteis
vetores
resumem
1 more item...
1os modelos
ponta a ponta
redes recorrentes
sobretudo
LSTM
Long Short-Term Memory
memória
1 more item...
transformer
proposta
Vaswani
2017
traduão
automa´tica
substitui
recorrência
1 more item...
conformer
proposta
Gulati
2020
combina
atenção
captura
dependências
longo
alcance
convolução
captura
padrões
locais
sinal
tornou-se
encoder
+usado
ASR
áudio
muitos
quadros
1 more item...
diferença
atenção
cada
elemento
sequência
(1 quadro de áudio/1 token de texto)
comparado
todos
1 more item...
nova
representação
cada
elemento
média
ponderada
1 more item...
autoatenção
comparação
ocorre
dentro
=sequência
atenção
cruzada
decoder
modelos
AED
texto
geração
"consulta
repreesntação
áudio
1 more item...
convolução
aplica
pequenos
filtros
deslizam
entrada
repondem
padrões
locais
transição
1 more item...
aprendizado
sem
transcrição
autossupervisionado
explora
assimetria
wav2vec 2.0
Baevski
2020
rede
pré-treinada
1 more item...
variantes
HuBERT
1 more item...
português
brasileiro
1 more item...
supervisioando
áudio
transcriçaõ
cuidadosa
volume
limitado
exemplo
corpora
acadêmicos
transcritos
manualmente
fracamente supervisionado
grande
volume
pares
áuidio
texto
1 more item...
exemplo
whisper
Whisper
apresentado
OpenAI
artigo
Robust Speech Recognition via Large-Scale Weak Supervision
Radford/colaboradores
modelo
lançado
09.2022
artigo
divulgado
12.2022
publicado
anais
1 more item...
aposta
escala
lugar
poucos
dados
transcrição
cuidadosa
cerca
1 more item...
objetivo
declaro
robustez
modelo
funcionasse
bem
sem
ajuste
1 more item...
arquitetura
transformer encoder-decoder
família
AED
áudio
reamostrado
16 kHz
dividido
janelas
30 segundos
1 more item...
detalhes
encoder
processa
janela
decoder
gera
texto
token por token
único
modelo
executa
várias
tarefas
indicadas
1 more item...
produz
texto
pontuado/capitalizado
sem
etapa
separada
1 more item...
esquema
diferença
tokens especiais
idioma
tarefa
marcas
tempo
texto
já
2 more items...
áudios
longos
processados
janela a janela
texto
cada
janela
1 more item...
modelo
aceita
prompt inicial
trecho
texto
condiciona
estilo/vocabulário
1 more item...
n é
ordem
1 more item...
API
interface de programação de aplicações
OpenAI
prompt
modelo
whisper-1
limitado
1 more item...
nomes parlametneares/siglas
pode
melhorar
1 more item...
versões/licenças
lançado
vários
tamanhos
compromisso
qualidade/custo
tiny
39 milhões de parâmetros
base
74 milhões
1 more item...
small
224 milhões
1 more item...
medium
769 milhões
1 more item...
large
1,55 bilhão
1 more item...
12.2022
large-v2
11.2023
large-v3
treinado
1 milhão
horas
áudio
1 more item...
10.2024
versão
+rápida
decoder
reduzido
32
1 more item...
Open AI
oferece
modelo
serviço
pago
acessado
2 more items...
limitações
modelo
generativo
autorregressivo
agravadas
dados
treinamento
imperfeitos
6 more items...
coincidem
probleams
relatados
Câmara dos Deputados
2026
alterações
indexseajdas
1 more item...
contradições
repetições
alucinações
dificuldade
identificação
1 more item...
2 medidas
reduzem
risco
1 more item...
saídas
reais
pequeno
modelo
tiny
(39 milhões de parâmetros)
transcriçaõ correta
erros plausíveis
laços de repetição
1 more item...
diferença
erro
reconhecimento
comm
"parecer
erro
palavra
1 more item...
alucinaçaõ
texto
gramatical/plausível
leitura
rápida
pode
3 more items...
LLMs Multimodais de Áudio Nativo
rede
neural
tipo
transformer
bilhões
parâmetros
treinado
prever
1 more item...
pré-treinamento
modelo
lê
volumes
1 more item...
aprendizado
autossupervisionado
próprio
1 more item...
estima
plausabilidade
sequências
palavras
grande modelo de linguagem
LLMs
1 more item...
pré-treinado
completa
txtos
mas
1 more item...
pessoas
comparam
respostas
1 more item...
3 características
explicam
comportamento
modelos
3 more items...
cascata e modelo antivo
até recentemente
aplicar
grande modelo
linguagem
áudio
exigia
cascata
3 more items...
LLMs multimodais de áudio antivo
recebem
áudio
diretamente
2 desenhos princiais
1o
encoder
1 more item...
2o
modelo
1 more item...
áudio
1 more item...
modelos
comerciais
+recentes
GPT-4o
2024
apresentado
1 more item...
família Gemini
google
concebida
1 more item...
fluxo
cascata
áudio nativo
comparação
propagação erros
cascata
ASR+LLM
passam
ASR
LLM
LLM de áudio nativo
etapa
menos
erros
continuam
porssíveis
controle/auditoria
cascata
texto
intermediário
pode
revisto
LLM áudio nativo
etapa
intermediária
n pode
revisto
instrução
cascata
só
etapa
LLM
LLM áudio nativo
possível
pedir
linguagem
natural
formato
resumo
normalização
didelidade literal
cascata
depende
ASR
LLM áudio nativo
risco
paráfrase
limpeza
alucinações
fluente
mudança transcrição
LLMs
áudio
nativo
permitem
pedir
linguagem
natural
4 more items...
google
descreve
CHirp 3
modelo
generativo
específico
1 more item...
riscos
crescem
=proporção
modelo
entnede
coneteúdo
1 more item...
resumo
pode
aceitável
transcrição
oficial
deve
1 more item...
custos
processamento
latência
dependência
serviços
nuvem
reflexos
proteçaõ
dados/soberania
infomração
regulados
1 more item...
alguns\
modelos
nativos
além
entrada
áudio
1 more item...
avaliação
modelos
nativos
devem
medidos
=métricas
1 more item...
