Please enable JavaScript.

Coggle requires JavaScript to display documents.

Métricas FADa - Coggle Diagram

- - - - input
      - resposta
      - reposta esperada
      - intenção esperada
      - intenção acionada
- - - - conversa_id
        
        0000181d-fd68-45ee-97d4-718348fa211f
        
        12 interações
      - Interação
        
        USUARIO: Desbloqueio do cartão,BOT: Qual destas opções você precisa? Liberar um cartão novo Desbloquear um cartão antigo (que você já utilizava) ou saber sobre uma compra recusada Ativar função crédito Ah, também posso te ajudar se precisar bloquear seu cartão
        
        USUARIO: Desbloquear cartão,BOT: Seu cartão pode ser bloqueado se vencer, se não for usado por 6 meses, ou por motivo de segurança. Se você já utiliza esse cartão e está com alguma dificuldade, ligue na Central de Relacionamento BB (4004-0001 e 0800-729-0001), lá selecione a opção 1- Atendimento de Cartões,BOT: Ou, se desejar, podemos verificar por aqui,BOT: Meus colegas atendem das 8h às 18h, no horário de Brasília, em dias úteis. Você pode me pedir pra falar com eles a partir das 8h. Até lá, podemos continuar conversando
        
        USUARIO: Liberar meu cartão,BOT: Qual destas opções você precisa? Liberar um cartão novo Desbloquear um cartão antigo (que você já utilizava) ou saber sobre uma compra recusada Ativar função crédito Ah, também posso te ajudar se precisar bloquear seu cartão
        
        USUARIO: Liberar um cartão novo,BOT: A liberação de novos cartões ainda não está disponível por aqui, mas eu posso te explicar como fazer isso por outros canais,BOT: Você já possui conta no BB?
        
        USUARIO: Sim,BOT: Qual é o cartão que você quer liberar? Conta Fácil Crédito Débito Pré-Pago
        
        USUARIO: Crédito,BOT: Você pode liberar o seu cartão de crédito onde preferir: App BB, selecione as opções: Liberar e bloquear Cartão > Liberar Cartão App Ourocard, selecione o cartão e depois a opção ativar Site BB, clique nas opções: Cartões > Solicitação diversas> Liberação de Cartão Caixa Eletrônico BB, escolha as opções Cartões > Solicitações Diversas > Liberação de cartões
        
        USUARIO: Liberar cartão,BOT: Qual destas opções você precisa? Liberar um cartão novo Desbloquear um cartão antigo (que você já utilizava) ou saber sobre uma compra recusada Ativar função crédito Ah, também posso te ajudar se precisar bloquear seu cartão
        
        USUARIO: Liberar um cartão novo,BOT: A liberação de novos cartões ainda não está disponível por aqui, mas eu posso te explicar como fazer isso por outros canais,BOT: Você já possui conta no BB?
        
        USUARIO: Crédito,BOT: Você pode liberar o seu cartão de crédito onde preferir: App BB, selecione as opções: Liberar e bloquear Cartão > Liberar Cartão App Ourocard, selecione o cartão e depois a opção ativar Site BB, clique nas opções: Cartões > Solicitação diversas> Liberação de Cartão Caixa Eletrônico BB, escolha as opções Cartões > Solicitações Diversas > Liberação de cartões
        
        USUARIO: Sim,BOT: Qual é o cartão que você quer liberar? Conta Fácil Crédito Débito Pré-Pago
        
        USUARIO: Senha,BOT: Qual destas opções você precisa? Liberar um cartão novo Desbloquear um cartão antigo (que você já utilizava) ou saber sobre uma compra recusada Ativar função crédito Ah, também posso te ajudar se precisar bloquear seu cartão
        
        USUARIO: OP_LOGIN_WA,BOT: Preciso te identificar para continuarmos,BOT: Informe sua agência com dígito verificador, conforme o exemplo: XXXX-X Obs.: Caso não tenha conta, mas tenha cartão de crédito no BB, pode me informar seu CPF
      - Feedback
        
        Sem feedback
- - - - Logs
        
        Logs extraídos dos diálogos reais entre os BOTs já em produção e os usuários, os quais através dos inputs X intenções trabalha-se nas métricas
        
        Utilizaríamos a intenção com maior percentual no log X input, comparar com o esperado do modelo e gerar a matriz de confusão
        
        Para cada intenção as análises seriam de acordo com as interações reais dos usuários
        
        IA (Clusterização) Utilizado nas análises
      - Testes de inputs
        
        Testes automatizados pré programados no FADa para testar assertividades das intenções simulando uma interação com o bot
        
        Pegaríamos 80 % dos testes de input para treinamento no nia, o restante para testes de input
        
        O processo se repetiria 3x para gerar as análises estatísticas
        
        Data Augmentation nos testes, aumentando a variação de frases de inputs nos testes
        
        Enriquecendo o modelo pós relatório de testes e treinamento
        
        A matriz de confusão deve ser montada a partir dos Verdadeiros positivos (VP), verdadeiros negativos (VN), falso positivos(FP) e falsos negativos(FN), onde os exemplos de interações de cada um faria a diferença
        
        Pode-se calcular Acurácia, Precisão, Recall, F1, geral ou por Intenção
        
        Métricas extraídas exclusivamente da Matrix de confusão