Please enable JavaScript.
Coggle requires JavaScript to display documents.
Avaliação de visualizações, Joana Gabriela Ribeiro de Souza - Coggle…
Avaliação de visualizações
Dificuldades
Projetadas de forma ad hoc
Focadas em sistemas específicos
Endereçam apenas questões de tempo e erros
Resultados não robustos e/ou não generalizáveis
Escassez de métricas de qualidade
Necessidade de capturar aspectos como utilidade, complexidade, fidelidade da representação
Heuristics for information visualization evaluation
Visualizações de informação devem ser testadas: (1) com usuários reais, (2) com tarefas reais, (3) grandes e complexos conjuntos de dados
Visualizações devem facilitar a cognição ajudando o usuário a ter insights
A avaliação heurística consiste em avaliar a visualização com um pequeno número de avaliadores que utilizam as regras ou heurísticas para a inspeção
Processo simples, barato e fácil que pode ser aplicado em diversos estágios do desenvolvimento.
Empirical studies in information visualization: seven scenarios
A avaliação deve observar:
Análise de dados exploratória
Comunicação através de visualização
Análise colaborativa dos dados
Desafios:
Questões
Variáreis
Tarefas
Usuários
Conjunto de dados
Métodos de avaliação
Processo (análise de dados):
Compreensão de cenários e práticas de trabalho
Avaliação da análise visual dos dados e raciocínio
Avaliação da comunicação através da visualização
Avaliação da análise colaborativa de dados
Visualização:
Desempenho do usuário
Experiência do usuário
Algoritmos de visualização
Avaliação pode acontecer no pré-projeto, projeto, protótipo, desdobramento e redesenho
A systematic review on the practice of evaluating visualization
Objetivo: relatório quantitativos, avaliação qualitativa e perspectiva histórica
Adicionaram um cenário em relação ao artigo "Empirical studies in information visualization: seven scenarios" o qual foi baseado este. Cenário baseado em aspectos qualitativos
Toward measuring visualization insights
Um insight é: complexo, profundo, qualitativos, inesperado e relevante
Insight: a capacidade de discernir a verdadeira natureza de uma situação; O ato ou resultado de apreender a natureza interna ou oculta das coisas ou de perceber de maneira intuitiva.
—Merriam Webster
Limitação de benchmarks:
São pré-definidos, usuários precisam seguir instruções específicas e deixam pouco espaço para insights inesperados
São presos a tempo de realização, ou seja, o usuário precisa realizar uma tarefa num curto intervalo de tempo, deixando pouco tempo para que um insight aconteça
Precisam ter uma resposta certa para medição da acurácia. Questões de múltipla escolha não permitem que o insight seja qualitativo
Solução proposta:
Mudar as tarefas de benchmark de forma que não se guie o usuário em quais insights ganhar mas sim se observe os insights que ele ganha
Assim deixá-los: com protocolo mais aberto, ter uma análise qualitativa dos insights e ênfase na análise de relevância para o domínio
Dificuldades:
Potencialmente gera longos tempos de treinamento e avaliação
Mais esforço para os avaliadores para captura e codificação dos resultados
Motivar os especialistas no domínio
Auxílio dos especialistas na codificação dos resultados
Conclusão:
os benchmarks devem ser melhorados e não não devem preceder a atividade "aberta" sob pena de limitar o pensamento do usuário
Joana Gabriela Ribeiro de Souza