Please enable JavaScript.
Coggle requires JavaScript to display documents.
Avaliação de Visualizações - Coggle Diagram
Avaliação de Visualizações
Visualização
Qual técnica seria melhor para uma determinada tarefa
Um sistema é melhor em relação a qual aspecto?
Métricas de qualidade
Existe benchmarks?
Atende à expectativa do usuário
É possível ordenar os insights que as visualizações oferecem?
Propósito
Representação visual precisa
Técnicas de interação
Insights
não triviais
Descobertas
Avaliar por meio de experimentos controlados
Heuristics for Information Visualization Evaluation
T. Zuk, L. Schlesier, P. Neumann, M. Hancock e S. Carpendale, 2006
Visualizações de informação devem ser testadas
com usuários reais
com tarefas reais
com grandes e complexos conjuntos de dados
O propósito da avaliação é facilitar a cognição ajudando o usuário a ter insights
Fazer o usuário responder questões que nem sabia
que tinha
Heurísticas
são conhecimentos ou conceitos
gerais que devem ser consideradas no projeto de
visualizações
Avaliação heurística
Avaliação da visualização por um
pequeno conjunto de
avaliadores
que usam as heurísticas ou regras
para a inspeção
Processo, barato e fácil
Pode ser aplicado em diversas etapas do desenvolvimento do sistema
Exemplo
Reconhecimento ao invés de lembrança:
usuário não precisa memorizar muita informação para
realizar tarefas
Artigo cita um conjunto de heurísticas para avaliação de visualização
Como avaliar questões cognitivas de alto nível?
Empirical Studies in Information Visualization
H. Lam e colaboradores, 2012
Definição de cenários de avaliações
Avaliação não envolve só a visualização, mas também o processo analítico
Análise colaborativa de dados
Comunicação através de visualizações
Análise de dados exploratória
Desafios
Questões
Variáveis
Tarefas
Usuários
Conjuntos de dados
Métodos de avaliação
Processo (análise de dados)
Compreensão de cenários e práticas de trabalho (UWP)
Avaliação da análise visual dos dados e raciocínio (VDAR)
Avaliação da comunicação através da visualização (CTV)
Avaliação da análise colaborativa de dados (CDA)
Visualização
Desempenho do usuário (UP)
Experiência do usuário (UE)
Algoritmos de visualização (VA)
Escopo da avalição
Pré-projeto
Projeto
Protótipo
Desdobramento
Redesenho
Usos do paper
Escolha de um foco
Escolha do cenário, metas e questões
Consideração de abordagens aplicáveis
Criação de estratégias de avaliação e planejamento de análises
Para cada cenário tem-se
Métodos que podem ser usados para avaliação
Questões mais típicas
Definição
Meta
Saídas
Conclusões
Número de artigos que avaliam o processo é bem inferior ao avaliação da visualização
Os cenários mais avaliados são UE e UP
Systematic Review on the Practice of Evaluating Visualization
T. Isenberg e colaboradores,2013
Usam os cenários descritos por
H. Lam e colaboradores, 2012
Cenário Adicionado
Inspeção qualitativa do resultado (QRI)
Conclusões
QRI é presente na maioria dos artigos
QRI e AP são os mais avaliados
Em vários artigos não se sabe quantos usuários avaliaram as visualizações
A maioria dos artigos citam que os
os usuários
gostaram das visualizações, mas isso não é suficiente
Toward Measuring Visualization Insights
Theresa-Marie Rhyne, 2006
Insight
O ato ou resultado de apreender a natureza interna ou oculta das coisas ou de perceber de maneira intuitiva.
Características
Complexo
Profundo
Qualitativo
Inesperado, imprevisível e criativo
Relevante
Benchmarks
, da forma que são propostos, limitam a avaliação dos
insights
, por isso não são indicados
Proposta
Dificuldades
Demandam mais tempo de treinamento do usuário e avaliação
Mais esforços dos avaliadores para capturar e codificar os resultados
Auxílio dos especialistas na codificação dos resultados
Protocolo mais aberto
Análise qualitativa dos insights
Ênfase na análise de relevância para o domínio
Mudar as tarefas de
benchmark
de forma que não se guie o usuário em quais
insights
ganhar mas sim se observe os insights que ele ganha
Artigo discute e propõe maneiras de avaliar os
insights
dos usuários (medida de
insights
)