Relato dos Resultados - Avaliação do Protótipo de Alta Fidelidade
Introdução
O relato de resultados é um artefato que tem como objetivo documentar os resultados obtidos por meio de uma avaliação. O presente documento apresenta o relato de resultados da avaliação do protótipo de Alta Fidelidade.
Teste Piloto
O teste piloto foi realizado com o integrante Lucas Gabriel, na quinta-feira (19/01/2023) presencialmente, na sala I-10 da UAC da FGA/UnB, e foi gravado por meio da plataforma Teams. A partir do teste piloto foi possível validar o planejamento e ferramentas para execução da avaliação.
Vídeo 1 - Gravação do Teste Piloto (Fonte: autor, 2023).
Objetivos da Avaliação
A avaliação do protótipo de alta fidelidade teve como principal objetivo identificar problemas na interação e interface. As perguntas[1] que a serem respondidas com a avaliação são:
- O usuário consegue realizar as tarefas no sistema?
- O usuário consegue atingir o objetivo das tarefas? Com qual eficiência? Em quanto tempo? Após cometer quantos erros?
- Qual parte da interface e da interação o deixa insatisfeito?
- O usuário entende o que significa e para que serve cada elemento de interface?
- O usuário entende o que deve fazer nas etapas das tarefas?
- Quais problemas de IHC dificultam ou impedem o usuário de alcançar seus objetivos? Onde eles se manifestam? Com qual frequência ocorrem? Qual a gravidade deles?
- Quais barreiras o usuário encontra para atingir seus objetivos?
Metodologia
A avaliação foi feita em laboratório, em um ambiente controlado, pois esse tipo de avaliação fornece um maior controle sobre as interferências do ambiente na interação usuário-sistema e facilita o registro dos dados [1]. A avaliação foi um teste de usabilidade, que utiliza o método de observação para fazer a avaliação. Durante o teste de usabilidade o usuário interage com um protótipo de alta fidelidade, realizando tarefas definidas pelo avaliador. No caso do projeto, as tarefas escolhidas foram definidas com base na análise de tarefas, e são as seguintes:
- TAR1: Iniciar uma partida de xadrez;
- TAR2: Acessar um tutorial de xadrez;
Avaliadores e Participantes
O avaliador foi o estudante Nicolas Souza e os participantes são estudantes da FGA, que jogam xadrez de forma casual, encaixando-se no perfil do usuário determinado no início do projeto. Foram recrutados três participantes: Guilherme, Pedro e Arthur. A escolha pela quantidade de participantes está apoiada na literatura e explicitada no documento de planejamento. Os três participantes são estudantes da UnB, estão na faixa etária de 20 a 23 anos de idade, são tecnófilos, principalmente em razão da área de estudo e atuação, e jogam xadrez casualmente.
Protótipo de Alta Fidelidade
O protótipo de Alta Fidelidade utilizado durante o teste de usabilidade foi elaborado na plataforma Figma[4] e encontra-se representado na Figura 1.
Figura 1: Protótipo de Alta Fidelidade (Fonte: autor, 2023).
Resultados dos Testes de Usabilidade
O primeiro Teste de Usabilidade foi realizado na sexta-feira (20/01/2023) na sala S2 do UAC da FGA/UnB, com o usuário Guilherme (Vídeo 1).
Vídeo 2: Teste de Usabilidade com o Guilherme (Fonte: autor, 2023).
O segundo e terceiro testes de usabilidade foram realizados em seguida na segunda-feira (23/01/2023) na área comum do bloco UAD da FGA/UnB, com os usuários Pedro (Vídeo 2) e Arthur (Vídeo 3).
Vídeo 3: Teste de Usabilidade com o Pedro (Fonte: autor, 2023).
Vídeo 4: Teste de Usabilidade com o Arthur (Fonte: autor, 2023).
Os resultados para as tarefas (TAR1 e TAR2) foram sumarizados nas Tabela 1 e 2, onde USU-X indica o usuário do teste de usabilidade X (1, 2 e 3).
Perguntas respondidas (TAR1)
| ID | Pergunta | USU-1 | USU-2 | USU-3 |
|---|---|---|---|---|
| P1 | O usuário consegue realizar as tarefas no sistema? | Sim | Sim | Sim |
| P2 | O usuário consegue atingir o objetivo das tarefas? | Sim | Sim | Sim |
| P3 | Em quantos cliques o usuário atingiu o objetivo? | 2 | 2 | 2 |
| P4 | Quantos erros o usuário atingiu até alcançar o objetivo? | 0 | 0 | 0 |
| P5 | Quanto tempo o usuário gastou para atingir o objetivo? | 30 segundos | 29 segundos | 22 segundos |
| P6 | O usuário entende o que significa cada elemento da interface? | Sim | Sim | Sim |
| P7 | O usuário entende para que serve cada elemento da interface? | Sim | Sim | Sim |
| P8 | Alguma parte da interface deixa o usuário insatisfeito? | Sim | Não | Não |
| P9 | O usuário entende o que deve fazer nas etapas das tarefas? | Sim | Sim | Sim |
| P10 | Algum problema de IHC dificultou ou impediu o usuário de alcançar o objetivo? | Sim | Sim | Não |
Tabela 1: Perguntas respondidas para a Tarefa 1 (Fonte: autor, 2023).
Perguntas respondidas (TAR2)
| ID | Pergunta | USU-1 | USU-2 | USU-3 |
|---|---|---|---|---|
| P11 | O usuário consegue realizar as tarefas no sistema? | Sim | Sim | Sim |
| P12 | O usuário consegue atingir o objetivo das tarefas? | Sim | Sim | Sim |
| P13 | Em quantos cliques o usuário atingiu o objetivo? | 8 | 3 | 4 |
| P14 | Quantos erros o usuário atingiu até alcançar o objetivo? | 5 | 0 | 1 |
| P15 | Quanto tempo o usuário gastou para atingir o objetivo? | 38 segundos | 40 segundos¹ | 25 segundos |
| P16 | O usuário entende o que significa cada elemento da interface? | Sim | Sim | Sim |
| P17 | O usuário entende para que serve cada elemento da interface? | Não | Não | Não |
| P18 | Alguma parte da interface deixa o usuário insatisfeito? | Sim | Sim | Sim |
| P19 | O usuário entende o que deve fazer nas etapas das tarefas? | Não | Não | Não |
| P20 | Algum problema de IHC dificultou ou impediu o usuário de alcançar o objetivo? | Sim | Sim | Não |
Tabela 2: Perguntas respondidas para a Tarefa 2 (Fonte: autor, 2023).
¹ O usuário solicitou ajuda e o tempo de diálogo interferiu no tempo para realizar a tarefa.
Problemas Identificados
A partir dos resultados da avaliação, foi possível elencar uma lista de problemas de IHC, representadas nas tabelas a seguir, em termos das heurísticas de Nielsen
| Consistência e Padronização |
|---|
| Verificação: P8 - Alguma parte da interface deixa o usuário insatisfeito? |
| Grau de severidade: ( ) 0 - Sem importância ( ) 1 - Cosmético ( ) 2 - Pequeno (x) 3 - Grande ( ) 4 - Catastrófico |
| Tarefa afetada: TAR1 - Iniciar uma partida de xadrez. |
| Descrição do problema: O usuário US-1 relatou que ao iniciar a partida não fica clara a diferença entre "jogar uma partida" e "criar uma partida", e nesse momento ele relatou também sentir falta de elementos de ajuda ao usuário. Os nomes não seguem um padrão semelhante com o mundo real. O usuário US-2 também apresentou confusão, por meio de linguagem não verbal, ao iniciar a partida. |
| Local: Tela inicial e menu "jogar partida". |
| Causa: Menus com nomes semelhantes. Falta de ajuda aos usuários. |
| Efeito sobre o usuário: Breve confusão. |
| Efeito sobre a tarefa: Atraso na conclusão. |
| Correções possíveis: - Incluir um ícone de ajuda ao lado do botão. - Centralizar a funcionalidade de iniciar partida em um botão, e só então diferenciar entre partida rápida (jogar uma partida) e partida configurada (criar uma partida). - Alterar os nomes dos menus para partida rápida (jogar uma partida) e configurar partida (criar uma partida). |
Tabela 3 - Relato de resultados - Problema 1 (Fonte: autor, 2022).
| Ajuda e Documentação |
|---|
| Verificação: P8 - Alguma parte da interface deixa o usuário insatisfeito? P10 - Algum problema de IHC dificultou ou impediu o usuário de alcançar o objetivo? |
| Grau de severidade: ( ) 0 - Sem importância ( ) 1 - Cosmético (X) 2 - Pequeno ( ) 3 - Grande ( ) 4 - Catastrófico |
| Tarefa afetada: TAR1 - Iniciar uma partida de xadrez. |
| Descrição do problema: Ao iniciar a partida, o usuário US-2 apresentou dúvidas sobre o que seria o incremento em uma partida, e o usuário US-1, dúvidas sobre as modalidades de xadrez. |
| Local: Tela da configuração de uma partida. |
| Causa: Utilização de termos técnicos de xadrez. |
| Efeito sobre o usuário: Breve confusão. |
| Efeito sobre a tarefa: Atraso na conclusão. |
| Correções possíveis: - Incluir um ícone de ajuda ao lado dos menus, detalhando o que são os tempos de incremento, de jogada e explicando as modalidades de partida. - Inserir uma seção de ajuda ao usuário. |
Tabela 4 - Relato de resultados - Problema 2 (Fonte: autor, 2022).
| Consistência e Padronização |
|---|
| Verificação: P20 - Algum problema de IHC dificultou ou impediu o usuário de alcançar o objetivo? |
| Grau de severidade: ( ) 0 - Sem importância ( ) 1 - Cosmético ( ) 2 - Pequeno (x) 3 - Grande ( ) 4 - Catastrófico |
| Tarefa afetada: TAR2 - Acessar um tutorial de xadrez |
| Descrição do problema: |
| Local: Tela inicial da seção aprender. |
| Causa: Menus com nomes semelhantes. Falta de ajuda aos usuários. |
| Efeito sobre o usuário: Breve confusão. |
| Efeito sobre a tarefa: Atraso na conclusão. |
| Correções possíveis: - Incluir uma seção na lateral da página indicando para quem se destinam cada tipo de opção de aprendizagem. - Incluir breve descrições das atividades dentro dos botões das opções, como por exemplo Conteúdo elaborado por outros jogadores |
Tabela 5 - Relato de resultados - Problema 3 (Fonte: autor, 2022).
Bibliografia
[1] BARBOSA, Simone; DINIZ, Bruno. Interação Humano-Computador. Editora Elsevier, Rio de Janeiro, 2010.
[2] PREECE, J. Design de Interação: Além da interação homem-computador. Editora Bookman, 2013.
[3] Avaliação E Projeto No Design De Interfaces Capa comum – 1 janeiro 2010. Edição Português por José Guilherme Santa Rosa (Autor).
[4] Ferramenta Figma, disponível no link. Acesso durante Janeiro de 2023.
Histórico de Versão
| Versão | Data | Descrição | Autor(es) | Revisor(es) |
|---|---|---|---|---|
1.0 |
24/01/2023 | Criação da versão inicial do artefato. | Nicolas Souza | Lucas Macedo |