Planejamento da avaliação do protótipo de alta fidelidade
Introdução
A avaliação de uma solução de Interação Humano-Computador através de um protótipo de alta fidelidade, conforme Barbosa e Silva ¹, é de suma importância para determinar se as metas de design foram atingidas e se o produto atende aos níveis desejados de qualidade de uso. Por isso, neste artefato, é definido o planejamento da avaliação do protótipo de alta fidelidade desenvolvido para o site Online Judge, objetivando a identificação de problemas de usabilidade.
Metodologia
Para este planejamento utilizaremos o framework DECIDE o qual propõe seis (6) etapas para o planejamento, dentre elas:
| Letra | |
|---|---|
| D | Determinar os objetivos da avaliação. |
| E | Explorar perguntas a serem respondidas com a avaliação. |
| C | Escolher os métodos de avaliação a serem utilizados. |
| I | Identificar e administrar as questões práticas da avaliação. |
| D | Decidir como lidar com as questões éticas. |
| E | Avaliar, interpretar e apresentar os dados |
Além disto, estaremos seguindo como base o perfil de usuário proposto anteriormente em busca de uma maior precisão na análise a partir dos possíveis usuários primários do sistema.
D - Objetivos
A avaliação do protótipo de alta fidelidade tem como propósito a análise e obtenção de dados relacionados à usabilidade e estética da proposta, confeccionada com maior fidelidade, de uma versão atualizada da interface da plataforma OnlineJudge. Nesse contexto, a avaliação busca detectar possíveis problemas, avaliar a eficácia do design, assim como verificar a conformidade com as tarefas elaboradas. Essa abordagem visa assegurar que a solução de Interação Humano-Computador proposta alcance os padrões desejados de desempenho e satisfação do usuário, proporcionando uma base sólida para o desenvolvimento posterior.
E - Explorar perguntas a serem respondidas com a avaliação
Com base nos objetivos descritos anteriormente, foram preparadas questões baseadas nos seguintes tópicos:
- Verificar a conformidade com as tarefas elaboradas;
- Comparar ideias e alternativas de design;
- Identificar eventuais problemas de usabilidade nas interfaces.
Selecionamos perguntas com base no Capitulo 11 de Barbosa e Silva(2011)¹, as quais podem ser observadas no roteiro de perguntas.
C - Escolher métodos de avaliação
Para conduzir esta avaliação será utilizado o método de observação, através da realização de testes de usabilidade. Dessa forma, a usabilidade será avaliada a partir da experiência do usuário com a interface do protótipo criado e serão definidas perguntas a serem realizadas antes e após o teste, de modo a analisar os critérios definidos para o projeto e o avanço alcançado no seu atingimento, conforme definição nas Metas de Usabilidade. Além disso, as opiniões do usuário e seu desempenho na realização da tarefa deverão ser registrados.
I - Identificar questões práticas da avaliação
Recrutamento
Devido a necessidade de que cada membro do grupo faça uma avaliação, e, portanto, um teste de usabilidade, estaremos recrutando sete (7) participantes que se encaixem em nosso perfil de usuário.
Preparação
Os membros que conduzirão o teste deverão realizar a observação da sessão, registrando anotações acerca do que for pontuado pelos usuários, e seguir as perguntas presentes no roteiro de entrevista pós-teste. Essa sessão de avaliação deverá conter uma tarefa proposta na análise de tarefas e o usuário se encarregará de realizar uma tentativa de cumprimento da tarefa. A sessão poderá ser conduzida por apenas um membro ou por uma dupla, no qual um ficará responsável por tomar notas e outro ficará responsável por realizar as perguntas. Além disso, as avaliações serão realizadas presencialmente e a equipe deverá fornecer informações de login e/ou outros dados que o usuário tiver necessidade para que se realize a tarefa. A estratégia de think aloud pode ser encorajada.
Script
O entrevistador passará um script ao participante para a realização das tarefas, com as seguintes informações:
- Login;
- Senha;
- Nome de usuário.
Custos
Esta etapa de testes não deverá custar nada para equipe ou para o usuário, mesmo que ela seja feita presencialmente.
Apesar de serem realizadas presencialmente, as sessões deverão ser gravadas e também serão necessárias ferramentas como:
- Plataforma de chamada com possibilidade de compartilhamento de tela: Microsoft Teams;
- Perguntas a serem respondidas com a avaliação;
- Perguntas a serem respondidas com a entrevista;
- Termo de consentimento;
- Tarefas que serão executadas pelos participantes;
- Script;
- Protótipo de Alta Fidelidade;
- Figma (ferramenta usada para criar o protótipo de alta fidelidade);
- Qualquer equipamento com acesso a internet e que possua navegador web;
- Teste-piloto.
Prazos
Tabela 2 - Cronograma Planejado.
| Entrevistador(es) | Entrevistado | Horário de Início | Horário de Fim | Data | Local |
|---|---|---|---|---|---|
| Eric Camargo | Caio Vinícius | 10:50 | 11:00 | 26/11/2023 | a definir |
| Ester Lino | Emivalto da Costa | 11:40 | 12:00 | 29/11/2023 | Faculdade do Gama |
| Henrique Torres | Josué Teixeira | 15:30 | 15:45 | 26/11/2023 | a definir |
| Kallyne Macedo | Leonardo Aguiar | 16:10 | 16:20 | 26/11/2023 | a definir |
| Luana Torres | Ingrid Alves | 18:20 | 18:30 | 26/11/2023 | a definir |
| Pablo Guilherme | João Pedro Anacleto | 19:00 | 19:10 | 26/10/2023 | a definir |
| Suzane Duarte | Letícia Picanço | 11:10 | 11:20 | 26/11/2023 | a definir |
Fonte: Ester Lino, Kallyne Macedo.
Roteiro de Perguntas
A tabela a seguir apresenta as perguntas a serem respondidas pelo usuário após a realização do teste, e a tabela em seguida apresenta as medições que deverão ser realizadas pelo membro que conduzirá a avaliação.
| Número da pergunta | Enunciado da pergunta | Resposta e Justificativa |
|---|---|---|
| 1 | Foi possível realizar a tarefa? | Aberta |
| 2 | Foi identificado algum problema de usabilidade? | Aberta |
| 3 | A disposição dos elementos na tela facilitou ou dificultou a realização da tarefa? | Aberta |
| 4 | Foi experienciada alguma dificuldade de entendimento do protótipo? | Aberta |
| 5 | Foi experienciada alguma dificuldade de realização da tarefa? | Aberta |
| 6 | Foi observada alguma sugestão de melhoria para o protótipo proposto? | Aberta |
| Número da pergunta | Enunciado da pergunta | Resposta e Justificativa |
|---|---|---|
| 1 | Quantos erros o usuário cometeu? | Fechada. Valor numérico. |
| 2 | Quanto tempo foi necessário para a execução da tarefa? | Fechada. Medição de tempo. |
| 3 | O usuário precisou de ajuda externa ou do sistema? | Aberta |
| 4 | O usuário enfrentou algum problema para realizar a tarefa? | Aberta |
| 5 | O usuário demonstrou insatisfação ou teve dificuldade com a interface? | Aberta |
| 6 | As dúvidas do usuário foram esclarecidas? | Aberta |
D - Lidando com questões éticas
Para a realização da entrevista utilizaremos o termo de consentimento apresentado anteriormente para obter autorização para realizar as atividades, garantindo o respeito e integridade dos entrevistados.
Dessa forma, para iniciar a entrevista a equipe solicita que o entrevistado pronuncie em alto e bom som: Eu, [nome do entrevistado], aceito os termos e dou meu consentimento para a realização da entrevista.
E - Avaliar, interpretar e apresentar os dados
Após a realização das entrevistas os dados obtidos devem ser documentados, e a partir destes dados poderemos fazer uma analise das dificuldades e obstáculos que os usuários tiveram em cada tarefa, além de que também poderemos observar questões de usabilidade, desempenho ou funcionalidades ausentes. Serão observados os feedbacks dos usuários bem como suas sugestões para melhoria.
Após realizado este processo, estaremos enviando os dados coletados ao time de desenvolvimento do Online Judge
Prototipo de alta fidelidade
Planejamento do Teste Piloto
Seguindo as recomendações de Barbosa e Silva ¹ realizaremos o teste piloto com o intuito de verificar se a avaliação está em conformidade com os objetivos e se tudo ocorrerá bem. Conduziremos o teste piloto como se fosse uma sessão normal de avaliação. O teste-piloto será realizado no dia 23/11/2023 por dois avaliadores: Ester Lino e Kallyne Macedo.
Resultado do Teste Piloto
A seguir está disponível o vídeo do Teste de Piloto, realizado dia 29/11/2023 e contou com a presença de 2 integrantes da equipe: Ester Lino e Luana Torres.
Link da gravação do Teste Piloto
Referências Bibliográficas
1. BARBOSA, S. D. J.; SILVA, B. S. Interação Humano-Computador. Rio de Janeiro: Elsevier, 2011.
Hitórico de versão
| Versão | Data | Descrição | Autor(es) | Revisor(es) |
|---|---|---|---|---|
| 1.0 | 21/11/2023 | Criação da página | Ester Lino | Kallyne Macedo |
| 1.1 | 22/11/2023 | Definições gerais da avaliação | Kallyne Macedo | Ester Lino |