Relato dos Resultados
Introdução
Segundo Barbosa e Silva (2021)1, o relato de resultados da avaliação serve para registrar de maneira sistemática e detalhada as descobertas feitas durante o processo avaliativo. Este documento fornece informações sobre a interação dos usuários com o sistema, permitindo avaliar a qualidade do uso da solução e identificar problemas na interação e na interface que possam prejudicar a experiência do usuário. O documento em questão apresenta os resultados obtidos durante as avaliações da Análise de Tarefas.
Relato - Verificação de Submissão
Objetivos e Escopo da Avaliação
A avaliação teve como objetivo validar se a tarefa de Verificação de Submissão está de acordo com o fluxo de atividades do CD-MOJ e identificar áreas de melhoria para fornecer um suporte mais eficaz aos usuários.
Método de Avaliação Empregado
O método de avaliação foi uma combinação de observação e entrevistas com o usuário, conforme o framework DECIDE2. Nela foi pedido que o usuário explicasse o fluxo necessário para realizar a tarefa e após isso ele foi perguntado sobre algumas questões. A tabela 1 apresenta as informações sobre a entrevista:
Tabela 1 - Entrevista Verificação de Submissões.
| Entrevistador(es) | Entrevistado(s) | Horário | Duração | Data | Local |
|---|---|---|---|---|---|
| João Artur | Júlio | 22:00 | 15 minutos | 30/05/2023 | Microsoft Teams |
Fonte: João Artur.
Número e Perfil dos Usuários e Avaliadores
O participante se encaixa no perfil de usuário, ele é um usuário de entre 18 e 30 anos, estudante de ensino superior e usuário frequente do CD-MOJ.
Sumário dos Dados Coletados
Durante a entrevista foram coletados dados sobre, a interação do usuário com o sistema realizada atráves da execução da tarefa, feedbacks sobre o diagrama HTA e as respostas das perguntas presentes no planejamento da avaliação.
Análise dos dados coletados
A partir da entrevista realizada e da observação do usuário, pode-se concluir que a tarefa está de acordo com o diagrama de Verificação de Submissões. O usuário relatou que a falta de informações claras no log é um problema, uma vez que dificulta a correção das questões. Segundo ele existe uma ferramenta que é capaz de auxiliar nisso, mas ela seria bem mais atrativa se estivesse presente no site do CD-MOJ.
Sugestões de melhoria
O usuário relatou duas melhorias que segundo ele seriam fundamentais para o site:
-
Melhoria na responsividade do site, principalmente para dispositivos móveis.
-
Adicionar a ferramenta de visualização de log no site, atualmente ela só está disponível através de um bot no Telegram.
Gravação da Entevista
Relato - Criação de Contest
Objetivos e Escopo da Avaliação
A avaliação teve como objetivo validar se a tarefa de Criação de contest está de acordo com o fluxo de atividades do CD-MOJ e identificar áreas de melhoria para fornecer um suporte mais eficaz aos usuários.
Método de Avaliação Empregado
O método de avaliação foi uma combinação de observação e entrevistas com o usuário, conforme o framework DECIDE2. Nela foi pedido que o usuário explicasse o fluxo necessário para realizar a tarefa e após isso ele foi perguntado sobre algumas questões. A tabela 2 apresenta as informações sobre a entrevista:
Tabela 2 - Entrevista Criação de Contest.
| Entrevistador(es) | Entrevistado(s) | Horário | Duração | Data | Local |
|---|---|---|---|---|---|
| Douglas Marinho | Ana Júlia | 16:00 | 15 minutos | 03/06/2023 | Microsoft Teams |
Fonte: Douglas Marinho.
Número e Perfil dos Usuários e Avaliadores
O participante se encaixa em um dos perfis de usuário, ele é um usuário de entre 18 e 30 anos, estudante de ensino superior e usuário raro do CD-MOJ.
Sumário dos Dados Coletados
Durante a entrevista foram coletados dados sobre, a interação do usuário com o sistema realizada atráves da execução da tarefa, feedbacks sobre o diagrama HTA e as respostas das perguntas presentes no planejamento da avaliação.
Análise dos dados coletados
A partir da entrevista realizada e da observação do usuário, pode-se concluir que a tarefa está de acordo com o diagrama de Verificação de Submissões. O usuário relatou que a tela minimalista auxilia em não tirar atenção do usuário mas não o chama atenção para continuar o uso, e o metodo de criação aparenta ser obsoleto.
Sugestões de melhoria
O usuário relatou uma melhoria que segundo ele seriam fundamentais para o site:
- Melhoria na interface geral do site, pois sentiu incômodo na mistura do inglês com português.
Gravação da Entevista
Tutorial de Resolução de Questões Pós-Contest
Objetivos e Escopo da Avaliação
A avaliação teve como objetivo validar a tarefa de Tutorial de Resolução de Questões Pós-Contest, que é uma tarefa ainda não implementada no CD-MOJ, está de acordo com um fluxo padrão de atividades da plataforma, além de identificar áreas de melhoria para que esta funcionalidade, quando implementada, possa fornecer com êxito todas as expectativas do usuário em relação a funcionalidade.
Método de Avaliação Empregado
O método de avaliação foi uma combinação de observação e entrevistas com o usuário, conforme o framework DECIDE2. Por se tratar de uma funcionalidade não existente no CD-MOJ, foi feito uma prototipação usando a ferramenta Figma, para que o entrevistado conseguisse simular o uso da funcionalidade. No protótipo foi pedido que a usuária explicasse o fluxo necessário para realizar a tarefa e após isso foram feitas perguntas sobre algumas questões. A tabela 3 apresenta as informações sobre a entrevista:
Tabela 3 - Cronograma da Entrevista
| Entrevistador(es) | Entrevistado(s) | Horário | Duração | Data | Local |
|---|---|---|---|---|---|
| Arthur Alves | Maria Eduarda | 15:00 | 15 minutos | 03/06/2023 | Teams |
Fonte: Arthur Alves
Veja nas figuras a seguir, as telas feitas para que o usuário testasse a funcionalidade proposta para o CD-MOJ. É possível testar o protótipo de forma interativa e navegável clicando no link https://www.figma.com/proto/FuZ6K2PYn8CPTjrz47tF8U/CD-MOJ---Tutorial?node-id=2-58&viewport=542%2C227%2C0.25&t=kRQfryIIJMoHiqJE-1&scaling=min-zoom&page-id=0%3A1&starting-point-node-id=2%3A58
A figura 1 representa a tela inicial do contest, nela foi adicionado um botão "Tutorial" para que o usuário possa usar como referência para obter ajuda por meio do tutorial no contest.
Figura 1 - Tela inicial do contest.
Fonte: Arthur Alves
Na figura 2 é possível que o usuário selecione um problema específico do contest para que ele possa conferir a solução.
Figura 2 - Selecionar problema para ver tutorial.
Fonte: Arthur Alves
Na figura 3, o usuário consegue ver a solução para o problema do contest.
Figura 3 - Apresentação da solução.
Fonte: Arthur Alves
Número e Perfil dos Usuários e Avaliadores
A entrevista foi feita com um usuário. A participante se encaixa no perfil de usuário, ela é uma usuário de 21 anos, cursando ensino superior em Engenharia de Software e usa frequentemente o CD-MOJ.
Sumário dos Dados Coletados
Durante a entrevista foram coletados dados sobre, a interação do usuário com o sistema realizada atráves da execução da tarefa, feedbacks sobre o diagrama HTA e as respostas das perguntas presentes no planejamento da avaliação.
Análise dos Dados Coletados
A usuária relatou que todas as informações apresentadas na tarefa são relevantes. Ela não encontrou partes da tarefa que causaram confusão ou foram interpretadas de maneira errada. Além disso, ela conseguiu relacionar as situações da tarefa com suas experiências anteriores, indicando que a tarefa transmite efetivamente a urgência e importância das informações ou ações descritas.
De modo geral, a usuária achou que a tarefa atende aos objetivos e necessidades dos usuários, e considerou a funcionalidade de tutoriais pós-contest uma ótima ideia para facilitar o aprendizado e aprimoramento das habilidades de programação. A implementação das sugestões fornecidas pode contribuir significativamente para melhorar a experiência dos usuários e a eficácia do sistema CD-MOJ.
Sugestões de Melhoria
A usuária relatou dois pontos de melhoria que seriam fundamentais para uma melhor experiência na plataforma:
- Jargões como "contest" não são adequados para iniciantes, ela sugere trocar o termo para algo similar.
Gravação da Entrevista
Submissão de Problemas
Objetivos e Escopo da Avaliação
A avaliação teve como objetivo validar a tarefa de Submissão de Problemas, uma tarefa já implementada no CD-MOJ, na qual foi verificado se o fluxo padrão de atividades da plataforma está de acordo com o diagrama e com a descrição da tarefa, além de identificar áreas de melhoria para que essa funcionalidade, possa corresponder com êxito a todas as expectativas do usuário.
Método de Avaliação Empregado
O método de avaliação foi uma combinação de observação e entrevistas com o usuário, conforme o framework DECIDE2. Primeiro foi verificado se o entrevistado correspondia ao perfil dos usuários da plataforma do CD-MOJ, para uma melhor expericência e domínio sobre o sistema. Após essa verificação, houve a apresentação do diagrama e a verificação se o diagrama e sua descrição estão de acordo com a expectativa do usuário e fiel ao já implementado, verificando item por item se o usuário estava de acordo com aquela especificação. Na Tabela 4 apresenta as informações sobre a entrevista:
Tabela 4 - Cronograma da Entrevista - Submissão de Problemas
| Entrevistador(es) | Entrevistado(s) | Horário | Duração | Data | Local |
|---|---|---|---|---|---|
| Eric Silveira | William Bernardo | 10:20 | 15 minutos | 03/06/2023 | Laboratório ITRAC |
Fonte: Eric Silveira
Número e Perfil dos Usuários e Avaliadores
A entrevista foi feita com um usuário. O participante se encaixa no perfil de usuário, ele é uma usuário de 21 anos, cursando ensino superior em Engenharia de Software e usa frequentemente o CD-MOJ.
Sumário dos Dados Coletados
Durante a entrevista foram coletados dados sobre, a interação do usuário com o sistema realizada atráves da execução da tarefa, feedbacks sobre o diagrama HTA e as respostas das perguntas presentes no planejamento da avaliação.
Análise dos Dados Coletados
A partir da entrevista realizada e da observação do usuário, pode-se concluir que a tarefa está de acordo com o diagrama de Verificação de Submissões. O usuário relatou que a falta de informações claras no log é um problema, uma vez que dificulta a correção das questões. Segundo ele existe uma ferramenta que é capaz de auxiliar nisso, mas ela seria bem mais atrativa se estivesse presente no site do CD-MOJ.
Sugestões de Melhoria
O usuário afirmou que o CD-MOJ tem muito a melhorar sobre diversos aspectos, porém afirmou que essa análise de tarefas está bem descrita e que para o seu propósito, é uma solução e tarefa eficiente.
Gravação da Entrevista
Ranking de Contest
Objetivos e Escopo da Avaliação
A avaliação teve como objetivo validar a tarefa de Ranking de Contest, uma tarefa já implementada no CD-MOJ, na qual foi verificado se o fluxo padrão de atividades da plataforma está de acordo com o diagrama e com a descrição da tarefa, além de identificar áreas de melhoria para que essa funcionalidade possa corresponder com êxito a todas as expectativas do usuário.
Método de Avaliação Empregado
O método de avaliação foi uma combinação de observação e entrevistas com o usuário, conforme o framework DECIDE2. Primeiro foi verificado se o entrevistado correspondia ao perfil dos usuários da plataforma do CD-MOJ, para uma melhor experiência e domínio sobre o sistema. Após essa verificação, houve a apresentação do diagrama e a verificação se o diagrama e sua descrição estão de acordo com a expectativa do usuário e fiel ao já implementado, verificando item por item se o usuário estava de acordo com aquela especificação. A Tabela 5 apresenta as informações sobre a entrevista:
Tabela 5 - Cronograma da Entrevista - Ranking de Contest
| Entrevistador(es) | Entrevistado(s) | Horário | Duração | Data | Local |
|---|---|---|---|---|---|
| Diego Sousa | Iago Passaglia | 19:00 | 8 minutos | 03/06/2023 | Teams |
Fonte: Diego Sousa
Número e Perfil dos Usuários e Avaliadores
A entrevista foi feita com um usuário. O participante se encaixa no perfil de usuário, ele é um usuário de entre 18 e 30 anos, estudante de ensino superior e usuário regular do CD-MOJ.
Sumário dos Dados Coletados
Durante a entrevista, foram coletados dados sobre a interação do usuário com o sistema, feedbacks sobre o diagrama HTA e as respostas às perguntas presentes no planejamento da avaliação.
Análise dos Dados Coletados
O usuário afirmou que o CD-MOJ tem muito a melhorar sobre diversos aspectos e propôs algumas melhorias no diagrama de análise de tarefas. As sugestões foram: - Os itens listados como objetivos talvez deveriam ser ações dentro do CD-MOJ, segundo as palavras do Iago.
Gravação da Entrevista
Relato - Criação de Problema
Objetivos e Escopo da Avaliação
A avaliação teve como objetivo validar se o Diagrama HTA de Criação de Problema (Administrador) está de acordo com o fluxo de atividades do CD-MOJ e identificar áreas de melhoria para fornecer um suporte mais eficaz aos usuários, especialmente aos que têm acesso a área de criação de problemas (admins).
Método de Avaliação Empregado
O método de avaliação foi uma combinação de observação e entrevistas com o usuário, conforme o framework DECIDE2. Inicialmente, o entrevistado fez a leitura e interpretação do Diagrama HTA de Criação de Problema. Posteriormente, ele foi questionado sobre algumas questões, e foi-lhe apresentado a parte textual do Diagrama. A tabela 6 apresenta as informações sobre a entrevista:
Tabela 6 - Cronograma da Entrevista - Criação de Problema
| Entrevistador(es) | Entrevistado(s) | Horário | Duração | Data | Local |
|---|---|---|---|---|---|
| Luiz Gustavo | Pedro Lucas | 15:45 | 6 minutos | 04/06/2023 | Casa do entrevistador e entrevistado |
Fonte: Luiz Gustavo
Número e Perfil dos Usuários e Avaliadores
O participante se encaixa no perfil de usuário, ele é um usuário de 22 anos, estudante de ensino superior (Engenharia de Software) e usuário frequente de juízes onlines e do CD-MOJ.
Sumário dos Dados Coletados
Durante a entrevista foram coletados feedbacks sobre o diagrama, as respostas de algumas perguntas presentes no planejamento da avaliação - Tabela 3 - Sugestão para roteiro de perguntas da entrevista durante avaliação, e, se a parte textual do diagrama estava condizente com a parte ilustrativa.
Análise dos Dados Coletados
Com base na entrevista e na observação do usuário, pode-se concluir que o diagrama da tarefa de Criação de Problema está em conformidade com a realidade dos professores/monitores (administradores no geral) que utilizam o CD-MOJ.
Sugestões de Melhoria
O usuário afirmou que o CD-MOJ tem muito a melhorar sobre diversos aspectos e propôs algumas melhorias de usabilidade:
-
Interface muito fraca, simples, especialmente os botões (muito pequenos) e uma paleta de cores limitada;
-
Falta de opção de pesquisa ou filtro para os contests (pesquisar ou filtrar por matéria, por exemplo);
-
Lentidão na resposta da página, ela não atualiza automaticamente, então é necessário ficar recarregando (F5) para atualizar a página e obter a resposta.
Gravação da Entrevista
Referências Bibliográficas
1. Barbosa, S. D. J.; Silva, B. S. da; Silveira, M. S.; Gasparini, I.; Darin, T.; Barbosa, G. D. J. (2021) Interação Humano-Computador e Experiência do usuário. Capítulo 11 Planejamento da Avaliação de IHC, tópico 11.7.5 Consolidação e Relato dos Resultados, página 279 . Autopublicação. ISBN: 978-65-00-19677-1.
2. Barbosa, S. D. J.; Silva, B. S. da; Silveira, M. S.; Gasparini, I.; Darin, T.; Barbosa, G. D. J. (2021) Interação Humano-Computador e Experiência do usuário. Capítulo 11 Planejamento da Avaliação de IHC, tópico 11.8 O Framework DECIDE, página 279 e 280. Autopublicação. ISBN: 978-65-00-19677-1.
Histórico de Versão
| Versão | Data | Data Prevista de Revisão | Descrição | Autor(es) | Revisor(es) |
|---|---|---|---|---|---|
1.0 |
31/05/2024 | 01/06/2024 | Criação do documento e relato da verificação de submissões | João Artur | Diego Sousa |
1.1 |
31/05/2024 | 01/06/2024 | Adicionando vídeo da entrevista | João Artur | Diego Sousa |
1.2 |
03/06/2024 | 03/06/2024 | Relato da Criação de Contest | Douglas Marinho | Diego Sousa |
1.3 |
03/06/2024 | 03/06/2024 | Relato do Tutorial pós-contest | Arthur Alves | Diego Sousa |
1.4 |
03/06/2024 | 03/06/2024 | Relato da Submissão de Problemas | Eric Silveira | Diego Sousa |
1.5 |
03/06/2024 | 03/06/2024 | Relato da Submissão de Problemas | Diego Sousa | João Artur |
1.6 |
04/06/2024 | 05/06/2024 | Relato da Criação de Problema e correção das tabelas | Luiz Gustavo | Eric Silveira |
1.7 |
08/07/2024 | 08/07/2024 | Correção dos erros | Eric Silveira | Luiz Gustavo |