Relato dos Resultados
Introdução
De Acordo com Barbosa e Silva (2021)1, o relato de resultados da avaliação é utilizado para registrar de maneira sistemática e detalhada as descobertas obtidas durante a avaliação. O documento oferece informações sobre como os usuários interagem com o sistema. Através desse resultado, é possível avaliar a qualidade do uso da solução e identificar problemas na interação e na interface que possam comprometer a experiência do usuário. Este documento apresenta os resultados obtidos durante as avaliações dos Storyboards.
Relato - Verificação de Submissão
Objetivos e Escopo da Avaliação
A avaliação teve como objetivo validar se o storyboard de Verificação de Submissão está de acordo com o fluxo de atividades do CD-MOJ e identificar áreas de melhoria para fornecer um suporte mais eficaz aos usuários.
Método de Avaliação Empregado
O método de avaliação foi uma combinação de observação e entrevistas com o usuário, conforme o framework DECIDE2. Nela foi pedido que o usuário verificasse o fluxo apresentado pelo storyboard e após isso ele foi perguntado sobre algumas questões. A tabela 1 apresenta as informações sobre a entrevista:
Tabela 1 - Cronograma da Entrevista
| Entrevistador(es) | Entrevistado(s) | Horário | Duração | Data | Local |
|---|---|---|---|---|---|
| João Artur | Júlio | 16:00 | 15 minutos | 27/05/2023 | FGA |
Fonte: João Artur
Número e Perfil dos Usuários e Avaliadores
O participante se encaixa no perfil de usuário, ele é um usuário de entre 18 e 30 anos, estudante de ensino superior e usuário frequente do CD-MOJ.
Sumário dos Dados Coletados
Durante a entrevista foram coletados dados sobre, a interação do usuário com o sistema, feedbacks sobre o storyboard e as respostas das perguntas presentes no planejamento da avaliação.
Interpretação e Análise dos Dados
A partir da entrevista realizada e da observação do usuário, pode-se concluir que o Storyboard da tarefa de Verificar Submissões está em conformidade com a realidade e atende às necessidades dos usuários do CD-MOJ. O único problema identificado é a ausência da opção de visualizar o código enviado, o que exige o uso de outra ferramenta.
Lista dos Problemas Encontrados
O usuário relatou não conseguir visualizar um log de testes detalhado como o mostrado no Storyboard. Segundo o usuário, a tarefa existe, porém só pode ser realizada através de outra ferramenta.
Planejamento para o Reprojeto do Sistema
As mudanças sugeridas pelo usuário serão adicionadas ao storyboard, a alteração será realizada pelo entrevistador conforme o cronograma presente na tabela 2 a seguir:
Tabela 2 - Correção do Storyboard.
| Entrevistador | Data | Alteração |
|---|---|---|
| João Artur | 04/06/2024 | Alterar informações sobre o log de testes |
Fonte: João Artur.
Gravação da Entevista
Relato - Criação de Contest
Objetivos e Escopo da Avaliação
A avaliação teve como objetivo validar se o storyboard de Criação de Contest está de acordo com o fluxo de tarefas do CD-MOJ e identificar áreas de melhoria para fornecer um suporte mais eficaz aos usuários.
Método de Avaliação Empregado
O método de avaliação foi uma combinação de observação e entrevistas com o usuário, conforme o framework DECIDE2. Nela foi pedido que o usuário verificasse o fluxo apresentado pelo storyboard e após isso ele foi perguntado sobre algumas questões. A tabela 3 apresenta as informações sobre a entrevista:
Tabela 3 - Cronograma da Entrevista
| Entrevistador(es) | Entrevistado(s) | Horário | Duração | Data | Local |
|---|---|---|---|---|---|
| Douglas Marinho | Ana Júlia | 14:00 | 10 minutos | 01/05/2023 | Casa do entrevistado |
Fonte: Douglas Marinho
Número e Perfil dos Usuários e Avaliadores
O participante se encaixa no perfil de usuário, ele é um usuário de entre 18 e 30 anos, estudante de ensino superior e usuário regular do CD-MOJ.
Sumário dos Dados Coletados
Durante a entrevista foram coletados dados sobre, a interação do usuário com o sistema, feedbacks sobre o storyboard e as respostas das perguntas presentes no planejamento da avaliação e também um ponto de vista de um aluno sobre uma tarefa normalmente feita por um professor.
Interpretação e Análise dos Dados
A partir da entrevista realizada e da observação do usuário, pode-se concluir que o Storyboard da tarefa de Criação de Contest está em conformidade com a realidade e atende às necessidades de professores que utilizam o CD-MOJ. O único problema identificado é a ausência do contexto por parte do aluno na tarefa.
Lista dos Problemas Encontrados
O usuário relatou que o storyboard está de acordo com o conhecido sobre a tarefa que não é de acesso liberado a usuários comuns apenas administradores.
Planejamento para o Reprojeto do Sistema
Não houve sugestão de mudança pois ficou bem explicativo a tarefa e de acordo com o que é informado sobre a tarefa
Gravação da Entevista
Tutorial de Resolução de Questões Pós-Contest
Objetivos e Escopo da Avaliação
A avaliação teve como objetivo validar se o storyboard de Tuturoial de Resolução de Questões Pós-Contest que é uma tarefa ainda não implementada no CD-MOJ, está de acordo com um fluxo padrão de atividades da plataforma, além de identificar áreas de melhoria para que esta funcionalidade, quando implementada, possa fornecer com êxito todas as expectativas do usuário em relação a funcionalidade.
Método de Avaliação Empregado
O método de avaliação foi uma combinação de observação e entrevistas com o usuário, conforme o framework DECIDE2. Nela foi pedido que o usuário verificasse o fluxo apresentado pelo storyboard e após isso ele foi perguntado sobre algumas questões. A tabela 4 apresenta as informações sobre a entrevista:
Tabela 4 - Cronograma da Entrevista
| Entrevistador(es) | Entrevistado(s) | Horário | Duração | Data | Local |
|---|---|---|---|---|---|
| Arthur Alves | Danilo | 13:00 | 15 minutos | 29/05/2023 | FGA - Contâiner ITRAC |
Fonte: Arthur Alves
Número e Perfil dos Usuários e Avaliadores
A entrevista foi feita com um usuário. O participante se encaixa no perfil de usuário, ele é um usuário de 21 anos, cursando ensino superior em Engenharia de Software e usa frequentemente o CD-MOJ.
Sumário dos Dados Coletados
Durante a entrevista foram coletados dados sobre, a interação do usuário com o sistema, feedbacks sobre o storyboard e as respostas das perguntas presentes no planejamento da avaliação. Confira na tabela 5 os dados coletados durante a entrevista:
Tabela 5 - Respostas da entrevista
| Número | Pergunta | Resposta | Objetivo |
|---|---|---|---|
| 1 | Os usuários representados nos storyboards refletem os verdadeiros usuários do sistema? | Sim, muita gente se identifica. | Verificar Apropriação |
| 2 | Existem discrepâncias entre a representação e os usuários reais? | Não, acho que está bem parecido. | Verificar Apropriação |
| 3 | O cenário apresentado nos storyboards é condizente com o ambiente real em que o sistema é utilizado? | Sim, caso parcialmente, porque é uma funcionalidade ainda não implementada. | Verificar Apropriação |
| 4 | As tarefas realizadas pelos usuários nos storyboards condizem com as atividades que eles realmente executam? | Sim. | Verificar Apropriação |
| 5 | Os storyboards atendem aos objetivos e necessidades dos usuários? | Sim, acho que essa é uma ótima ideia, tipo colocar uma sessão de tutoriais do mesmo jeito que eu também acho que seria bom colocar um log simplificado para mostrar erros. | Verificar Apropriação |
| 6 | As informações no storyboard foram apresentadas de maneira clara e direta? | Sim. | Verificar a Interação |
| 7 | Os processos e sequências de ações no storyboard estão detalhados o suficiente para serem facilmente compreendidos? | Sim. | Verificar a Interação |
| 8 | Os elementos visuais e gráficos usados no storyboard ajudam na compreensão das informações apresentadas? | Sim. | Verificar a Interação |
| 9 | Todas as informações apresentadas no storyboard são relevantes para a compreensão do cenário? | Sim. | Verificar a Interação |
| 10 | Existem partes do storyboard que causaram confusão ou foram interpretadas de maneira ambígua? | Não, está bem claro. | Verificar a Interação |
| 11 | O entrevistado conseguiu relacionar as situações do storyboard com suas experiências anteriores ou conhecimento prévio? | Sim, geralmente a gente manda as questões e é geralmente a gente erra, e é bom ver uma referência de como melhorar o código. | Verificar Entendimento |
| 12 | O entrevistado é capaz de prever os próximos passos ou consequências das ações apresentadas no storyboard? | Sim. | Verificar Entendimento |
| 13 | O entrevistado consegue se identificar com os personagens ou usuários representados no storyboard? | Sim. | Verificar Entendimento |
| 14 | O storyboard foi persuasivo em transmitir a importância ou urgência das informações ou ações descritas? | Sim, acho que faz sentido e deveria ser implementado junto com a funcionalidade mencionada. | Avaliar Impacto Emocional |
| 15 | Os entrevistados acharam que as situações apresentadas no storyboard têm relevância pessoal para eles? | Sim. | Avaliar Impacto Emocional |
| 16 | Houve elementos no storyboard que surpreenderam ou despertaram a curiosidade dos entrevistados? | Sim, despertou curiosidade para ver como funcionaria no modo implementado. | Avaliar Impacto Emocional |
| 17 | Quais aspectos do storyboard o entrevistado sugere modificar para melhorar a compreensão? | Acho que está bem claro, não tenho nenhum ponto de melhoria para acrescentar. | Obter Feedback |
Fonte: Arthur Alves
Análise dos Dados Coletados
Com base nas respostas obtidas durante a entrevista, foi possível avaliar a eficácia do storyboard e identificar áreas de melhoria que são relevantes para a experiência do usuário. De maneira geral, a representação dos usuários no storyboard foi considerada autêntica e alinhada com os verdadeiros usuários do sistema, o que demonstra a eficácia em refletir as situações reais. Não foram identificadas discrepâncias significativas.
As tarefas representadas nos storyboards estão de acordo com as atividades reais dos usuários, indicando que o storyboard é relevante e aplicável para orientação e treinamento. As informações foram apresentadas de maneira clara e direta, facilitando a compreensão dos usuários. Os processos e sequências de ações são detalhados o suficiente, e os elementos visuais e gráficos foram considerados eficazes em ajudar na compreensão das informações. Todas as informações foram vistas como relevantes para a compreensão do cenário, o que significa que o storyboard está bem focado e livre de informações desnecessárias.
O storyboard foi persuasivo em transmitir a importância e urgência das informações, e as situações apresentadas foram consideradas relevantes para os usuários. A curiosidade despertada sobre a implementação das funcionalidades indica um bom engajamento do entrevistado.
Sugestões de Melhoria
A usuário sugeriu algumas ideias para incluir no CD-MOJ, embora não faça parte do cenário proposto:
- Inclusão de tutoriais e logs simplificados, o que pode aumentar a eficácia do sistema e proporcionar uma melhor experiência aos usuários.
Gravação da Entrevista
Relato - Submissão de Problemas
Objetivos e Escopo da Avaliação
A avaliação teve como objetivo validar se o storyboard de Submissão de Problemas está de acordo com o fluxo de atividades do CD-MOJ e identificar áreas de melhoria para fornecer um suporte mais eficaz aos usuários.
Método de Avaliação Empregado
O método de avaliação foi uma combinação de observação e entrevistas com o usuário, conforme o framework DECIDE2. Nela foi pedido que o usuário verificasse o fluxo apresentado pelo storyboard e após isso ele foi questionado sobre algumas questões. A tabela 6 apresenta as informações sobre a entrevista:
Tabela 6 - Cronograma da Entrevista - Submissão de Problemas
| Entrevistador(es) | Entrevistado(s) | Horário | Duração | Data | Local |
|---|---|---|---|---|---|
| Eric Silveira | William Bernardo | 10:20 | 15 minutos | 03/05/2023 | Laboratório do Itrac |
Fonte: Eric Silveira
Número e Perfil dos Usuários e Avaliadores
O participante se encaixa no perfil de usuário, ele é um usuário de entre de 21 anos, estudante de ensino superior e usuário frequente do CD-MOJ.
Sumário dos Dados Coletados
Durante a entrevista foram coletados dados sobre, a interação do usuário com o sistema, feedbacks sobre o storyboard e as respostas das perguntas presentes no planejamento da avaliação.
Interpretação e Análise dos Dados
A partir da entrevista realizada e da observação do usuário, pode-se concluir que o Storyboard da tarefa de Submissão de Problemas está em conformidade com a realidade e atende às necessidades dos usuários do CD-MOJ. Ele só realça a questão da poluição da tela caso tenha muitas questões.
Lista dos Problemas Encontrados
Para ele não ressaltou nenhum problema além da poluição de informações na tela.
Planejamento para o Reprojeto do Sistema
Nenhuma mudança requerida pelo participante, para ele está condizente tanto a parte textual quanto o storyboard em si.
Gravação da Entevista
Relato - Criação de Ranking de Contest
Objetivos e Escopo da Avaliação
A avaliação teve como objetivo validar se o storyboard de Criação de Ranking de Contest está alinhado com o fluxo de tarefas do CD-MOJ e identificar áreas de melhoria para fornecer um suporte mais eficaz aos usuários.
Método de Avaliação Empregado
OO método de avaliação combinou observação e entrevistas com o usuário, seguindo o framework DECIDE2. Solicitou-se ao usuário que verificasse o fluxo apresentado pelo storyboard e, em seguida, foi feita uma série de perguntas. A Tabela 7 apresenta as informações sobre a entrevista:
Tabela 7 - Cronograma da Entrevista
| Entrevistador(es) | Entrevistado(s) | Horário | Duração | Data | Local |
|---|---|---|---|---|---|
| Diego Sousa | Marco | 15:30 | 7 minutos | 03/06/2023 | Casa do entrevistado |
Fonte: Diego Sousa
Número e Perfil dos Usuários e Avaliadores
O participante se encaixa no perfil de usuário. Ele tem entre 18 e 30 anos, é estudante de ensino superior e usuário regular do CD-MOJ.
Sumário dos Dados Coletados
Durante a entrevista, foram coletados dados sobre a interação do usuário com o sistema, feedbacks sobre o storyboard e as respostas às perguntas presentes no planejamento da avaliação.
Interpretação e Análise dos Dados
Com base na entrevista e na observação do usuário, pode-se concluir que o storyboard da tarefa de Criação de Ranking de Contest está em conformidade com a realidade e atende às necessidades dos alunos que utilizam o CD-MOJ.
Lista dos Problemas Encontrados
Para ele, não foram ressaltados quaisquer problemas.
Planejamento para o Reprojeto do Sistema
Nenhuma mudança foi requerida pelo participante; para ele, o storyboard está condizente.
Gravação da Entrevista
Relato - Criação de Problema
Objetivos e Escopo da Avaliação
A avaliação teve como objetivo validar se o storyboard de Criação de Problema (Administrador) está de acordo com o fluxo de atividades do CD-MOJ e identificar áreas de melhoria para fornecer um suporte mais eficaz aos usuários, especialmente aos que têm acesso a área de criação de problemas (admins).
Método de Avaliação Empregado
O método de avaliação foi uma combinação de observação e entrevistas com o usuário, conforme o framework DECIDE2. Inicialmente, foram feitas perguntas para identificar se o entrevistado se encaixava no perfil de usuário. Posteriormente, foi pedido que o usuário verificasse e interpretasse o fluxo apresentado pelo storyboard, após isso ele foi questionado sobre algumas questões, e foi-lhe apresentado a parte textual do storyboard. A tabela 8 apresenta as informações sobre a entrevista:
Tabela 8 - Cronograma da Entrevista - Criação de Problema
| Entrevistador(es) | Entrevistado(s) | Horário | Duração | Data | Local |
|---|---|---|---|---|---|
| Luiz Gustavo | Pedro Lucas | 15:30 | 12 minutos | 04/06/2023 | Casa do entrevistador e entrevistado |
Fonte: Luiz Gustavo
Número e Perfil dos Usuários e Avaliadores
O participante se encaixa no perfil de usuário, ele é um usuário de 22 anos, estudante de ensino superior (Engenharia de Software) e usuário frequente de juízes onlines e do CD-MOJ.
Sumário dos Dados Coletados
Durante a entrevista foram coletados feedbacks sobre o storyboard, as respostas das perguntas presentes no planejamento da avaliação, e, se a parte textual do storyboard estava condizente com a parte ilustrativa.
Interpretação e Análise dos Dados
Com base na entrevista e na observação do usuário, pode-se concluir que o storyboard da tarefa de Criação de Problema aparenta estar em conformidade com a realidade e atende às necessidades dos professores/monitores (administradores no geral) que utilizam o CD-MOJ.
Lista dos Problemas Encontrados
A usuário sugeriu algumas ideias de melhoria para incluir no storyboard (tanto na parte ilustrativa, quanto na parte textual):
-
Deixar mais claro as telas apresentadas no storyboard, as entradas e saídas só aparecem na revisão, mas não na elaboração da questão;
-
Acrescentar uma tarefa adicional de pensar/imaginar a questão (tarefa 0), antes de acessar o módulo administrativo para criação de contests (tarefa 1);
-
Acrescentar no tópico de motivação, o intuito de fazer a avaliação dos alunos, compor nota com trabalhos, listas, etc.
Planejamento para o Reprojeto do Sistema
Para o entrevistado, dá para entender o objetivo e o fluxo do storyboard e da interface de administrador, porém, como relatado acima, algumas coisas podem melhorar para obter uma maior clareza.
Gravação da Entevista
Referências Bibliográficas
1. Barbosa, S. D. J.; Silva, B. S. da; Silveira, M. S.; Gasparini, I.; Darin, T.; Barbosa, G. D. J. (2021) Interação Humano-Computador e Experiência do usuário. Capítulo 11 Planejamento da Avaliação de IHC, tópico 11.7.5 Consolidação e Relato dos Resultados, página 279 . Autopublicação. ISBN: 978-65-00-19677-1.
2. Barbosa, S. D. J.; Silva, B. S. da; Silveira, M. S.; Gasparini, I.; Darin, T.; Barbosa, G. D. J. (2021) Interação Humano-Computador e Experiência do usuário. Capítulo 11 Planejamento da Avaliação de IHC, tópico 11.8 O Framework DECIDE, página 279 e 280. Autopublicação. ISBN: 978-65-00-19677-1.
Histórico de Versão
| Versão | Data | Data Prevista de Revisão | Descrição | Autor(es) | Revisor(es) |
|---|---|---|---|---|---|
1.0 |
31/05/2024 | 02/06/2024 | Criação do documento e relato da verificação de submissões | João Artur | Eric Silveira |
1.1 |
02/06/2024 | 03/06/2024 | Relato da Criação de Contest | Douglas Marinho | Eric Silveira |
1.2 |
03/06/2024 | 03/06/2024 | Relato da Submissão de Problemas | Eric Silveira | Arthur Alves |
1.3 |
03/06/2024 | 03/06/2024 | Relato do Ranking de Contest | Diego Sousa | João Artur |
1.4 |
03/06/2024 | 03/06/2024 | Relato da Submissão de Problemas | Eric Silveira | Arthur |
1.5 |
04/06/2024 | 04/06/2024 | Relato da Criação de Problema e correção das tabelas | Luiz Gustavo | Eric Silveira |