Relato dos Resultados do Protótipo de papel
Introdução
Esse artefato tem como objetivo registrar as descobertas obtidas ao avaliar o protótipo inicial no papel. Serão abordados os tópicos referidos no planejamento dos relatos dos resultados.
Entrevistas
Entrevista 1 (Suzane)
1.1 Objetivos e escopo da avaliação
O principal objetivo desta avaliação consiste em realizar uma verificação do protótipo de papel de, no máximo, três atividades por entrevista. Dessa forma, a entrevista será realizada para tentar identificar possíveis problemas de usabilidade, explorar conceitos de design, receber propostas de alternativas e coletar sugestões para aprimorar o Protótipo de Papel utilizado.
1.2 Método de avaliação empregado
De acordo com o que foi estabelecido no Planejamento da Avaliação do protótipo de papel, a metodologia escolhida foi a observação e entrevista, uma vez que ela possibilita a coleta de dados com base na percepção de um usuário real. Na tabela 1 apresentada a seguir é possível visualizar o cronograma realizado da entrevista.
Tabela 1 - Cronograma Realizado da avaliação do protótipo de papel.
| Entrevistador | Entrevistado(s) | Horário de Início | Horário de Fim | Data | Local |
|---|---|---|---|---|---|
| Suzane Duarte | Letícia Picanço | 13:00 | 13:15 | 21/11/2023 | Universidade de Brasília |
Fonte: Suzane Duarte.
1.3 Atividades abordadas
Durante a entrevista foi solicitado que o usuário interagisse com o protótipo de papel com o objetivo de realizar as seguintes tarefas:
- Procurar um Problema (Browse Problems)
- Editar Conta (My Profile)
1.4 Perfil do participante
É possível verificar que a entrevistada está alinhada com o perfil de usuário estabelecido no projeto, pois é uma estudante do curso de Engenharia Aeroespacial com uma média experiência em tecnologia. Apesar de não se enquadrar exatamente no curso de computação ou afins, a participante relata que já realizou diversas disciplinas voltadas para a área de Software, e que utilizou plataformas de juiz online para submissão de problemas proposto por seus professores. Além de ter demonstrado um forte interesse pela área de tecnologia, uma vez que utiliza bastante de técnicas de programação em se curso. Por fim, ela também se enquadra na faixa etária definida pelo perfil de usuário, situando-se entre os 19 e 24 anos.
1.5 Problemas encontrados
Foi possível observar que o usuário obteve alguns problemas durante a realização das duas tarefas avaliadas.
No que tange a tarefa de "Browse Problems", foi possível identificar os seguintes problemas:
- Dificuldade para identificar que "Browse Problems" estaria em "Pages";
- Dificuldade para diferenciar as páginas de "Pasta" e "Volume";
- Para acessar o problema, a entrevistada clicou em "Total Users / Solving %" e não onde estaria o link de fato;
Agora no que tange a tarefa de "Editar Conta", foi possível identificar os seguintes problemas:
- Dificuldade para identificar que "My Profile" estaria em "Pages";
1.6 Sumário dos dados coletados
Na tabela 2 é posível verificar as respostas obtidas a partir da entrevista. De forma que, no decorrer da entrevista e a depender da resposta para cada pergunta realizada, era solicitado para que a entrevistada justificasse o motivo da escolha. Sendo assim, foi possível coletar dados para feedbacks e sugestões de melhoria apresentadas nos próximos tópicos.
Tabela 2 - Respostas obtidas durante a entrevista com Letícia Picanço.
| Número da pergunta | Enunciado da pergunta | Resposta |
|---|---|---|
| 1 | Com o prototipo de papel foi possivel explorar conceitos de design? | Sim |
| 2 | Foi observado alguma sugestão de melhoria para o protótipo proposto? | Sim |
| 3 | Foi possivel identificar problemas de usabilidade preliminares? | Sim |
| 4 | Foi possivel identificar ideias principais de design? | Sim |
Fonte: Suzane Duarte.
1.7 Análise e interpretação dos dados coletados
Através das respostas obtidas nesta entrevista foi possível concluir que o protótipo de papel apresenta algumas inconsistências, entre elas pode-se citar uma falha de design intuitivo, uma vez que o usuário apresentou extrema dificuldade em encontrar intuitivamente onde estavam as páginas "My Profile" e "Browse Problems".
A entrevistada também apresentou certa dificuldade em diferenciar as páginas contidas em "Browse Problems", de modo que conforme ia selecionando as opções e transitando entre distintas páginas, ela claramente transmitia uma feição de dúvida como se mesmo selencionando coisas diferentes não estivesse "saindo do mesmo lugar". Ao ser questionada sobre sua feição, a entrevistada não havia sequer percebido que havia uma distinção entre a página de "Volumes" e a página de "Pastas".
Por fim, ao encontrar a tabela contendo todos os problemas da respectiva pasta e volume selecionado, ao invés da entrevistada clicar onde o link do problema estava inserido, ao qual inclusive apresentava uma cor diferente do restante do papel conforme é apresentado no site, ela clicou de forma intuitiva no final da linha mesmo que o título fosse "Total users/ solving %".
1.8 Feedback do usuário
A entrevistada apresentou como feedback uma modificação na localização da página "My profile". Dessa forma, ela sugeriu a possibilidade de incluisão de um ícone próprio para acessar diretamente a página de perfil do usuário.
1.9 Sugestões de melhoria
A partir das dificuldade apresentadas durante a entrevista, foi possível sugerir algumas opções de melhorias. Sendo elas:
- Alteração da opção "Pages" por "Others", de forma a esclarecer para o usuário que se tratam de outras opções;
- Criação de ícones mais distintos para diferenciar "Pastas" e "Volumes";
- Criação de um título dinâmico para diferenciar a entrada em diferentes páginas, de modo a transmitir para o usuário através das cores distintas que há alteração nas páginas;
- Retorno de ícones coloridos para apresentar o total de usuários e submissões, pois foi perceptível uma falta de atenção no caso em que não haviam imagens para simbolizar do que se tratava;
- Inclusão de um botão próprio e específico para selecionar cada problema;
Entrevista 2 (Pablo)
2.1 Objetivos e escopo da avaliação
Realizar uma avaliação do prototipo de papel feito pela equipe, com o objetivo de identificar possíveis problemas de usabilidade, explorar conceitos de design,receber propostas de alternativas e coletar sugestões para aprimorar o prototipo.
2.2 Método de avaliação empregado
De acordo com o que foi estabelecido no Planejamento da Avaliação do prototipo de papel, a metodologia escolhida foi a observação e entrevista, uma vez que ela possibilita a coleta de dados com base na percepção de um usuário real. Na tabela 5 segue o cronograma da entrevista realizada
Tabela 3 - Cronograma da avaliação do prototipo de papel.
| Entrevistador | Entrevistado(s) | Horário de Início | Horário de Fim | Data | Local |
|---|---|---|---|---|---|
| Pablo Guilherme | Arthur Marmo | 13:40 | 13:55 | 21/11/2023 | Universidade de Brasília |
Fonte: Pablo Guilherme
2.3 Atividades abordadas
Durante a entrevista foi pedido para que o usuário interagisse com o prototipo de papel com o intuíto de realizar as tarefas de login, Quick Submit, Browse Problems e visualizar My Submissions.
2.4 Perfil do participante
O participante escolhido está alinhado com o perfil de usuário estabelecido no projeto, pois é um estudante do curso de Ciência da Computação com uma média de experiência em tecnologia. Além disso, ele se enquadra na faixa etária definida pelo perfil de usuário, situando-se entre os 19 e 24 anos. Além disso, demonstra um forte interesse por tecnologia.
2.5 Problemas encontrados
Durante a entrevista o usuário demonstrou dificuldade ao acessar a aba pages do site que não era tão clara, fora isto ele seguiu corretamento os caminhos propostos para as atividades.
2.6 Sumário dos dados coletados
Tabela 4 - Respostas obtidas durante a entrevista.
| Número da pergunta | Enunciado da pergunta | Resposta |
|---|---|---|
| 1 | Com o prototipo de papel foi possivel explorar conceitos de design? | Sim |
| 2 | Foi observado alguma sugestão de melhoria para o protóipo proposto? | Sim |
| 3 | Foi possivel identificar problemas de usabilidade preliminares? | Sim |
| 4 | Foi possivel identificar ideias principais de design? | Sim |
Fonte: Pablo Guilherme
Link da gravação da entrevista
2.7 Análise e interpretação dos dados coletados
Com base nas respostas obtidas, é viável concluir que o protótipo de papel é de fácil compreensão, foi elaborado de maneira clara e está em conformidade com seus objetivos, porem possui uma dificuldade de entendimento na aba "pages" o que deve ser corrigido nas próximas etapas do projeto.
2.8 Feedback do usuário
O usuário se mostrou satisfeito com o protótipo de papel apresentado.
2.9 Sugestões de melhoria
O usuário apresentou apenas a sugestão de alteração da aba "pages".
Entrevista 3 (Eric)
3.1 Objetivos e escopo da avaliação
Realizar uma avaliação do prototipo de papel feito pela equipe, com o objetivo de identificar possíveis problemas de usabilidade, explorar conceitos de design,receber propostas de alternativas e coletar sugestões para aprimorar o prototipo.
3.2 Método de avaliação empregado
De acordo com o que foi estabelecido no Planejamento da Avaliação do prototipo de papel, a metodologia escolhida foi a observação e entrevista, uma vez que ela possibilita a coleta de dados com base na percepção de um usuário real. Na tabela 5 segue o cronograma da entrevista realizada
Tabela 5 - Cronograma da avaliação do prototipo de papel.
| Entrevistador | Entrevistado(s) | Horário de Início | Horário de Fim | Data | Local |
|---|---|---|---|---|---|
| Eric Camargo | Gabriel Esteves | 15:10 | 15:19 | 22/11/2023 | Universidade de Brasília |
Fonte: Eric Camargo
3.3 Atividades abordadas
Durante a entrevista foi pedido para que o usuário interagisse com o prototipo de papel com o intuíto de realizar as tarefas de login, recuperação de login e contact us.
3.4 Perfil do participante
O participante escolhido está alinhado com o perfil de usuário estabelecido no projeto, pois é um estudante do curso de Ciência da Computação com uma média de experiência em tecnologia. Além disso, ele se enquadra na faixa etária definida pelo perfil de usuário, situando-se entre os 19 e 24 anos. Além disso, demonstra um forte interesse por tecnologia.
3.5 Problemas encontrados
O entrevistado não apresentou nenhuma dificuldado no decorrer da entrevista ao prosseguir pelos caminhos das tarefas, nem ao interagir com o prototipo.
3.6 Sumário dos dados coletados
Na tabela 6 é posível verificar as respostas obtidas pela entrevista.
Tabela 6 - Respostas obtidas durante a entrevista.
| Número da pergunta | Enunciado da pergunta | Resposta |
|---|---|---|
| 1 | Com o prototipo de papel foi possivel explorar conceitos de design? | Sim |
| 2 | Foi observado alguma sugestão de melhoria para o proótipo proposto? | Não |
| 3 | Foi possivel identificar problemas de usabilidade preliminares? | Não sei afirmar |
| 4 | Foi possivel identificar ideias principais de design? | Sim |
Fonte: Eric Camargo.
Link da gravação da entrevista
3.7 Análise e interpretação dos dados coletados
Com base nas respostas obtidas, é viável concluir que o protótipo de papel é de fácil compreensão, foi elaborado de maneira clara e está em conformidade com seus objetivos.
3.8 Feedback do usuário
O usuário se mostrou satisfeito com o protótipo de papel apresentado.
3.9 Sugestões de melhoria
O usuário não sugeriu melhorias.
Entrevista 4 (Luana)
4.1 Objetivos e escopo da avaliação
A avaliação do Protótipo de Papel contou com 2 tarefas, "Editar Conta" e "Submeter Problema". A avaliação tem como objetivo identificar incoerências no protótipo de baixa fidelidade para assim, identificar possíveis problemas de usabilidade, explorar conceitos de design e receber sugestões alternativas para o design do site em questão.
4.2 Método de avaliação empregado
Assim, como o proposto no Planejamento da Avaliação do Protótipo de Papel, o método utilizado foi o de entrevista, visto que permite a coleta de dados a partir da percepção de um usuário real. Os dados da entrevista estão representados na tabela 7.
Tabela 7 - Cronograma da avaliação do Protótipo de Papel - Editar Conta e Submeter Problema.
| Entrevistador | Entrevistado(s) | Horário de Início | Horário de Fim | Data | Local |
|---|---|---|---|---|---|
| Luana Torres | Caio Mesquita | 09:50 | 10:00 | 21/11/2023 | Faculdade do Gama |
Fonte: Luana Torres
4.3 Atividades abordadas
Foram escolhidas 2 tarefas para realizar como atividade durante o processo da entrevista com o usuário. As tarefas escolhidas foram as tarefas de "Editar Conta" e "Submeter Problema(Quick Submit)".
4.4 Perfil do participante
O participante selecionado se encaixa com o perfil de usuário definido no projeto. Ele é um estudante do curso Engenharia de Software com experiência média em tecnologia e é tecnófilo. Além disso, ele está entre a faixa de idade definida pelo perfil de usuário (19 a 24 anos).
4.5 Problemas encontrados
O usuário teve dificuldade de encontrar a página "My Profile" para fazer a tarefa de editar conta, uma vez que esta está dentro da aba "Pages" e não na barra de menu inicial diretamente.
4.6 Sumário dos dados coletados
Na tabela 8 é posível verificar as respostas obtidas pela entrevista.
Tabela 8 - Respostas obtidas durante a entrevista.
| Número da pergunta | Enunciado da pergunta | Resposta |
|---|---|---|
| 1 | Com o prototipo de papel foi possivel explorar conceitos de design? | Sim |
| 2 | Foi observado alguma sugestão de melhoria para o proótipo proposto? | Sim |
| 3 | Foi possivel identificar problemas de usabilidade preliminares? | Sim |
| 4 | Foi possivel identificar ideias principais de design? | Sim |
Fonte: Luana Torres.
Link da gravação da entrevista
4.7 Análise e interpretação dos dados coletados
A partir dos dados coletados, é possível observar que o protótipo de papel é fácil e intuitivo. Porém, faz-se necessário uma mudança para retirar todas as opções resumidas na opção "pages" e coloca-las em evidência no menu de opções.
4.8 Feedback do usuário
O usuário demonstrou facilidade para compreender o site, entretanto, acredita que a falta da opção "My Profile Page" dentre as opções do menu inicial ocasione um equívoco no usuário, ocasionando em problemas de usabilidade.
4.9 Sugestões de melhoria
O usuário sugeriu a alteração do menu inicial de forma a incluir um ícone de perfil para garantir uma melhor usabilidade e evitar confusões nos usuários.
Entrevista 5 (Ester)
5.1 Objetivos e escopo da avaliação
A avaliação do Protótipo de Papel foi realizada para a tarefa "Acessar Contest System". O objetivo desta avaliação é identificar incosistências no protótipo de baixa fidelidade, a fim de buscar possíveis problemas de usabilidade. Com esta avaliação é possível explorar conceitos de design e coletar sugestões de melhorias para o design do site avaliado.
5.2 Método de avaliação empregado
Assim, como o proposto no Planejamento da Avaliação do Protótipo de Papel, o método utilizado foi o de entrevista, visto que permite a coleta de dados a partir da percepção de um usuário real. Os dados da entrevista estão representados na tabela 9.
Tabela 9 - Cronograma da avaliação do Protótipo de Papel - Acessar o Contest System.
| Entrevistador | Entrevistado(s) | Horário de Início | Horário de Fim | Data | Local |
|---|---|---|---|---|---|
| Ester Lino | Pedro Miguel | 10:00 | 10:10 | 22/11/2023 | Faculdade do Gama |
Fonte: Ester Lino
5.3 Atividades abordadas
A tarefa realizada pelo usuário durante a entrevista foi a de acessar o Contest System.
5.4 Perfil do participante
O participante selecionado se encaixa com o perfil de usuário definido no projeto. Ele é um estudante do curso Engenharia de Software com experiência média em tecnologia e é tecnófilo. Além disso, ele está entre a faixa de idade definida pelo perfil de usuário (19 a 24 anos).
5.5 Problemas encontrados
O participante teve dificuldade em encontrar a página "Constest System" para executar a tarefa de acessar o sistema de competições do site. O obstáculo foi identificar onde a página estava localizada, porque a mesma se encontra na aba "Pages" e não no header do site. Durante a entrevista, é possível observar que o usuário tenta acessar a página "Contest System" pelas opções exibidas na tela inicial e, na sua segunda tentativa, ele busca na aba "My submissions". Apesar da dificuldade o participante conseguiu realizar a tarefa solicitada.
5.6 Sumário dos dados coletados
Na tabela 10 é posível verificar as respostas obtidas pela entrevista.
Tabela 8 - Respostas obtidas durante a entrevista.
| Número da pergunta | Enunciado da pergunta | Resposta |
|---|---|---|
| 1 | Com o prototipo de papel foi possivel explorar conceitos de design? | Sim |
| 2 | Foi observado alguma sugestão de melhoria para o proótipo proposto? | Sim |
| 3 | Foi possivel identificar problemas de usabilidade preliminares? | Sim |
| 4 | Foi possivel identificar ideias principais de design? | Sim |
Fonte: Ester Lino
Link da gravação da entrevista
5.7 Análise e interpretação dos dados coletados
Considerando os dados coletados, conclui-se que o protótipo é de fácil compreensão. No entanto, é necessário que a página do Contest System esteja mais visível e não dentro da aba "Pages". Além disso, como o site tem como objetivo divulgar as competições, é preciso que esse sistema esteja visível também na tela inicial, facilitando o acesso do usuário.
5.8 Feedback do usuário
Para o usuário, a página "Contest System" deveria estar mais visível na tela inicial, facilitando a usabilidade do site.
5.9 Sugestões de melhoria
O usuário sugeriu que as opções de contests fossem adicionadas já na tela inicial. Assim, seria mais fácil e rápido acessar o sistema de competições.
Entrevista 6 (Kallyne)
6.1 Objetivos e escopo da avaliação
Realizar uma avaliação do protótipo de papel feito pela equipe, com o objetivo de identificar possíveis problemas de usabilidade, explorar conceitos de design, receber propostas de alternativas e coletar sugestões para seu aprimoramento.
6.2 Método de avaliação empregado
Foi empregado o método da entrevista por permitir a coleta de dados a partir da percepção de um usuário real, assim como proposto no Planejamento da Avaliação do Protótipo de Papel. Os dados da entrevista estão representados na tabela 9.
Tabela 9 - Cronograma da avaliação do protótipo de papel.
| Entrevistador | Entrevistado(s) | Horário de Início | Horário de Fim | Data | Local |
|---|---|---|---|---|---|
| Kallyne Macedo | Júlia Gabriela | 10:15 | 10:19 | 21/11/2023 | Universidade de Brasília |
Fonte: Kallyne Macedo.
6.3 Atividades abordadas
A avaliação tratou da tarefa "Recuperação de login". O usuário foi instruído a realizar o fluxo que achasse apropriado para que pudesse recuperar seu login de acesso ao OnlineJudge.
6.4 Perfil do participante
A participante foi selecionada conforme sua compatibilidade com o perfil de usuário definido no projeto, pois possui perfil universitário (é estudante de Engenharia de Software), tecnófila e se encontra dentro da faixa etária do projeto (19 a 24 anos).
6.5 Problemas encontrados
Nenhum problema de usabilidade ou na realização da tarefa foi encontrado.
6.6 Sumário dos dados coletados
Tabela 10 - Respostas obtidas durante a entrevista.
| Número da pergunta | Enunciado da pergunta | Resposta |
|---|---|---|
| 1 | Com o protótipo de papel foi possível explorar conceitos de design? | Sim |
| 2 | Foi observado alguma sugestão de melhoria para o protótipo proposto? | Não |
| 3 | Foi possivel identificar problemas de usabilidade preliminares? | Não |
| 4 | Foi possivel identificar ideias principais de design? | Não sei afirmar |
Fonte: Kallyne Macedo.
6.7 Análise e interpretação dos dados coletados
A usuária entendeu a premissa da tarefa e demonstrou facilidade para realizá-la. Não necessitou de ajuda e não identificou problemas.
6.8 Feedback do usuário
A usuária indicou que a interface está com navegabilidade simples e prática, adequada para a realização da tarefa, mas não soube identificar ideias principais de design no protótipo.
6.9 Sugestões de melhoria
Não foram levantadas sugestões de melhoria.
Link da gravação da entrevista
Entrevista 7 (Henrique)
7.1 Objetivos e escopo da avaliação
Realizar uma avaliação do protótipo de papel feito pela equipe, com o objetivo de identificar possíveis problemas de usabilidade, explorar conceitos de design, receber propostas de alternativas e coletar sugestões para seu aprimoramento.
7.2 Método de avaliação empregado
De acordo com o que foi estabelecido no Planejamento da Avaliação do prototipo de papel, a metodologia escolhida foi a observação e entrevista, uma vez que ela possibilita a coleta de dados com base na percepção de um usuário real. Na tabela 13 segue o cronograma da entrevista realizada
Tabela 13 - Cronograma da avaliação do prototipo de papel.
| Entrevistador | Entrevistado(s) | Horário de Início | Horário de Fim | Data | Local |
|---|---|---|---|---|---|
| Henrique Torres | João Pedro Gomes | 14:00 | 14:10 | 22/11/2023 | Universidade de Brasília - FGA |
Fonte: Henrique Torres
7.3 Atividades abordadas
Durante a entrevista, foi pedido que o usuário interagisse com o protótipo de papel com o objetivo de realizar as tarefas de login e o acesso a página de minhas submissões.
7.4 Perfil do participante
O participante selecionado está em conformidade com o perfil de usuário estabelecido para o projeto, sendo um estudante do curso de Engenharia na FGA, com uma média de experiência em tecnologia. Além disso, está dentro da faixa etária definida para o perfil de usuário, situando-se entre 19 e 24 anos, e demonstra um notável interesse por tecnologia.
7.5 Problemas encontrados
Durante a entrevista, o entrevistado não demonstrou nenhuma dificuldade ao seguir os caminhos das tarefas propostas, assim como ao interagir com o protótipo.
7.6 Sumário dos dados coletados
Na tabela x é posível verificar as respostas obtidas pela entrevista.
Tabela 14 - Respostas obtidas durante a entrevista.
| Número da pergunta | Enunciado da pergunta | Resposta |
|---|---|---|
| 1 | Com o prototipo de papel foi possivel explorar conceitos de design? | Sim |
| 2 | Foi observado alguma sugestão de melhoria para o proótipo proposto? | Não sei afirmar |
| 3 | Foi possivel identificar problemas de usabilidade preliminares? | Não |
| 4 | Foi possivel identificar ideias principais de design? | Sim |
Fonte: Henrique Torres
Link da gravação da entrevista
7.7 Análise e interpretação dos dados coletados
Com base nas respostas obtidas, é possível concluir que o fluxo realizado foi bem simples e intuitivo, e também que o protótipo de papel é de fácil compreensão e foi elaborado de maneira clara e está alinhado com seus objetivos.
7.8 Feedback do usuário
O entrevistado demonstrou satisfação com o protótipo de papel apresentado e não encontrou dificultades ao realizar o fluxo necessário dentro da aplicação.
7.9 Sugestões de melhoria
O usuário entrevistado não sugeriu nenhuma melhoria ao protótipo de papel.
Referências Bibliográficas
1. BARBOSA, S. D. J.; SILVA, B. S. Interação Humano-Computador. Rio de Janeiro: Elsevier, 2011.
Hitórico de versão
| Versão | Data | Descrição | Autor(es) | Revisor(es) |
|---|---|---|---|---|
| 1.0 | 21/11/2023 | Criação da página | Eric Camargo | Henrique Torres |
| 1.1 | 22/11/2023 | Adicionando entrevista 2 | Pablo Guilherme | Henrique Torres |
| 1.2 | 22/11/2023 | Adicionando entrevista 4 | Luana Torres | Eric Camargo |
| 1.3 | 22/11/2023 | Adicionando entrevista 6 | Kallyne Macedo | Eric Camargo |
| 1.4 | 22/11/2023 | Adicionando entrevista 5 | Ester Lino | Eric Camargo |
| 1.5 | 22/11/2023 | Adicionando entrevista 1 | Suzane Duarte | Henrique Torres |
| 1.6 | 06/12/2023 | Correção na entrevista 7 | Ester Lino | Henrique Torres |