Relato dos Resultados do Protótipo de Alta Fidelidade
Introdução
Este documento apresenta os resultados das entrevistas conduzidas pelo Grupo 01 para avaliar o protótipo de alta fidelidade do CD-MOJ, uma plataforma de juiz online destinada à correção automatizada de problemas de programação. A avaliação foi realizada seguindo as diretrizes do plano de avaliação, com o objetivo de identificar pontos fortes e áreas de melhoria no design e na experiência do usuário.
Objetivo
O objetivo deste artefato é documentar e analisar os resultados das entrevistas de avaliação do protótipo de alta fidelidade do CD-MOJ. Especificamente, busca-se:
- Identificar percepções dos usuários sobre a usabilidade e funcionalidade do protótipo.
- Avaliar a satisfação dos usuários com a interface e experiência oferecida pelo CD-MOJ.
- Destacar pontos de melhoria sugeridos pelos usuários.
- Fornecer recomendações práticas para o aprimoramento do CD-MOJ.
Metodologia
A metodologia seguiu o framework DECIDE:
- Determinar Metas: Avaliar a usabilidade e a experiência do usuário com o protótipo.
- Explorar Questões: Investigar aspectos específicos da interação do usuário.
- Escolher Paradigmas: Utilizar entrevistas semiestruturadas e observação direta.
- Identificar Questões Práticas: Seleção de participantes, preparação das entrevistas.
- Decidir Questões Éticas: Garantir a privacidade e o consentimento dos participantes.
- Avaliar e Interpretar Dados: Analisar respostas qualitativas e quantitativas.
Na execução da avaliação, recrutamos perfis de acordo com o Perfil de Usuário, assim cada um dos seis integrantes do nosso grupo desenvolveu uma tarefa para o protótipo de alta fidelidade, resultando em um total de seis tarefas a serem avaliadas. Para garantir uma análise abrangente e detalhada, optamos por recrutar de 3 a 4 pessoas para o processo de entrevista de cada tarefa, pois segundo Krug1, é possível identificar a maioria dos problemas, tornando possível a elaboração da análise no mesmo dia. Cada entrevistado será responsável por analisar uma tarefa. Essa divisão foi estrategicamente planejada para maximizar a cobertura de feedback sobre as diferentes tarefas no protótipo, enquanto se mantém uma carga gerenciável para cada participante.
Tabela 1 - Execução das entrevistas
| Entrevistador | Entrevistado | Tarefa Analisada | Horário de Início | Horário de Fim | Data | Local |
|---|---|---|---|---|---|---|
| Arthur Alves | Gustavo | Tutorial de Resolução de Questões Pós-Contest | 14:10 | 14:20 | 03/07 | Itrac LDTEA |
| Arthur Alves | Luan | Tutorial de Resolução de Questões Pós-Contest | 14:45 | 15:00 | 03/07 | Itrac LDTEA |
| Arthur Alves | Joyce | Tutorial de Resolução de Questões Pós-Contest | 17:40 | 17:45 | 03/07 | Lappis Contâiner - FGA |
| Diego Sousa e João Artur | Paulo Henrique | Ranking de Contest e Verificar Submissão | 19:30 | 19:40 | 03/07 | Teams |
| Diego Sousa e João Artur | José Eduardo | Ranking de Contest e Verificar Submissão | 19:40 | 19:50 | 03/07 | Teams |
| Douglas Marinho | Ana Júlia | Criar Contest | 19:00 | 19:10 | 03/07 | Casa do entrevistador |
| Douglas Marinho | Júlia Fortunato | Criar Contest | 17:50 | 18:00 | 03/07 | Microsoft Teams |
| Douglas Marinho | Felipe Motta | Criar Contest | 22:00 | 22:10 | 03/07 | Microsoft Teams |
| Eric Silveira | Luan | Submissão de Problemas | 14:30 | 14:45 | 03/07 | Itrac LDTEA |
| Eric Silveira | Gustavo | Submissão de Problemas | 17:00 | 17:16 | 03/07 | Lappis Contâiner (FGA) |
| Eric Silveira | Gustavo | Submissão de Problemas | 17:42 | 17:53 | 03/07 | Lappis Contâiner (FGA) |
Fonte: Eric Silveira
Relato - Verificação de Submissão e Ranking de Contest
Devido as atividades serem pequenas os membros da equipe João Artur e Diego Sousa optaram por realizar a entrevista em conjunto. Abaixo estão os resultados da prototipação
Objetivos e Escopo da Avaliação
A avaliação teve como objetivo validar se o Protótipo de Alta Fidelidade Verificação de Submissões e Ranking de Contest está de acordo com o fluxo de atividades do CD-MOJ e identificar áreas de melhoria para fornecer um suporte mais eficaz aos usuários.
Método de Avaliação Empregado
O método de avaliação foi uma combinação de observação e entrevistas com os usuários, conforme o framework DECIDE2. Nela foi pedido que os usuários verificassem o fluxo apresentado pelo Protótipo de Alta Fidelidade e após isso eles foram perguntados sobre algumas questões. A tabela 1 apresenta as informações sobre as entrevistas e as imagens 1, 2 e 3 apresentam os Protótipos de Alta Fidelidade:
Tabela 2 - Cronograma das Entrevistas
| Entrevistador(es) | Entrevistado(s) | Horário | Duração | Data | Local |
|---|---|---|---|---|---|
| João Artur e Diego Sousa | Paulo Henrique | 19:30 | 5 minutos | 03/07/2023 | Teams |
| João Artur e Diego Sousa | José Eduardo | 19:40 | 5 minutos | 03/07/2023 | Teams |
Fonte: João Artur e Diego Sousa
Imagem 1 - Tela Inicial
Fonte: Diego Sousa e João Artur
Imagem 2 - Tela de Verificar Submissão
Fonte: João Artur
Imagem 3 - Tela de Ranking de Contest
Fonte:Diego Sousa
Número e Perfil dos Usuários e Avaliadores
Os participantes se encaixam no perfil de usuário, eles são usuários de entre 18 e 30 anos, estudante de ensino superior e usuários frequentes do CD-MOJ.
Sumário dos Dados Coletados
Durante a entrevista foram coletados dados sobre, a interação do usuário com o sistema, feedbacks sobre o Protótipo de Alta Fidelidade e as respostas das perguntas presentes no planejamento da avaliação, abaixo estão as respostas de cada participante:
Respostas Paulo Henrique
Tabela 3 - Respostas do Paulo Henrique para o Roteiro de Perguntas
| ID | Pergunta | Propósito | Resposta |
|---|---|---|---|
| 1 | A prototipação representa bem o seu propósito? | Verificação de conformidade com a tarefa. | Sim |
| 2 | O layout corresponde com as expectativas do usuário sobre como deveria ser a tela? | Verificação de aderência às expectativas do usuário. | Sim |
| 3 | Os aspectos de usabilidade estão bem evidentes na prototipação? | Avaliação da clareza e facilidade de uso. | Sim |
| 4 | A prototipação oferece dificuldades sobre visualização do conteúdo da tela? | Identificação de problemas de visibilidade e legibilidade. | Não |
| 5 | Os elementos interativos estão claramente identificados? | Verificação da identificação clara de elementos clicáveis e interativos. | Sim |
| 6 | O fluxo de navegação está intuitivo? | Avaliação da facilidade de navegação e sequência lógica das telas. | Sim |
| 7 | O protótipo permite uma fácil compreensão das funcionalidades? | Verificação da clareza das funcionalidades apresentadas. | Sim |
| 8 | Há algum elemento ou informação que esteja faltando? | Identificação de lacunas ou elementos ausentes. | Não o prototipo está completo pela experiência do entrevistado |
| 9 | A estrutura da informação está organizada de forma lógica? | Avaliação da organização e hierarquia da informação. | Sim |
| 10 | O protótipo permite a realização das tarefas principais de forma eficiente? | Verificação da eficiência na realização de tarefas principais. | Sim |
| 11 | Existem barreiras que dificultam a execução de ações pelo usuário? | Identificação de barreiras ou dificuldades na interação. | Não |
| 12 | A disposição dos elementos na tela facilita a execução das tarefas? | Avaliação da disposição e acessibilidade dos elementos. | Sim |
| 13 | O protótipo proporciona uma experiência satisfatória para o usuário? | Avaliação geral da satisfação do usuário com o protótipo. | Sim |
Fonte: João Artur e Diego Sousa.
Respostas José Eduardo
Tabela 4 - Respostas do José Eduardo para o Roteiro de Perguntas
| ID | Pergunta | Propósito | Resposta |
|---|---|---|---|
| 1 | A prototipação representa bem o seu propósito? | Verificação de conformidade com a tarefa. | Sim |
| 2 | O layout corresponde com as expectativas do usuário sobre como deveria ser a tela? | Verificação de aderência às expectativas do usuário. | Sim |
| 3 | Os aspectos de usabilidade estão bem evidentes na prototipação? | Avaliação da clareza e facilidade de uso. | Sim |
| 4 | A prototipação oferece dificuldades sobre visualização do conteúdo da tela? | Identificação de problemas de visibilidade e legibilidade. | Não |
| 5 | Os elementos interativos estão claramente identificados? | Verificação da identificação clara de elementos clicáveis e interativos. | Sim |
| 6 | O fluxo de navegação está intuitivo? | Avaliação da facilidade de navegação e sequência lógica das telas. | Sim |
| 7 | O protótipo permite uma fácil compreensão das funcionalidades? | Verificação da clareza das funcionalidades apresentadas. | Sim |
| 8 | Há algum elemento ou informação que esteja faltando? | Identificação de lacunas ou elementos ausentes. | Não o prototipo está completo pela experiência do entrevistado |
| 9 | A estrutura da informação está organizada de forma lógica? | Avaliação da organização e hierarquia da informação. | Sim |
| 10 | O protótipo permite a realização das tarefas principais de forma eficiente? | Verificação da eficiência na realização de tarefas principais. | Sim |
| 11 | Existem barreiras que dificultam a execução de ações pelo usuário? | Identificação de barreiras ou dificuldades na interação. | Não |
| 12 | A disposição dos elementos na tela facilita a execução das tarefas? | Avaliação da disposição e acessibilidade dos elementos. | Sim |
| 13 | O protótipo proporciona uma experiência satisfatória para o usuário? | Avaliação geral da satisfação do usuário com o protótipo. | Sim |
Fonte: João Artur e Diego Sousa.
Interpretação e Análise dos Dados
A partir das entrevistas realizadas e da observação dos usuários, pode-se concluir que os Protótipos de Alta Fidelidade das tarefas de Verificar Submissões e Ranking de Contest estão em conformidade com a realidade e atendem às necessidades dos usuários do CD-MOJ.
Lista dos Problemas Encontrados
Os usuários não identificaram problemas nos protótipos de Alta Fidelidade.
Planejamento para o Reprojeto do Sistema
Como nenhum problema foi identificado não existe necessidade de realizar um reprojeto.
Gravação das Entevistas
Gravação da Entevista 1
Gravação da Entrevista com o Usuário Paulo realizada pelos membros João Artur e Diego Sousa
Gravação da Entevista 2
Gravação da Entrevista com o Usuário José realizada pelos membros João Artur e Diego Sousa
Relato - Criação de Contest
Objetivos e Escopo da Avaliação
A avaliação teve como objetivo validar se o Protótipo de Alta Fidelidade Criação de Contest está de acordo com o fluxo de atividades do CD-MOJ e identificar áreas de melhoria para fornecer um suporte mais eficaz aos usuários.
Método de Avaliação Empregado
O método de avaliação foi uma combinação de observação e entrevistas com o usuário, conforme o framework DECIDE2. Nela foi pedido que o usuário verificasse o fluxo apresentado pelo Protótipo de Alta Fidelidade e após isso ele foi perguntado sobre algumas questões. A tabela 3 apresenta as informações sobre as entrevistas e as imagens 4, 5 e 6 apresentam os Protótipos de Alta Fidelidade:
Tabela 6 - Cronograma das Entrevistas
| Entrevistador(es) | Entrevistado(s) | Horário | Duração | Data | Local |
|---|---|---|---|---|---|
| Douglas Marinho | Júlia Fortunato | 17:50 | 7 minutos | 03/07/2023 | Microsoft Teams |
| Douglas Marinho | Ana Júlia | 19:00 | 8 minutos | 03/07/2023 | Casa do entrevistador |
| Douglas Marinho | Felipe Motta | 22:00 | 8 minutos | 03/07/2023 | Microsoft Teams |
Fonte: Douglas Marinho
Imagem 4 - Tela com pop-up de Calendário
Fonte: Douglas Marinho
Imagem 5 - Tela com pop-up de Relógio
Fonte: Douglas Marinho
Imagem 6 - Tela com pop-up de Seleção de Questão
Fonte:Douglas Marinho
Número e Perfil dos Usuários e Avaliadores
Os participantes se encaixam no perfil de usuário, eles são usuários de entre 18 e 30 anos, estudante de ensino superior e usuários frequentes do CD-MOJ.
Sumário dos Dados Coletados
Durante a entrevista foram coletados dados sobre, a interação do usuário com o sistema, feedbacks sobre o Protótipo de Alta Fidelidade e as respostas das perguntas presentes no planejamento da avaliação e as respostas de cada entrevista a seguir:
Respostas Ana Júlia
Tabela 7 - Respostas da Ana Júlia para o Roteiro de Perguntas
| ID | Pergunta | Propósito | Resposta |
|---|---|---|---|
| 1 | A prototipação representa bem o seu propósito? | Verificação de conformidade com a tarefa. | Sim |
| 2 | O layout corresponde com as expectativas do usuário sobre como deveria ser a tela? | Verificação de aderência às expectativas do usuário. | Sim |
| 3 | Os aspectos de usabilidade estão bem evidentes na prototipação? | Avaliação da clareza e facilidade de uso. | Sim |
| 4 | A prototipação oferece dificuldades sobre visualização do conteúdo da tela? | Identificação de problemas de visibilidade e legibilidade. | Não |
| 5 | Os elementos interativos estão claramente identificados? | Verificação da identificação clara de elementos clicáveis e interativos. | Sim |
| 6 | O fluxo de navegação está intuitivo? | Avaliação da facilidade de navegação e sequência lógica das telas. | Sim |
| 7 | O protótipo permite uma fácil compreensão das funcionalidades? | Verificação da clareza das funcionalidades apresentadas. | Sim |
| 8 | Há algum elemento ou informação que esteja faltando? | Identificação de lacunas ou elementos ausentes. | Não o prototipo está completo pela experiência do entrevistado |
| 9 | A estrutura da informação está organizada de forma lógica? | Avaliação da organização e hierarquia da informação. | Sim |
| 10 | O protótipo permite a realização das tarefas principais de forma eficiente? | Verificação da eficiência na realização de tarefas principais. | Sim |
| 11 | Existem barreiras que dificultam a execução de ações pelo usuário? | Identificação de barreiras ou dificuldades na interação. | Não |
| 12 | A disposição dos elementos na tela facilita a execução das tarefas? | Avaliação da disposição e acessibilidade dos elementos. | Sim |
| 13 | O protótipo proporciona uma experiência satisfatória para o usuário? | Avaliação geral da satisfação do usuário com o protótipo. | Sim |
Fonte: Douglas Marinho. |
|||
Respostas Júlia Fortunato
Tabela 8 - Respostas da Júlia Fortunato para o Roteiro de Perguntas
| ID | Pergunta | Propósito | Resposta |
|---|---|---|---|
| 1 | A prototipação representa bem o seu propósito? | Verificação de conformidade com a tarefa. | Sim |
| 2 | O layout corresponde com as expectativas do usuário sobre como deveria ser a tela? | Verificação de aderência às expectativas do usuário. | Sim |
| 3 | Os aspectos de usabilidade estão bem evidentes na prototipação? | Avaliação da clareza e facilidade de uso. | Sim |
| 4 | A prototipação oferece dificuldades sobre visualização do conteúdo da tela? | Identificação de problemas de visibilidade e legibilidade. | Não |
| 5 | Os elementos interativos estão claramente identificados? | Verificação da identificação clara de elementos clicáveis e interativos. | Sim |
| 6 | O fluxo de navegação está intuitivo? | Avaliação da facilidade de navegação e sequência lógica das telas. | Sim |
| 7 | O protótipo permite uma fácil compreensão das funcionalidades? | Verificação da clareza das funcionalidades apresentadas. | Sim |
| 8 | Há algum elemento ou informação que esteja faltando? | Identificação de lacunas ou elementos ausentes. | Não o prototipo está completo pela experiência do entrevistado |
| 9 | A estrutura da informação está organizada de forma lógica? | Avaliação da organização e hierarquia da informação. | Sim |
| 10 | O protótipo permite a realização das tarefas principais de forma eficiente? | Verificação da eficiência na realização de tarefas principais. | Sim |
| 11 | Existem barreiras que dificultam a execução de ações pelo usuário? | Identificação de barreiras ou dificuldades na interação. | Não |
| 12 | A disposição dos elementos na tela facilita a execução das tarefas? | Avaliação da disposição e acessibilidade dos elementos. | Sim |
| 13 | O protótipo proporciona uma experiência satisfatória para o usuário? | Avaliação geral da satisfação do usuário com o protótipo. | Sim |
Fonte: Douglas Marinho. |
|||
Respostas Felipe Motta
Tabela 9 - Respostas da Felipe Motta para o Roteiro de Perguntas
| ID | Pergunta | Propósito | Resposta |
|---|---|---|---|
| 1 | A prototipação representa bem o seu propósito? | Verificação de conformidade com a tarefa. | Sim |
| 2 | O layout corresponde com as expectativas do usuário sobre como deveria ser a tela? | Verificação de aderência às expectativas do usuário. | Sim |
| 3 | Os aspectos de usabilidade estão bem evidentes na prototipação? | Avaliação da clareza e facilidade de uso. | Sim |
| 4 | A prototipação oferece dificuldades sobre visualização do conteúdo da tela? | Identificação de problemas de visibilidade e legibilidade. | Não |
| 5 | Os elementos interativos estão claramente identificados? | Verificação da identificação clara de elementos clicáveis e interativos. | Sim |
| 6 | O fluxo de navegação está intuitivo? | Avaliação da facilidade de navegação e sequência lógica das telas. | Sim |
| 7 | O protótipo permite uma fácil compreensão das funcionalidades? | Verificação da clareza das funcionalidades apresentadas. | Sim |
| 8 | Há algum elemento ou informação que esteja faltando? | Identificação de lacunas ou elementos ausentes. | Não o prototipo está completo pela experiência do entrevistado |
| 9 | A estrutura da informação está organizada de forma lógica? | Avaliação da organização e hierarquia da informação. | Sim |
| 10 | O protótipo permite a realização das tarefas principais de forma eficiente? | Verificação da eficiência na realização de tarefas principais. | Sim |
| 11 | Existem barreiras que dificultam a execução de ações pelo usuário? | Identificação de barreiras ou dificuldades na interação. | Não |
| 12 | A disposição dos elementos na tela facilita a execução das tarefas? | Avaliação da disposição e acessibilidade dos elementos. | Sim |
| 13 | O protótipo proporciona uma experiência satisfatória para o usuário? | Avaliação geral da satisfação do usuário com o protótipo. | Sim |
Fonte: Douglas Marinho. |
|||
Interpretação e Análise dos Dados
A partir das entrevistas realizadas e da observação dos usuários, pode-se concluir que o Protótipo de Alta Fidelidade da tarefa de Criação de Contest estão em conformidade com a realidade e atendem às necessidades dos usuários do CD-MOJ.
Lista dos Problemas Encontrados
A entrevistada Júlia Fortunato afirmou que o botão que abre o calendário pode ser mais visivel para entender sua utilidade.
Planejamento para o Reprojeto do Sistema
As mudanças sugeridas pelo usuário serão adicionadas ao Protótipo de Alta Fidelidade, a alteração será realizada pelo entrevistador conforme o cronograma presente na tabela 4 a seguir:
Tabela 4 - Correção do Protótipo de Alta Fidelidade.
| Entrevistador | Data | Alteração |
|---|---|---|
| Douglas Marinho | - | - |
Fonte: Douglas Marinho.
Gravações das Entevistas
Relato - Tutorial de Resolução de Questões Pós-Contest
Objetivos e Escopo da Avaliação
A avaliação teve como objetivo validar se o Protótipo de Alta Fidelidade da funcionalidade "Tutorial de Resolução de Questões Pós-Contest" está de acordo com o fluxo de atividades do CD-MOJ e identificar áreas de melhoria para fornecer um suporte mais eficaz aos usuários.
Método de Avaliação Empregado
O método de avaliação foi uma combinação de observação e entrevistas com o usuário, conforme o framework DECIDE2. Nela foi pedido que o usuário verificasse o fluxo apresentado pelo Protótipo de Alta Fidelidade e após isso ele foi perguntado sobre algumas questões. A tabela 6 apresenta as informações sobre a entrevista e as imagens 7, 8 e 9 apresentam os Protótipos de Alta Fidelidade:
Tabela 6 - Cronograma das Entrevistas
| Entrevistador(es) | Entrevistado(s) | Horário | Duração | Data | Local |
|---|---|---|---|---|---|
| Arthur Alves | Gustavo | 13:50 | 5 minutos | 03/07/2023 | ITRAC - LDTEA (FGA) |
| Arthur Alves | Luan | 14:00 | 5 minutos | 03/07/2023 | ITRAC - LDTEA (FGA) |
| Arthur Alves | Joyce | 17:40 | 5 minutos | 03/07/2023 | Lappis Contâiner (FGA) |
Fonte: Arthur Alves
Imagem 7 - Tela Inicial do Contest
Fonte:Arthur Alves
Imagem 8 - Tela com PopUp de Tutorial
Fonte:Arthur Alves
Imagem 9 - Tela de Tutorial da Questão Selecionada
Fonte:Arthur Alves
Número e Perfil dos Usuários e Avaliadores
Os participantes se encaixam no perfil de usuário, eles são usuários de entre 18 e 30 anos, estudante de ensino superior e usuários frequentes do CD-MOJ.
Sumário dos Dados Coletados
Durante a entrevista foram coletados dados sobre, a interação do usuário com o sistema, feedbacks sobre o Protótipo de Alta Fidelidade e as respostas das perguntas presentes no planejamento da avaliação. A seguir, as tabelas 11, 12 e 13 mostram as respostas dos entrevistados para o roteiro de perguntas.
Respostas Gustavo
Tabela 11 - Respostas Gustavo para o Roteiro de Perguntas
| ID | Pergunta | Propósito | Resposta |
|---|---|---|---|
| 1 | A prototipação representa bem o seu propósito? | Verificação de conformidade com a tarefa. | [X] Sim [ ] Não |
| 2 | O layout corresponde com as expectativas do usuário sobre como deveria ser a tela? | Verificação de aderência às expectativas do usuário. | [X] Sim [ ] Não |
| 3 | Os aspectos de usabilidade estão bem evidentes na prototipação? | Avaliação da clareza e facilidade de uso. | [X] Sim [ ] Não |
| 4 | A prototipação oferece dificuldades sobre visualização do conteúdo da tela? | Identificação de problemas de visibilidade e legibilidade. | [ ] Sim [X] Não |
| 5 | Os elementos interativos estão claramente identificados? | Verificação da identificação clara de elementos clicáveis e interativos. | [X] Sim [ ] Não |
| 6 | O fluxo de navegação está intuitivo? | Avaliação da facilidade de navegação e sequência lógica das telas. | [X] Sim [ ] Não |
| 7 | O protótipo permite uma fácil compreensão das funcionalidades? | Verificação da clareza das funcionalidades apresentadas. | [X] Sim [ ] Não |
| 8 | Há algum elemento ou informação que esteja faltando? | Identificação de lacunas ou elementos ausentes. | Resposta aberta |
| 9 | A estrutura da informação está organizada de forma lógica? | Avaliação da organização e hierarquia da informação. | [X] Sim [ ] Não |
| 10 | O protótipo permite a realização das tarefas principais de forma eficiente? | Verificação da eficiência na realização de tarefas principais. | [X] Sim [ ] Não |
| 11 | Existem barreiras que dificultam a execução de ações pelo usuário? | Identificação de barreiras ou dificuldades na interação. | [ ] Sim [X] Não |
| 12 | A disposição dos elementos na tela facilita a execução das tarefas? | Avaliação da disposição e acessibilidade dos elementos. | [X] Sim [ ] Não |
| 13 | O protótipo proporciona uma experiência satisfatória para o usuário? | Avaliação geral da satisfação do usuário com o protótipo. | [X] Sim [ ] Não |
Fonte: Arthur Alves.
Respostas Luan
Tabela 12 - Respostas Luan para o Roteiro de Perguntas
| ID | Pergunta | Propósito | Resposta |
|---|---|---|---|
| 1 | A prototipação representa bem o seu propósito? | Verificação de conformidade com a tarefa. | [X] Sim [ ] Não |
| 2 | O layout corresponde com as expectativas do usuário sobre como deveria ser a tela? | Verificação de aderência às expectativas do usuário. | [X] Sim [ ] Não |
| 3 | Os aspectos de usabilidade estão bem evidentes na prototipação? | Avaliação da clareza e facilidade de uso. | [X] Sim [ ] Não |
| 4 | A prototipação oferece dificuldades sobre visualização do conteúdo da tela? | Identificação de problemas de visibilidade e legibilidade. | [ ] Sim [X] Não |
| 5 | Os elementos interativos estão claramente identificados? | Verificação da identificação clara de elementos clicáveis e interativos. | [X] Sim [ ] Não |
| 6 | O fluxo de navegação está intuitivo? | Avaliação da facilidade de navegação e sequência lógica das telas. | [X] Sim [ ] Não |
| 7 | O protótipo permite uma fácil compreensão das funcionalidades? | Verificação da clareza das funcionalidades apresentadas. | [X] Sim [ ] Não |
| 8 | Há algum elemento ou informação que esteja faltando? | Identificação de lacunas ou elementos ausentes. | Resposta aberta |
| 9 | A estrutura da informação está organizada de forma lógica? | Avaliação da organização e hierarquia da informação. | [X] Sim [ ] Não |
| 10 | O protótipo permite a realização das tarefas principais de forma eficiente? | Verificação da eficiência na realização de tarefas principais. | [X] Sim [ ] Não |
| 11 | Existem barreiras que dificultam a execução de ações pelo usuário? | Identificação de barreiras ou dificuldades na interação. | [ ] Sim [X] Não |
| 12 | A disposição dos elementos na tela facilita a execução das tarefas? | Avaliação da disposição e acessibilidade dos elementos. | [X] Sim [ ] Não |
| 13 | O protótipo proporciona uma experiência satisfatória para o usuário? | Avaliação geral da satisfação do usuário com o protótipo. | [X] Sim [ ] Não |
Fonte: Arthur Alves.
Respostas Joyce
Tabela 13 - Respostas Joyce para o Roteiro de Perguntas
| ID | Pergunta | Propósito | Resposta |
|---|---|---|---|
| 1 | A prototipação representa bem o seu propósito? | Verificação de conformidade com a tarefa. | [X] Sim [ ] Não |
| 2 | O layout corresponde com as expectativas do usuário sobre como deveria ser a tela? | Verificação de aderência às expectativas do usuário. | [X] Sim [ ] Não |
| 3 | Os aspectos de usabilidade estão bem evidentes na prototipação? | Avaliação da clareza e facilidade de uso. | [X] Sim [ ] Não |
| 4 | A prototipação oferece dificuldades sobre visualização do conteúdo da tela? | Identificação de problemas de visibilidade e legibilidade. | [ ] Sim [X] Não |
| 5 | Os elementos interativos estão claramente identificados? | Verificação da identificação clara de elementos clicáveis e interativos. | [X] Sim [ ] Não |
| 6 | O fluxo de navegação está intuitivo? | Avaliação da facilidade de navegação e sequência lógica das telas. | [X] Sim [ ] Não |
| 7 | O protótipo permite uma fácil compreensão das funcionalidades? | Verificação da clareza das funcionalidades apresentadas. | [X] Sim [ ] Não |
| 8 | Há algum elemento ou informação que esteja faltando? | Identificação de lacunas ou elementos ausentes. | Resposta aberta |
| 9 | A estrutura da informação está organizada de forma lógica? | Avaliação da organização e hierarquia da informação. | [X] Sim [ ] Não |
| 10 | O protótipo permite a realização das tarefas principais de forma eficiente? | Verificação da eficiência na realização de tarefas principais. | [X] Sim [ ] Não |
| 11 | Existem barreiras que dificultam a execução de ações pelo usuário? | Identificação de barreiras ou dificuldades na interação. | [ ] Sim [X] Não |
| 12 | A disposição dos elementos na tela facilita a execução das tarefas? | Avaliação da disposição e acessibilidade dos elementos. | [X] Sim [ ] Não |
| 13 | O protótipo proporciona uma experiência satisfatória para o usuário? | Avaliação geral da satisfação do usuário com o protótipo. | [X] Sim [ ] Não |
Fonte: Arthur Alves.
Interpretação e Análise dos Dados
A partir das entrevistas realizadas e da observação dos usuários, pode-se concluir que os Protótipos de Alta Fidelidade da funcionalidade de Tutorial de Resolução de Questões Pós-Contest está em conformidade com o padrão do que os usuários esperam, uma vez que é uma funcionalidade não existente na plataforma, e atendem às necessidades dos usuários do CD-MOJ.
Lista dos Problemas Encontrados
Não foi relatado nenhum problema no protótipo.
Planejamento para o Reprojeto do Sistema
Como não foram identificados problemas, não há necessidade de realizar um reprojeto no momento.
Gravação da Entevista
Relato - Submissão de Problemas
Objetivos e Escopo da Avaliação
A avaliação teve como objetivo validar se o Protótipo de Alta Fidelidade da funcionalidade "Submissão de Problemas" está de acordo com o fluxo de atividades do CD-MOJ e identificar áreas de melhoria para fornecer um suporte mais eficaz aos usuários.
Método de Avaliação Empregado
O método de avaliação foi uma combinação de observação e entrevistas com o usuário, conforme o framework DECIDE2. Nela foi pedido que o usuário verificasse o fluxo apresentado pelo Protótipo de Alta Fidelidade e após isso ele foi perguntado sobre algumas questões. A tabela 7 apresenta as informações sobre a entrevista e as figuras 10, 11 e 12 apresentam os Protótipos de Alta Fidelidade:
Tabela 7 - Cronograma das Entrevistas
| Entrevistador(es) | Entrevistado(s) | Horário | Duração | Data | Local |
|---|---|---|---|---|---|
| Eric Silveira | Luan | Submissão de Problemas | 14:30 | 03/07 | ITRAC - LDTEA (FGA) |
| Eric Silveira | Joyce | Submissão de Problemas | 17:00 | 03/07 | Lappis Contâiner (FGA) |
| Eric Silveira | Gustavo | Submissão de Problemas | 17:42 | 03/07 | Lappis Contâiner (FGA) |
Fonte: Eric Silveira
Imagens do Protótipo
A seguir, as figuras de 08 até 13 ilustram a prototipação da tarefa designada que foi avaliada pelos usuários.
Figura 10 - Problemas do Contest
Fonte: Eric Silveira
Figura 11 - Selecionando Questões nas alternativas
Fonte: Eric Silveira
Figura 12 - Gerenciador de arquivos
Fonte: Eric Silveira
Figura 13 - Questão selecionada
Fonte: Eric Silveira
Figura 14 - Submissão enviada
Fonte: Eric Silveira
Número e Perfil dos Usuários e Avaliadores
Os participantes se encaixam no perfil de usuário, eles são usuários de entre 18 e 30 anos, estudante de ensino superior e usuários frequentes do CD-MOJ.
Sumário dos Dados Coletados
Durante a entrevista foram coletados dados sobre, a interação do usuário com o sistema, feedbacks sobre o Protótipo de Alta Fidelidade e as respostas das perguntas presentes no planejamento da avaliação. De forma geral, os entrevistados relataram satisfação com a tarefa prototipada, ressaltaram ainda que não há necessidade de mudanças e que a funcionalidade já é eficiente por si só. Gostaram também do layout e afirmaram que realmente, o CD-MOJ tem um aparência não tão detalhada pois seu foco principal é na performance e voltado para os seus requisitos, de forma simples e objetiva.
Respostas Luan
Tabela N - Respostas Luan para o Roteiro de Perguntas
| ID | Pergunta | Propósito | Resposta |
|---|---|---|---|
| 1 | A prototipação representa bem o seu propósito? | Verificação de conformidade com a tarefa. | [X] Sim [ ] Não |
| 2 | O layout corresponde com as expectativas do usuário sobre como deveria ser a tela? | Verificação de aderência às expectativas do usuário. | [X] Sim [ ] Não |
| 3 | Os aspectos de usabilidade estão bem evidentes na prototipação? | Avaliação da clareza e facilidade de uso. | [X] Sim [ ] Não |
| 4 | A prototipação oferece dificuldades sobre visualização do conteúdo da tela? | Identificação de problemas de visibilidade e legibilidade. | [ ] Sim [X] Não |
| 5 | Os elementos interativos estão claramente identificados? | Verificação da identificação clara de elementos clicáveis e interativos. | [X] Sim [ ] Não |
| 6 | O fluxo de navegação está intuitivo? | Avaliação da facilidade de navegação e sequência lógica das telas. | [X] Sim [ ] Não |
| 7 | O protótipo permite uma fácil compreensão das funcionalidades? | Verificação da clareza das funcionalidades apresentadas. | [X] Sim [ ] Não |
| 8 | Há algum elemento ou informação que esteja faltando? | Identificação de lacunas ou elementos ausentes. | Resposta aberta |
| 9 | A estrutura da informação está organizada de forma lógica? | Avaliação da organização e hierarquia da informação. | [X] Sim [ ] Não |
| 10 | O protótipo permite a realização das tarefas principais de forma eficiente? | Verificação da eficiência na realização de tarefas principais. | [X] Sim [ ] Não |
| 11 | Existem barreiras que dificultam a execução de ações pelo usuário? | Identificação de barreiras ou dificuldades na interação. | [ ] Sim [X] Não |
| 12 | A disposição dos elementos na tela facilita a execução das tarefas? | Avaliação da disposição e acessibilidade dos elementos. | [X] Sim [ ] Não |
| 13 | O protótipo proporciona uma experiência satisfatória para o usuário? | Avaliação geral da satisfação do usuário com o protótipo. | [X] Sim [ ] Não |
Fonte: Eric Silveira.
Respostas Joyce
Tabela N - Respostas Joyce para o Roteiro de Perguntas
| ID | Pergunta | Propósito | Resposta |
|---|---|---|---|
| 1 | A prototipação representa bem o seu propósito? | Verificação de conformidade com a tarefa. | [X] Sim [ ] Não |
| 2 | O layout corresponde com as expectativas do usuário sobre como deveria ser a tela? | Verificação de aderência às expectativas do usuário. | [X] Sim [ ] Não |
| 3 | Os aspectos de usabilidade estão bem evidentes na prototipação? | Avaliação da clareza e facilidade de uso. | [X] Sim [ ] Não |
| 4 | A prototipação oferece dificuldades sobre visualização do conteúdo da tela? | Identificação de problemas de visibilidade e legibilidade. | [ ] Sim [X] Não |
| 5 | Os elementos interativos estão claramente identificados? | Verificação da identificação clara de elementos clicáveis e interativos. | [X] Sim [ ] Não |
| 6 | O fluxo de navegação está intuitivo? | Avaliação da facilidade de navegação e sequência lógica das telas. | [X] Sim [ ] Não |
| 7 | O protótipo permite uma fácil compreensão das funcionalidades? | Verificação da clareza das funcionalidades apresentadas. | [X] Sim [ ] Não |
| 8 | Há algum elemento ou informação que esteja faltando? | Identificação de lacunas ou elementos ausentes. | Resposta aberta |
| 9 | A estrutura da informação está organizada de forma lógica? | Avaliação da organização e hierarquia da informação. | [X] Sim [ ] Não |
| 10 | O protótipo permite a realização das tarefas principais de forma eficiente? | Verificação da eficiência na realização de tarefas principais. | [X] Sim [ ] Não |
| 11 | Existem barreiras que dificultam a execução de ações pelo usuário? | Identificação de barreiras ou dificuldades na interação. | [ ] Sim [X] Não |
| 12 | A disposição dos elementos na tela facilita a execução das tarefas? | Avaliação da disposição e acessibilidade dos elementos. | [X] Sim [ ] Não |
| 13 | O protótipo proporciona uma experiência satisfatória para o usuário? | Avaliação geral da satisfação do usuário com o protótipo. | [X] Sim [ ] Não |
Fonte: Eric Silveira.
Respostas Gustavo
Tabela N - Respostas Gustavo para o Roteiro de Perguntas
| ID | Pergunta | Propósito | Resposta |
|---|---|---|---|
| 1 | A prototipação representa bem o seu propósito? | Verificação de conformidade com a tarefa. | [X] Sim [ ] Não |
| 2 | O layout corresponde com as expectativas do usuário sobre como deveria ser a tela? | Verificação de aderência às expectativas do usuário. | [X] Sim [ ] Não |
| 3 | Os aspectos de usabilidade estão bem evidentes na prototipação? | Avaliação da clareza e facilidade de uso. | [X] Sim [ ] Não |
| 4 | A prototipação oferece dificuldades sobre visualização do conteúdo da tela? | Identificação de problemas de visibilidade e legibilidade. | [ ] Sim [X] Não |
| 5 | Os elementos interativos estão claramente identificados? | Verificação da identificação clara de elementos clicáveis e interativos. | [X] Sim [ ] Não |
| 6 | O fluxo de navegação está intuitivo? | Avaliação da facilidade de navegação e sequência lógica das telas. | [X] Sim [ ] Não |
| 7 | O protótipo permite uma fácil compreensão das funcionalidades? | Verificação da clareza das funcionalidades apresentadas. | [X] Sim [ ] Não |
| 8 | Há algum elemento ou informação que esteja faltando? | Identificação de lacunas ou elementos ausentes. | Resposta aberta |
| 9 | A estrutura da informação está organizada de forma lógica? | Avaliação da organização e hierarquia da informação. | [X] Sim [ ] Não |
| 10 | O protótipo permite a realização das tarefas principais de forma eficiente? | Verificação da eficiência na realização de tarefas principais. | [X] Sim [ ] Não |
| 11 | Existem barreiras que dificultam a execução de ações pelo usuário? | Identificação de barreiras ou dificuldades na interação. | [ ] Sim [X] Não |
| 12 | A disposição dos elementos na tela facilita a execução das tarefas? | Avaliação da disposição e acessibilidade dos elementos. | [X] Sim [ ] Não |
| 13 | O protótipo proporciona uma experiência satisfatória para o usuário? | Avaliação geral da satisfação do usuário com o protótipo. | [X] Sim [ ] Não |
Fonte: Eric Silveira.
Interpretação e Análise dos Dados
A partir das entrevistas realizadas e da observação dos usuários, pode-se concluir que os Protótipos de Alta Fidelidade da funcionalidade de Submissão de Problemas está em conformidade com o padrão e que é uma funcionalidade bem eficiente que no CD-MOJ ela é bem simples e intuitíva.
Lista dos Problemas Encontrados
Não foi relatado nenhum problema no protótipo, pelo contrário, ambos os usuários gostaram da prototipação, acharam eficiente e que atende de maneira objetivo o seu propósito.
Planejamento para o Reprojeto do Sistema
Como não foram identificados problemas, não há necessidade de realizar um reprojeto nessa prototipação.
Gravação da Entevista
Primeira entrevista
Segunda entrevista
Terceira entrevista
Referências Bibliográficas
1. Santa Rosa, José Guilherme. Avaliação e projeto no Design de Interfaces, capítulo 9.4.1 Equipamentos para os testes de usabilidade, página 157. Ano: Capa comum - 1 janeiro 2010.
Bibliografia
1. Sharp, H., Rogers, Y., & Preece, J. (2007). Interaction Design: Beyond Human-Computer Interaction. John Wiley & Sons.
2. Krug, S. (2014). Don't Make Me Think, Revisited: A Common Sense Approach to Web Usability. New Riders.
3. Planejamento da Avaliação do Protótipo de Alta Fidelidade - Grupo 01.
Histórico de Versão
| Versão | Data | Data Prevista de Revisão | Descrição | Autor(es) | Revisor(es) |
|---|---|---|---|---|---|
1.0 |
03/07/2024 | 03/07/2024 | Criação da Documentação e inserção da tabela e metodologias | Eric Silveira | Arthur Alves e João Artur |
1.1 |
03/07/2024 | 03/07/2024 | Relato do protótipo de Alta fidelidade de verificação de submissões e ranking de Contest | João Artur | Eric Silveira |
1.2 |
03/07/2024 | 03/07/2024 | Relato do protótipo de Alta fidelidade de Criação de Contest | Douglas Marinho | Eric Silveira |
1.3 |
03/07/2024 | 03/07/2024 | Relato do protótipo de Alta fidelidade de Tutorial de Resolução de Questões Pós-Contest | Arthur Alves | Eric Silveira |
1.4 |
03/07/2024 | 03/07/2024 | Relato do protótipo de Alta fidelidade de Submissão de Problemas | Eric Silveira | Arthur Alves |