Planejamento da Avaliação
Introdução
A avaliação de IHC é crucial para desenvolver sistemas interativos de alta qualidade. Ela permite julgar a qualidade de uso e identificar problemas na interação e interface que possam prejudicar a experiência do usuário. Assim, é possível corrigir esses problemas antes de lançar o sistema, seja ele novo ou uma atualização1 . Neste artefato, planejaremos interações com usuários do CD-MOJ e, posteriormente, realizaremos entrevistas com usuários reais do site.
Metodologia
O framework DECIDE, criado por Sharp, Rogers e Preece2, fornece um guia detalhado para o planejamento, execução e análise de avaliações de Interação Humano-Computador (IHC).Esse framework possui atividades interligadas e executadas iterativamente, com os objetivos articulados a partir do avaliador a partir dos recursos disponíveis3. Ele nos oferece a lista de checagem correspondente sobre o que está sendo avaliado, conforme a tabela1 representada a seguir:
Tabela 1 - Lista de checagem do framework DECIDE.
| Letra | Definição |
|---|---|
| D | Determinar as metas que a avaliação irá abordar. |
| E | Explorar as questões específicas a serem respondidas com a avaliação. |
| C | Escolher o paradigma de avaliação e as técnicas de respostas para as perguntas. |
| I | Identificar as questões práticas que devem ser abordadas, como a seleção dos participantes. |
| D | Decidir como lidar com as questões éticas. |
| E | Avaliar, interpretar e apresentar os dados. |
Fonte: Design de Interação: Além da Interação Humano-Computador. Capítulo 11.3: DECIDE: um framework para orientar a avaliação2.
D - Determinar os Objetivos
A avaliação tem como objetivo verificar se os artefatos da análise de tarefas seguem os padrões exigidos e identificar designs alternativos. Também buscamos identificar problemas de usabilidade e entender como os usuários interagem com os artefatos do site CD-MOJ. A avaliação fornecerá insights dos usuários para melhorar a experiência de uso, considerando usabilidade, acessibilidade e comunicabilidade, além de comparar ideias e alternativas de design.
E - Explorar Perguntas
Com base nos objetivos da tabela 11.1: Exemplos de perguntas que uma avaliação de IHC pode responder4, foram preparadas perguntas baseadas nos seguintes tópicos:
- Analisar a apropriação da tecnologia;
- Comparar ideias e alternativas de design;
- Verificar a conformidade com um padrão;
- Identificar problemas na interação e interface.
As perguntas selecionadas têm o objetivo de serem respondidas com esta avaliação e serão discutidas posteriormente no tópico Roteiro de Perguntas.
C - Escolher os Métodos
Para realizar uma avaliação efetiva, será necessário selecionar métodos adequados que correspondam aos objetivos e questões exploradas. Serão utilizados métodos qualitativos e quantitativos para obter uma visão ampla das interações dos usuários com o sistema CD-MOJ. Os métodos escolhidos incluem:
- Entrevistas: Para obter insights detalhados sobre as experiências dos usuários.
- Questionários: Para coletar dados quantitativos sobre usabilidade e satisfação.
- Testes de Usabilidade: Observação dos usuários realizando tarefas específicas no site para identificar problemas de usabilidade.
Esses métodos proporcionarão uma visão abrangente das interações e experiências dos usuários.
I - Identificar Questões Práticas
Recrutamento
O recrutamento dos participantes será realizado por meio de convites direcionados a usuários frequentes do CD-MOJ. Serão selecionados participantes com diferentes níveis de experiência com o site para garantir uma variedade de perspectivas.
Preparação
Será necessário preparar o ambiente de teste, incluindo a configuração de computadores, gravação de tela e áudio, e a definição de cenários de tarefas realistas. Também serão preparados pelo entrevistador materiais como questionários e guias de entrevista.
Prazos
Os prazos definidos estão demonstrados a seguir na tabela 2 contendo Entrevistador, Entrevistado, Horário de início e fim e data da entrevista:
Para fins de documentação as entrevistas devem ser registradas em uma tabela contendo:
- Nome do entrevistador
- Nome do entrevistado
- Horário de inicio
- Horário final
- Data da entrevista
Tabela 2 - Cronograma de entrevistas
| Entrevistador | Entrevistado | Storyboard Analisado | Horário de Início | Horário de Fim | Data | Local |
|---|---|---|---|---|---|---|
| Arthur Alves | Maria Eduarda | Tutorial de Resolução de Questões Pós-Contest | 09:00 | 09:30 | 29/05 | Teams |
| Diego Sousa | Pedro | Ranking de Contest | 15:00 | 15:10 | 28/05 | FGA |
| Douglas Marinho | Ana Júlia | Criar Contest | 08:30 | 08:40 | 29/05 | FGA |
| Eric Silveira | Will Bernardo | Submissão de Problemas | 20:00 | 20:30 | 28/05 | FGA |
| João Artur | Júlio César | Verificação de Submissões | 09:00 | 09:30 | 28/05 | FGA |
| Luiz Gustavo | Pedro Dourado | Criação de Problema | 20:00 | 20:30 | 29/05 | FGA |
Fonte: Arthur Alves e Eric Silveira.
Na entrevista estarão disponíveis capturas de tela para que o usuário possa ver a tarefa da qual o entrevistador estará comentando e a tabela com o seu fluxo. A tabela 3 a seguir mostra o roteiro de perguntas a serem realizadas na entrevista. Essas perguntas foram baseadas nas perguntas a serem repondidas na avaliação.
Tabela 3 - Sugestão para roteiro de perguntas da entrevista durante avaliação.
| Questões | Tipo da Resposta | Observações |
|---|---|---|
| 1 – Qual é o seu nome? | Resposta Discursiva | |
| 2 – Qual é a sua idade? | Resposta Discursiva | |
| 3 – Qual sua escolaridade atual? | Resposta Fechada [] Ensino Médio [] Ensino Superior [] Pós-graduação |
|
| 4 – Qual seu grau de experiência com tecnologia? | Resposta Discursiva | |
| 5 – Que experiência tem com sites de júri online? | Resposta Fechada [] Nenhuma [] Uso ou já usei para fins acadêmicos [] Uso ou já usei para fins pessoais |
|
| 6 – Você já usou o CD-MOJ? | Resposta Fechada [] Sim [] Não |
|
| 7 – Qual sua opinião sobre a interface desse site? | Resposta Discursiva | |
| 8 – Você consegue identificar de forma visível algum problema de interação na interface? | Resposta Discursiva | |
| 9 – Ao tentar acessar um contest, sente alguma dificuldade? | Resposta Discursiva | Fornecer login que o usuário possa utilizar Explicar o funcionamento e propósito da tarefa |
| 10 – Como você realizaria a tarefa de visualizar uma questão do contest? | Resposta Discursiva | Fornecer login que o usuário possa utilizar Explicar o funcionamento e propósito da tarefa |
| 11 – Como você realizaria a tarefa de enviar um código para submissão? | Resposta Discursiva | Fornecer login que o usuário possa utilizar Explicar o funcionamento e propósito da tarefa |
| 12 – Como você realizaria a tarefa de visualizar o score do contest? | Resposta Discursiva | Fornecer login que o usuário possa utilizar Explicar o funcionamento e propósito da tarefa |
| 13 – Como você realizaria a tarefa de sair do contest? | Resposta Discursiva | Fornecer login que o usuário possa utilizar Explicar o funcionamento e propósito da tarefa |
| 14 – Como você analisaria o resultado de uma questão enviada? | Resposta Discursiva | Fornecer login que o usuário possa utilizar Explicar o funcionamento e propósito da tarefa |
| 15 – Você teria alguma sugestão de melhoria para o diagrama da tarefa? | Resposta Discursiva |
Fonte: Douglas Marinho.
Execução do roteiro
Para realização de todas as perguntas será fornecido um login para o entrevistado para ter acesso total as tarefas necessárias para responder as perguntas presentes na tabela 3.
D - Decidir as questões éticas
Será utilizado o termo de consentimento produzido na seção de Aspectos Éticos, a fim de se obter dos participantes a autorização para que sejam realizadas as atividades necessárias à produção desse artefato e garantir que os participantes sejam respeitados durante e após a atividade.
E - Avaliar, Interpretar e Apresentar os Dados
Após a realização da avaliação, será feita a etapa de avaliação, interpretação e apresentação dos resultados. Para isto, será levado em consideração o grau de confiabilidade dos dados obtidos e seu contexto, de maneira a registrar problemas e dificuldades a fim de que assim, a equipe de desenvolvimento possua o máximo de aproveitamento das informações obtidas.
Planejamento do Teste Piloto
Esta etapa tem como objetivo avaliar o planejamento proposto e analisar se a avaliação feita, da maneira planejada, produz os dados necessários para os objetivos do estudo. Para a realização deste, dois avaliadores participarão como uma sessão normal de avaliação, um no papel de avaliador e outro no papel de usuário.
Teste Piloto
A seguir, apresentamos o vídeo do teste piloto realizado conforme o cronograma mencionado anteriormente, no qual Diego Sousa atuou como usuário e Douglas Marinho como entrevistador.
Fonte: Diego Sousa e Douglas Marinho.
Referências Bibliográficas
1. BARBOSA, Simone Diniz Junqueira et al. Interação humano-computador e experiência do usuário. 1. ed. Rio de Janeiro: Simone Diniz Junqueira Barbosa, 2021. Capítulo 11: Planejamento da Avaliação de IHC. Página 261. Autopublicação. ISBN: 978-65-00-19677-1.
2. Barbosa, S. D. J.; Silva, B. S. da; Silveira, M. S.; Gasparini, I.; Darin, T.; Barbosa, G. D. J. (2021) Interação Humano-Computador e Experiência do usuário. Capítulo 11 Planejamento da Avaliação de IHC, tópico 11.8 O Framework DECIDE, página 279 e 280. Autopublicação. ISBN: 978-65-00-19677-1.
3. ROGERS, Yvonne. SHARP, Helen. PREECE, Jhennifer. Design de Interação: Além da Interação Humano-Computador. Capítulo 11.3: DECIDE: um framework para orientar a avaliação. Página 368.
4. Barbosa, S. D. J.; Silva, B. S. da; Silveira, M. S.; Gasparini, I.; Darin, T.; Barbosa, G. D. J. (2021) Interação Humano-Computador e Experiência do usuário. Capítulo 11 Planejamento da Avaliação de IHC, tópico 11.2 O Que Avaliar?, página 266. Autopublicação. ISBN: 978-65-00-19677-1.
Bibliografia
ROGERS, Yvonne. SHARP, Helen. PREECE, Jhennifer. Design de Interação: Além da Interação Humano-Computador. Editora Bookman, São Paulo: 2005.
Bilheteria Digital. Metas de usabilidade. Repositório do Grupo Bilheteria Digital da disciplina de Interação Humano Computador da Universidade de Brasília, 2023. Disponível em: https://interacao-humano-computador.github.io/2023.1-BilheteriaDigital/design-avaliacao-desenvolvimento/nivel-1/analise-de-tarefas-dad/planejamento-avaliavao-at/#metodologia. Acesso em: 20 de Maio 2024.
Histórico de Versão
| Versão | Data | Data Prevista de Revisão | Descrição | Autor(es) | Revisor(es) |
|---|---|---|---|---|---|
1.0 |
15/05/2024 | 17/05/2024 | Criação do documento. | Diego Sousa | João Artur |
1.1 |
20/05/2024 | 22/05/2024 | Adicionando os 4 primeiros topicos. | Diego Sousa | João Artur |
1.2 |
22/05/2024 | 22/05/2024 | Adicionando os topicos restantes. | Douglas Marinho | João Artur |
1.3 |
22/05/2024 | 22/05/2024 | Adição teste piloto. | Diego Sousa | João Artur |
1.4 |
22/05/2024 | 22/05/2024 | Adição Cronograma. | Diego Sousa | João Artur |