Planejamento de avaliação da Análise de Tarefas
Introdução
O artefato presente busca, em consideração à Análise de Tarefas realizada como parte da análise de requisitos e o perfil de usuário traçado para o OnlineJudge, planejar a validação dos pontos encontrados e o encontro de novas visões através da realização de entrevistas com usuários reais, tendo em vista a essencialidade da avaliação para o desenvolvimento de um sistema interativo de qualidade [1].
Metodologia
O framework DECIDE, que propõe 6 etapas para o planejamento, foi escolhido para guiar o planejamento da avaliação em questão. Assim, foi descrita a definição de cada etapa e sua aplicação no contexto da avaliação de Análise de Tarefas. As etapas são apresentadas na tabela abaixo:
| Letra | |
|---|---|
| D | Determinar os objetivos da avaliação. |
| E | Explorar perguntas a serem respondidas com a avaliação. |
| C | Escolher os métodos de avaliação a serem utilizados. |
| I | Identificar e administrar as questões práticas da avaliação. |
| D | Decidir como lidar com as questões éticas. |
| E | Avaliar, interpretar e apresentar os dados |
Fonte: Preece, Rogers e Sharp, 2013 [2].
D - Determinar os objetivos da avaliação
O objetivo da avaliação é encontrar, através do registro de suas percepções acerca da plataforma e das tarefas analisadas, pontos de interação que afetam negativamente a experiência do usuário ao navegar no site, buscando, também, validar se os fluxos levantados na Análise de Tarefas estão de acordo com os padrões com o que o usuário realiza efetivamente e, por fim, se o usuário pode mapear soluções e ideias de design de forma a sanar pontos de insatisfação e inconformidade. Assim, a avaliação ocorre no âmbito dos tópicos:
- Verificar a conformidade com um padrão;
- Problemas na interação e na interface na fase do modelo conceitual;
- Comparar ideias e alternativas de design.
E - Explorar perguntas a serem respondidas com a avaliação
A partir do apresentado por Barbosa e Silva [1] no capítulo 11 como perguntas indicadas para a avaliação da Interação Humano-Computador em decorrência dos objetivos a serem alcançados e considerando as tarefas "Submeter um problema", "Procurar um problema", "Contatar Colaboradores", "Editar Conta", "Visualizar minhas submissões", "Acessar o Contest System" e "Recuperação de Login", foram definidas como questões a serem respondidas com a avaliação:
| Questões | Tipo da Resposta | Observações |
|---|---|---|
| 1 – Qual é o seu nome? | Resposta Discursiva | |
| 2 – Qual é a sua idade? | Resposta Discursiva | |
| 3 – Qual sua escolaridade atual? | Resposta Fechada [] Ensino Médio [] Ensino Superior [] Pós-graduação |
|
| 4 – Qual seu grau de experiência com tecnologia? | Resposta Discursiva | |
| 5 – Que experiência tem com sites de júri online? | Resposta Fechada [] Nenhuma ! [] Uso ou já usei para fins acadêmicos [] Uso ou já usei para fins pessoais |
! Pular para questão 8 |
| 6 – Você já usou o OnlineJudge? | Resposta Fechada [] Sim [] Não |
|
| 7 – Qual dos sites de júri online você mais gostou e por quê? | Resposta Discursiva | |
| 8 – Como você realizaria a tarefa de Contact Us (Nos contate)? | Resposta Discursiva | Fornecer login que o usuário possa utilizar Explicar o funcionamento e propósito da tarefa |
| 9 – Como você realizaria a tarefa de Forgot login? (Recuperação de Senha)? | Resposta Discursiva | Fornecer login que o usuário possa utilizar Explicar o funcionamento e propósito da tarefa |
| 10 – Como você realizaria a tarefa de Editar conta? | Resposta Discursiva | Fornecer login que o usuário possa utilizar Explicar o funcionamento e propósito da tarefa |
| 11 - Como você realizaria a tarefa de Procurar um problema? | Resposta Discursiva | Fornecer login que o usuário possa utilizar Explicar o funcionamento e propósito da tarefa |
| 12 - Como você realizaria a tarefa de Acessar o Contest System? | Resposta Discursiva | Fornecer login que o usuário possa utilizar Explicar o funcionamento e propósito da tarefa |
| 13 - Como você realizaria a tarefa de Visualizar as minhas submissões? | Resposta Discursiva | Fornecer login que o usuário possa utilizar Explicar o funcionamento e propósito da tarefa |
| 14 - Como você realizaria a tarefa de Submeter um problema? | Resposta Discursiva | Fornecer login que o usuário possa utilizar Explicar o funcionamento e propósito da tarefa |
| 15 – Você saiu do fluxo proposto em alguma tarefa? | Resposta de múltipla escolha [] Nenhuma ! [] Contact Us [] Forgot Login [] Editar Conta [] Procurar um problema [] Acessar o Contest System [] Visualizar minhas submissões [] Submeter um problema |
! Pular para a questão 17 |
| 16 - O que foi feito de diferente? | Resposta Discursiva | |
| 17 – Você sugere alguma alteração ou melhoria no diagrama do fluxo? | Resposta Discursiva | Mostrar fluxos de Análise de Tarefas para o usuário |
| 18 - Você se sentiu incomodado com a realização de alguma tarefa? | Resposta Fechada [] Sim [] Não ! |
! Pular para a questão 20 |
| 19 – Por quê? | Resposta Discursiva | |
| 20 – No geral, como você classifica a navegabilidade do site? | Resposta Fechada [] Excelente [] Boa [] Regular [] Ruim [] Péssima |
|
| 21 - O que você mudaria na interface de forma a melhorar a realização das tarefas? | Resposta Discursiva |
Fonte: Kallyne Macedo
C - Escolher os métodos de avaliação a serem utilizados
O método escolhido para a avaliação foi o método da entrevista. Essa escolha é justificada pela oportunidade que concede ao avaliador de analisar o que o usuário espera do sistema e o seu comportamento usual de navegação na plataforma. Foram definidas em sua maioria perguntas abertas para destacar particularidades e exceções, embora perguntas fechadas também foram propostas de forma a padronizar os dados e fornecer insumos significativos para sua interpretação.
I - Identificar e administrar as questões práticas da avaliação
O planejamento de uma avaliação envolve questões práticas. Abaixo estão descritas como serão tratados o recrutamento, a preparação, os custos, prazos e o roteiro das entrevistas.
Recrutamento
Para o recrutamento de pessoas a serem entrevistadas, será analisado o perfil de usuário e as personas definidas para escolher dentro destes critérios. Dumas e Redish (1999)2 relatam que uma avaliação de IHC em geral envolve de cinco a 12 usuários. Nielsen (2000)3, por sua vez, afirma que bastam cinco usuários para encontrarmos a maioria dos problemas na interface (85%, segundo o seu experimento), alcançando uma boa relação custo–benefício. Caso seja necessário obter resultados estatisticamente significativos, a amostra de usuários deve ser suficientemente grande e representativa. Entretanto, o tempo e outros recursos necessários para a coleta e análise de dados de muitos usuários pode inviabilizar uma abordagem estatística. Por isso, uma avaliação de IHC com frequência pretende apenas obter indícios sobre a qualidade de uso do sistema e sobre como aumentá-la.
Baseado nisso e também na necessidade de que cada membro do grupo faça uma avaliação, e, por consequência uma entrevista, estaremos recrutando sete (7) entrevistados que se encaixem em nosso perfil de usuário. Para realização das entrevistas, o recrutamento será realizado de forma presencial na Universidade de Brasília (UnB), Campus Gama (FGA).
Baseado nisso e também na necessidade de que cada membro do grupo faça uma avaliação, e, por consequência uma entrevista, estaremos recrutando sete (7) entrevistados que se encaixem em nosso perfil de usuário. Para realização das entrevistas, o recrutamento será realizado de forma presencial na Universidade de Brasília (UnB), Campus Gama (FGA).
Custos
Para não gerar custos a equipes e aos entrevistados, as entrevistas serão realizadas a distância de maneira online, utilizando a plataforma Microsoft Teams.
Prazos
Os prazos definidos estão demonstrados a seguir na tabela 2 contendo Entrevistador, Entrevistado, Horário de início e fim e data da entrevista:
Para fins de documentação as entrevistas devem ser registradas em uma tabela contendo:
- Nome do entrevistador
- Nome do entrevistado
- Horário de inicio
- Horário final
- Data da entrevista
Tabela 2 - Cronograma Planejado.
| Entrevistador | Entrevistado | Horário de Início | Horário de Fim | Data | Local |
|---|---|---|---|---|---|
| Eric Camargo | Caio Vinícius | 11:00 | 11:10 | 03/11/2023 | Microsoft Teams |
| Ester Lino | Pedro Miguel | 10:10 | 10:20 | 03/11/2023 | Microsoft Teams |
| Henrique Torres | João Pedro | 09:30 | 10:00 | 03/11/2023 | Microsoft Teams |
| Kallyne Macedo | Leonardo Aguiar | 16:20 | 16:30 | 03/11/2023 | Microsoft Teams |
| Luana Torres | Ingrid Alves | 18:30 | 18:40 | 01/11/2023 | Microsoft Teams |
| Pablo Guilherme | João Pedro Anacleto | 19:10 | 19:20 | 30/10/2023 | Microsoft Teams |
| Suzane Duarte | Letícia | 11:20 | 11:30 | 04/11/2023 | Microsoft Teams |
Fonte: Luana Torres.
Roteiro de perguntas
Na entrevista serão utilizadas as seguintes perguntas:
Execução do Roteiro
As perguntas a de 8 a 14 são relacionadas cada uma a uma tarefa específica, desta forma, serão utilizadas de acordo com o assunto da entrevista. Por exemplo, a pergunta 8 deverá ser realizada pelo entrevistador responsável pela tarefa "Contact Us". As demais perguntas deverão ser utilizadas por todos os entrevistadores.
Preparação
Para a preparação das entrevistas, os entrevistadores utilizarão o roteiro de perguntas definidas no tópico 'Explorar perguntas a serem feitas na avaliação', o teste piloto e o diagrama HTA para a tarefa selecionada. Utilizarão também o termo de consentimento livre e esclarecido citado no tópico a seguir.
D - Decidir como lidar com as questões éticas
Para lidar com as questões éticas, será seguido o padrão de ética definido em Aspectos Éticos, utilizando o Termo de Consentimento definido a fim de obter o consentimento livre e esclarecido dos participantes da pesquisa.
E - Avaliar, interpretar e apresentar os dados
Após a realização da avaliação, será feita a etapa de avaliação, interpretação e apresentação dos resultados. Para isto, será levado em consideração o grau de confiabilidade dos dados obtidos e seu contexto, de maneira a registrar problemas e dificuldades a fim de que assim, a equipe de desenvolvimento possua o máximo de aproveitamento das informações obtidas.
Planejamento do Teste Piloto
Esta etapa tem como objetivo avaliar o planejamento proposto e analisar se a avaliação feita, da maneira planejada, produz os dados necessários para os objetivos do estudo. Para a realização deste, dois avaliadores participarão como uma sessão normal de avaliação, um no papel de avaliador e outro no papel de usuário.
Teste Piloto
Gravado na plataforma Teams.
Referências bibliográficas
1. BARBOSA, S. D. J.; SILVA, B. S. Interação Humano-Computador. Rio de Janeiro: Elsevier, 2011.
> 2. JENNIFER PREECE & YVONNE ROGERS & HELEN SHARP. Design de Interação: Além da interação homem-computador. John Wiley e Sons. São Paulo - SP. 1ª Edição. Editora Erica, 2005.2.Dumas, J.S. & Redish, J.C. A Practical Guide to Usability Testing, edição revisada. Exeter, UK: Intellect, 1999.
3.Nielsen, J. Why You Only Need to Test with 5 Users, Alertbox. Disponível em http://www.useit.com/alertbox/20000319.html, 2000.
Histórico de versões
| Versão | Data | Descrição | Autor(es) | Revisor(es) |
|---|---|---|---|---|
| 1.0 | 29/10/2023 | Criação da página | Kallyne Macedo | Luana Torres |
| 1.1 | 29/10/2023 | Continuação do Framework | Luana Torres | Kallyne Macedo |
| 1.2 | 29/10/2023 | Etapa de explorar perguntas e escolher método | Kallyne Macedo | Ester Lino |
| 1.3 | 30/10/2023 | Adição do teste piloto | Kallyne Macedo | Luana Torres |
| 1.4 | 06/12/2023 | Correção pós verificação | Kallyne Macedo | Ester Lino |