Planejamento da Avaliação da Análise de Tarefas
Introdução
A avaliação de artefatos de IHC com usuários é arriscada porque uma falha pode significar tempo perdido e gerar a necessidade de refazer a avaliação. Entretanto, tal evento irritaria o usuário e probabilidade do mesmo não querer refazer a entrevista é grande. Tendo isso em vista, um planejamento para uma melhor execução e mitigação de erros faz-se necessária.
Dessa forma, o grupo realizará uma entrevista com um usuário real do portal Detran DF para cada tarefa da análise de tarefas baseando-se nos perfis de usuário.
Metodologia
Baseado na bibliografia principal da disciplina, o livro IHC de Barbosa e Silva, para o planejamento da avaliação, utilizaremos o framework DECIDE. Abaixo segue explicação sobre o que significa cada uma das letras.
-
Determine (Determinar): determinar as metas;
-
Explore (Explorar): explorar as questões a serem respondidas;
-
Choose (Escolher): escolher os métodos e as técnicas;
-
Identify (Identificar): identificar questões práticas a serem abordadas, como público;
-
Decide (Decidir): decidir como lidar com as questões éticas envolvidas;
-
Evaluate (Avaliar): avaliar, interpretar e apresentar os dados.
A seguir, definimos como cada um desses conceitos se aplicam em nosso planejamento.
D - Determinar as metas
A meta principal dessa avaliação é verificar se as tarefas selecionadas por nossos membros na análise de tarefas são coerentes com a proposta do projeto, se atingem os padrões estabelecidos, e se fazem sentido com as aplicações, caso contrário em nenhuma das opções, se poderia ser aplicado alguma outra solução alternativa, dessa vez visando atingir as metas propostas.
E - Explorar as questões a serem respondidas
Baseando-se no Capítulo 11 da obra de Barbosa e Silva (2011, p. 266), que abordam aspectos essenciais da Análise Hierárquica de Tarefas (HTA). As seguintes perguntas são formuladas para garantir que os diagramas HTA estejam em conformidade com as normas, representem corretamente as funcionalidades esperadas e sejam úteis para identificar melhorias.
C - Escolher os métodos e as técnicas
Para a realização da avaliação, optamos pelo método de entrevista presencial com usuários reais baseados nos perfis estabelecidos anteriormente na documentação, com base em questionários e roteiro que será apresentado neste documento.
A razão para escolha desse método é para um melhor entendimento do contexto e atividades do usuário, informações detalhadas sobre tarefas, identificar requisitos e limitações, validar modelos de tarefas e identificar oportunidades de melhoria.
I - Identificar Questões Práticas da Avaliação
Recrutamento
A seleção de participantes para as entrevista será baseada primeiramente no perfil de usuário e as personas, de acordo com os dados obtidos nas pesquisas feitas. No total serão 6 entrevistados, um para cada membro do grupo. Decidimos utilizar tal estratégia para que cada membro do grupo obtivesse um contato real com um usuário e ter acesso à diferentes perspectivas de uso.
Preparação
Para a preparação da avaliação, o entrevistador será responsável por fazer as perguntas presentes no roteiro que será apresentado e fazer as anotações sobre as respostas do usuário. A entrevista deverá envolver alguma das atividades presentes na análise de tarefas. Cada membro do grupo ficará responsável por uma entrevista com um usuário baseado na tarefa escolhida, gerando o total de 6 entrevistas.
Custos
Com o objetivo de não gerar gastos para nenhum dos envolvidos, a entrevista deverá ser feita de forma presencial, utilizando apenas estas ferramentas:
- Perguntas a serem respondidas para a avaliação
- Perguntas a serem respondidas na entrevista
- Termo de Consentimento para o usuário entrevistado
- Teste Piloto
- Diagrama HTA de cada Tarefa
Para os equipamentos para gravação e mostrar os diagramas e registrar as respostas da pesquisa, serão utilizados equipamentos eletrônicos com acesso à internet.
Prazos
Os prazos estarão documentados na tabela abaixo, com as seguintes informações:
- Entrevistador;
- Entrevistado;
- Horário de início e fim;
- Data que ocorreu a entrevista;
- Tarefa associada.
Tabela 2 - Cronograma de entrevista
| Entrevistador(es) | Entrevistado(s) | Horário de Início | Horário de Fim | Data | Local | Tarefa associada |
|---|---|---|---|---|---|---|
| Filipe Carvalho | André Belle | 15:00 | 16:00 | 28/05/2024 | Emissão de CRLV-e | |
| Vinicius Vieira | Aloysio Vieira | 15:00 | 15:10 | 30/05/2024 | Baixar nada consta da CNH | |
| Pedro Miguel | Maria Eduarda | 16:00 | 16:10 | 23/05/2024 | Consulta das escolas cadastradas | |
| Pedro Sena | Tiago Brant | 11:00 | 11:10 | 01/06/2024 | Casa do entrevistado | Solicitar Permissão Internacional para Dirigir |
| Daniel Coimbra | Luiz Eduardo | 9:00 | 9:10 | 25/05/2024 | Alterar endereço do veículo | |
| Victor Moreira | Firmina Moreira | 15:00 | 15:10 | 25/05/2024 | Identificação de Condutor Infrator |
Fonte - Pedro Sena e Filipe Carvalho.
Roteiro de Perguntas
Basicamente, a entrevista consiste em uma captura da tela dos diagramas HTA e GOMS da análise de tarefas, e o seguinte roteiro de perguntas que deverão ser seguidas pelos entrevistadores de acordo com sua respectiva tarefa:
Tabela 3 - Roteiro de perguntas da entrevista.
| Número | Pergunta | Tipo de Resposta | Entrevistador |
|---|---|---|---|
| 1 | Qual é o seu nome? | Discursiva | Todos |
| 2 | Qual seu grau de experiência com tecnologias? | Discursiva | Todos |
| 3 | Qual é a sua ocupação atual? | Discursiva | Todos |
| 4 | Você tem carteira de motorista? | [ ] Sim [ ] Não |
Todos |
| 5 | Como você emitiria sua CRLV? | [ ] Inseriria os dados do veículo e emitiria o documento. [ ] Outro, como? |
Filipe Carvalho |
| 5.1 | Observando a tarefa Emitir CRLV, a sequência de processos é coerente? Se não, poderia descrever o porquê? | Discursiva | Filipe Carvalho |
| 6 | Quais os passos você acha necessários para solicitar sua Permissão Internacional para Dirigir (PID)? | Discursiva | Pedro Sena |
| 6.1 | Observando a análise da tarefa solicitar PID, a sequência de atividades é coerente? Se não, poderia descrever o porquê? | Discursiva | Pedro Sena |
| 7 | Quais os passos você acha necessários para baixar nada consta da CNH? | Discursiva | Vinicius Vieira |
| 7.1 | Observando a análise da tarefa baixar nada consta da CNH, a sequência de atividades é coerente? Se não, poderia descrever o porquê? | Discursiva | Vinicius Vieira |
| 8 | Quais os passos você acha necessários para consultar as escolas de trânsito cadastradas? | Discursiva | Pedro Miguel |
| 8.1 | Observando a análise da tarefa consultar as escolas de trânsito cadastradas, a sequência de atividades é coerente? Se não, poderia descrever o porquê? | Discursiva | Pedro Miguel |
| 9 | Quais os passos você acha necessários para alterar endereço do veículo? | Discursiva | Daniel Coimbra |
| 9.1 | Observando a análise da tarefa alterar endereço do veículo, a sequência de atividades é coerente? Se não, poderia descrever o porquê? | Discursiva | Daniel Coimbra |
| 10 | Quais os passos você acha necessários para identificar um condutor infrator? | Discursiva | Victor Moreira |
| 10.1 | Observando a análise da tarefa identificar um condutor infrator, a sequência de atividades é coerente? Se não, poderia descrever o porquê? | Discursiva | Victor Moreira |
Fonte - Pedro Sena e Filipe Carvalho.
Execução do roteiro
Nota se que as perguntas de 4 a 9.1 deverão ser realizadas de acordo com cada entrevista, se a entrevista é sobre o cancelamento de compra realiza a pergunta 6 e 6.1, por exemplo. As perguntas 10 e 11 deverão ser realizadas pelos entrevistadores responsáveis pela tarefa de Busca de Evento e Acessar a Central de Ajuda respectivamente. No mais, as outras perguntas devem ser realizadas por todos os entrevistadores.
D - Lidando com as Questões Éticas
No início da entrevista, apresentaremos o nosso Termo de Consentimento apresentado na seção de aspectos éticos, para primeiramente obtermos a autorização para realizarmos as atividades necessárias para prosseguimento da avaliação, divulgação da imagem do entrevistado e garantir que ele seja respeitado e seus direitos sejam preservados durante todo o processo
E - Avaliar, Interpretar e Apresentar os Dados
Após a avaliação, os dados serão documentados e analisados, considerando o contexto em que foram produzidos e avaliando sua confiabilidade e representatividade em relação à população de usuários do site.
O processo de registro incluirá problemas e dificuldades encontradas durante a interação, abrangendo questões de usabilidade, funcionalidades ausentes e problemas de desempenho. Serão anotadas descrições dos problemas, sua classificação, sugestões de melhorias, feedback dos usuários e, ao final das entrevistas, serão documentadas observações gerais sobre cada entrevista realizada.
Concluída essa etapa, os dados serão apresentados ao time de desenvolvimento, com o objetivo de fornecer o máximo de informações relevantes para o progresso do projeto.
Planejamento do Teste Piloto
Com o intuito de testarmos nosso planejamento da avaliação supracitado, faremos um teste piloto. Ele nos dará uma boa noção para sabermos se estamos seguindo o caminho correto em nossas perguntas, se o entrevistado pode se sentir desconfortável ou desorientado em algum momento e se estaremos coletando dados realmente relevantes e que satisfaçam nossos objetivos previamente estabelecidos.
Dessa forma, elegemos dois membros do grupo, Pedro Sena e Victor Moreira, para realizar o teste piloto. Ele será feito remotamente dia 27/05/2024 às 10:10. Neste teste piloto, o entrevistador fará perguntas de todos os entrevistadores, ou seja, de todas as tarefas. Para que haja maior coleta de dados, e portanto, maior entendimento de como deverá ser conduzida as avaliações com os usuários reais.
Resultado do Teste Piloto
Segue o teste piloto realizado por Pedro Sena como entrevistador e Victor Moreira como entrevistado. Seguindo o cronograma supracitado com alguns minutos de atraso.
Bibliografia
SANTOS, João; PEREIRA, Maria. D.E.C.I.D.E: framework para avaliação de interfaces que serve para guiar seu discovery. Repositório do Brasil UX Design, 2023. Disponível em: https://brasil.uxdesign.cc/d-e-c-i-d-e-framework-para-avalia%C3%A7%C3%A3o-de-interfaces-que-serve-para-guiar-seu-discovery-e3dee628d26b. Acesso em: 21 maio 2024.
Referências Bibliográficas
1. BARBOSA, S. D. J.; SILVA, B. S. Interação Humano-Computador. Rio de Janeiro: Elsevier, 2011.
Histórico de Versões
| Versão | Data | Descrição | Autor(es) | Revisor(es) |
|---|---|---|---|---|
1.0 |
15/05/2024 | Criação da página | Vinicius Vieira | Filipe Carvalho |
1.1 |
20/05/2024 | Criação da página | Filipe Carvalho | Pedro Sena |
1.2 |
21/05/2024 | Inclusão dos textos | Filipe Carvalho | Pedro Sena |
1.3 |
22/05/2024 | Mudança da introdução e adição do planejamento do teste piloto. | Pedro Sena | Vinicius Vieira |
1.4 |
24/05/2024 | Adição local | Pedro Sena | |
1.5 |
01/06/2024 | Adição Teste piloto | Pedro Sena |