Planejamento da Avaliação da Análise de Tarefas
Introdução
A avaliação é um processo essencial para que o processo de desenvolvimento consiga produzir um sistema com alta qualidade. Sendo assim, no intuito de corrigir possíveis problemas relacionados com a análise de tarefas realizada, será feita uma avaliação desse artefato. Para uma verdadeira interação com usuários do Bilheteria Digital, serão realizadas entrevistas com usuários reais do produto, tendo como base o perfil de usuário, assim será possível avaliar sua perspectiva de forma dinâmica.
Metodologia
Para realizar esse planejamento será utilizado o framework DECIDE, onde cada letra da palavra é uma etapa a ser realizada no planejamento. A tabela 1 a seguir apresenta o significado de cada letra.
Tabela 1 - Letras da palavra DECIDE com os seus significados.
| Letra | Definição |
|---|---|
| D | Determinar os objetivos da avaliação. |
| E | Explorar perguntas a serem respondidas com a avaliação. |
| C | Escolher os métodos de avaliação a serem utilizados. |
| I | Identificar e administrar as questões práticas da avaliação. |
| D | Decidir como lidar com as questões éticas. |
| E | Avaliar, interpretar e apresentar os dados |
Fonte - BARBOSA e SILVA (2011).
D - Objetivos
Os objetivos desta avaliação é verificar se os artefatos produzidos na análise de tarefas estão em conformidade com os padrões exigidos para esse artefato estão sendo seguidos e se existe algum design alternativo para aplicação. Sendo assim, a avaliação será utilizada para se elicitar ideias e problemas não identificados na produção do artefato de Análise de Tarefas e que deverão ser implementados em uma nova versão do artefato.
E - Explorar Perguntas Respondidas com a Avaliação
Com base no objetivo da avaliação foram preparadas perguntas baseadas nos seguintes tópicos: - verificar a conformidade com um padrão; - comparar ideias e alternativas de design. As perguntas selecionadas tem o intuito de serem respondidas com essa avaliação e foram feitas com base no Captítulo 11 da literatura de Barbosa e Silva (2011, p.266)1 as perguntas selecionadas foram as seguintes:
- Os diagramas HTA's possuem as notações corretas, legendas e a representação em tabela?
- Os diagramas representam tarefas condizentes com as funcionalidades esperadas para o site?
- As entrevistas permitem que sejam realizadas melhorias nas tarefas elucidadas pelo artefato de Análise de Tarefas?
C - Escolher os Métodos de Avaliação
Para a realização da avaliação, utilizar-se-á de uma adaptação dos métodos de investigação, com o uso de entrevistas e observação com usuários com base em um questionário como roteiro.
A escolha se dá pelo fato de ser um método investigativo que permite coletar muitas informações, além de ser flexível permite fazer perguntas que aprofundam ainda mais os objetivos a serem alcançados pelos usuários. Ademais, tal entrevista deve ser estritamente gravada e documentada.
I - Identificar Questões Práticas da Avaliação
Recrutamento
O processo se inicia pelo recrutamento das pessoas entrevistadas, essas pessoas deverão ter as características elucidadas pelo perfil de usuário e pelas personas. O número de entrevistados será correspondente ao número de integrantes no grupo, sendo assim, um total de 6 usuários entrevistados. Essa escolha se dá porque seria aberto para que cada integrante pudesse ter um contato real com usuários e assim coletar perspectivas diversas.
Preparação
Os entrevistadores serão responsáveis por realizar as perguntas presentes no roteiro de perguntas a seguir e realizar as anotações sobre as respostas dos usuários. Essa entrevista deverá envolver alguma das atividades construída no artefato de análise de tarefas. Vale salientar que os papéis de entrevistador podem ser realizados por uma única pessoa ou por uma dupla onde cada um fica responsável por cada atividade (realizar as perguntas e coletar as respostas). O entrevistador deve requisitar do usuário que o mesmo compartilhe tela com o fim de poder realizar o método de observação do usuário.
Custos
A realização das entrevistas não pode gerar custos a equipe e ao usuário, portanto, elas deverão ser feitas de modo online utilizado a seguintes ferramentas:
- Microsoft Teams, Discord e Google Meet;
- Perguntas para serem respondidas com a avaliação;
- Perguntas para serem respondidas na entrevista;
- Termo de Consentimento;
- Teste Piloto;
- Diagrama HTA de cada Tarefa selecionada.
Vale resaltar que os equipamentos necessários serão quaisquer dispositivos com acesso a internet, aos aplicativos de comunicação e a um navegador de internet que os envolvidos possuírem.
Prazos
Em relação aos prazos, as entrevistas estão documentadas na tabela 2, sendo apresentado um cronograma com seus tópicos e logo abaixo a tabela 2 com as entrevistas:
- Entrevistador;
- Entrevistado;
- Horário de início e fim;
- Local e data que ocorreu a entrevista.
As gravações e resultados de cada entrevista podem ser encontrandas AQUI
Tabela 2 - Cronograma da entrevista.
| Entrevistador(es) | Entrevistado(s) | Horário de Início | Horário de Fim | Data | Local |
|---|---|---|---|---|---|
| Gabriel Campello | Arthur Grandão | 16:40 | 16:45 | 27/05/2023 | Plataforma Google Meet |
| Geovanna Maciel | Lucas Maciel | 20:40 | 20:50 | 27/05/2023 | Plataforma Google Meets |
| Douglas Alves | Ana Luiza Nobre | 22:00 | 22:10 | 27/05/2023 | Plataforma Discord |
| Arthur de Melo | João Victor | 22:00 | 22:50 | 27/05/2023 | Plataforma Discord |
| Rafael Ferreira | Marcos | 11:40 | 11:48 | 28/05/2023 | Plataforma Teams |
| Rafael Ferreira | Paulo | 12:30 | 12:38 | 28/05/2023 | Plataforma Teams |
Fonte - Autores
Roteiro de Perguntas
Na entrevista estarão disponíveis capturas de tela para que o usuário possa ver a tarefa da qual o entrevistador estará comentando e a tabela com o seu fluxo. A tabela 3 a seguir mostra o roteiro de perguntas a serem realizadas na entrevista. Essas perguntas foram baseadas nas perguntas a serem repondidas na avaliação.
Tabela 3 - Roteiro de perguntas da entrevista.
| Número | Pergunta | Resposta Possíveis |
|---|---|---|
| 1 | Qual o seu nome? | Resposta Discursiva |
| 2 | Qual seu grau de experiência com tecnologias? | Resposta Discursiva |
| 3 | Você já utilizou algum site de compra de ingressos online? Se sim, quais? | Resposta Discursiva |
| 4 | Como você acessaria seus pedidos? | [ ] Fazer login/cadastro e acessar meu painel [ ] Outro, qual? ⚠️ Informar o usuário para fazer login com a conta padrão caso não tenha. |
| 4.1 | Observando a tarefa Visualizar meus pedidos, a sequência de processos é coerente? Se não, poderia descrever o porquê? | Resposta Discursiva ⚠️ Mostrar a tarefa ao usuário e explicá-la. ❗ Pular para pergunta 12 |
| 5 | Como você compartilharia um evento nas redes sociais? | [ ] Procurar evento, acessar e compartilhar. [ ] Outro, como? |
| 5.1 | Observando a tarefa Compartilhar evento nas redes sociais, a sequência de processos é coerente? Se não, poderia descrever o porquê? | Resposta Discursiva ⚠️ Mostrar a tarefa ao usuário e explicá-la. ❗ Pular para pergunta 12 |
| 6 | Como você cancelaria sua compra? | [ ] Acessar meu painel, meus pedidos e apertar no cancelamento [ ] Outro, como? |
| 6.1 | Observando a tarefa Cancelar compra, a sequência de processos é coerente? Se não, poderia descrever o porquê? | Resposta Discursiva ⚠️ Mostrar a tarefa ao usuário e explicá-la. ❗ Pular para pergunta 12 |
| 7 | Como você faria para buscar um evento? | [ ] Encontrar na tela inicial [ ] Pesquisar na barra de pesquisa [ ] Outro, como? |
| 7.1 | Observando a tarefa Busca de Evento, a sequência de processos é coerente? Se não, poderia descrever o porquê? | Resposta Discursiva ⚠️ Mostrar a tarefa ao usuário e explicá-la. ❗ Pular para a pergunta 10 |
| 8 | Como você faria para acessar a central de ajuda? | [ ] Clicar no botão "Central de Ajuda" e acessar a aba desejada [ ] Outro, como? |
| 8.1 | Observando a tarefa Acessar a Central de Ajuda, a sequência de processos é coerente? Se não, poderia descrever o porquê? | Resposta Discursiva ⚠️ Mostrar a tarefa ao usuário e explicá-la. ❗ Pular para pergunta 11 |
| 9 | Como você realizaria a tarefa de comprar um ingresso? | [ ] Pesquisar evento, selecionar o evento desejado e efetuar pagamento. [ ] Outro, como? |
| 9.1 | Observando a tarefa Comprar ingresso, a sequência de processos é coerente? Se não, poderia descrever o porquê? | Resposta Discursiva ⚠️ Mostrar a tarefa ao usuário e explicá-la. ❗ Pular para pergunta 12 |
| 10 | No diagrama hta de Busca de Evento, o problema apresentado em 2.1 na tabela existe? Você possui alguma sugestão de melhoria? | Resposta Discursiva ❗ Pular para pergunta 12 |
| 11 | No diagrama hta de Acessar a Central de Ajuda, o problema apresentado em 3 existe? Você possui alguma sugestão de melhoria? | Resposta Discursiva ❗ Pular para pergunta 12 |
| 12 | Observada a tarefa, ela é condizente com a realidade? | Resposta Fechada(Sim/Não) |
| 13 | Você teria alguma sugestão de melhoria para o diagrama da tarefa? | Resposta Discursiva |
| 14 | E para a tarefa em si, teria alguma sugestão de melhoria dos processos? | Resposta Discursiva |
Fonte - Geovanna Maciel e Matheus Henrique.
Execução do roteiro
Nota se que as perguntas de 4 a 9.1 deverão ser realizadas de acordo com cada entrevista, se a entrevista é sobre o cancelamento de compra realiza a pergunta 6 e 6.1, por exemplo. As perguntas 10 e 11 deverão ser realizadas pelos entrevistadores responsáveis pela tarefa de Busca de Evento e Acessar a Central de Ajuda respectivamente. No mais, as outras perguntas devem ser realizadas por todos os entrevistadores.
D - Lidando com as Questões Éticas
Será utilizado o termo de consentimento produzido na seção de aspectos éticos, a fim de se obter dos participantes a autorização para que sejam realizadas as atividades necessárias à produção desse artefato e garantir que os participantes sejam respeitados durante e após a atividade.
E - Avaliar, Interpretar e Apresentar os Dados
Após a realização da avaliação, os dados serão documentados e tratados, levando em conta o contexto em que eles foram produzidos, julgando se possuem alto grau de confiabilidade e que podem ser generalizados para representar a população de usuários do site.
O que envolve registrar os problemas, dificuldades durante a interação, podem envolver questões de usabilidade, funcionalidades ausentes e problemas de desempenho. Serão anotadas as descrições dos problemas, sua classificação, sugestões de melhoria, captar o feedback do usuário e ao fim da entrevistas documentar as observações gerais a serem feitas a cerca da entrevista realizada.
Realizada a etapa anteriormente mencionada, os dados serão apresentados ao time de desenvolvimento, procurando com isso obter o máximo de informação relevante para o desenvolvimento do projeto.
Planejamento do Teste Piloto
Segundo Barbosa e Silva (2011, p.276) o objetivo desse teste é avaliar o próprio planejamento, e analisar se a avaliação, tal como planejada, produz os dados necessários para responder a questões e objetivos do estudo. O avaliador deve conduzir o teste-piloto como se fosse uma sessão normal de avaliação. Dessa forma, ele tem oportunidade de verificar se a linguagem nas explicações e nos materiais fornecidos é clara e objetiva, e se esses materiais contêm informações adequadas e suficientes para orientar o participante durante a avaliação.
Dito isso, a execução do teste-piloto será feito no dia 27/05/2023 às 11:30 e contará com a presença dos integrantes Geovanna Maciel e Matheus Henrique.
Resultado do Teste Piloto
Abaixo segue o vídeo feito do teste piloto de acordo com o cronograma citado anteriormente em que o Matheus Henrique fez papel de usuário e Geovanna Maciel de entrevistadora. Nele pode-se notar um erro no diagrama HTA de visualizar pedidos, no mais, o teste mostrou que o questionário pode ser utilizado nas entrevistas.
Fonte: Geovanna Maciel e Matheus Henrique.
Bibliografia
RIBEIRO, Clara; SANTANA, Natan Tavares. Planejamento da avaliação da Análise de tarefas. Repositório do Grupo Agência Virtual Neoenergia Brasília da disciplina de Interação Humano Computador da Universidade de Brasília, 2022. Disponível em: <https://interacao-humano-computador.github.io/2022.1-AgenciaVirtualNeoenergia/design%2C_avalia%C3%A7%C3%A3o%2C_desenvolvimento/n%C3%ADvel%201/an%C3%A1lise_de_tarefas/planejamento_tarefas/>. Acesso em: 17 maio 2023.
GABRIEL, Lucas; SOUZA, Nicolas. Planejamento da avaliação da Análise de tarefas. Repositório do Grupo Lichess da disciplina de Interação Humano Computador da Universidade de Brasília, 2022. Disponível em: <https://interacao-humano-computador.github.io/2022.2-Lichess/design_avaliacao_desenvolvimento/nivel_1/analise_tarefas/planejamento_avaliacao/>. Acesso em: 17 maio 2023.
FERNANDES, Pedro Lucas Siqueira; TAYLOR, Arthur; VAS, João Lucas. Planejamento da Avaliação de Análise de Tarefas. Repositório do Grupo Simples Nacional da disciplina de Interação Humano Computador da Universidade de Brasília, 2022. Disponível em: <https://interacao-humano-computador.github.io/2022.2-SimplesNacional/DesignAvaliacaoDesen/Nivel1/AnaliseDeTarefas/PlanejamentoAvAnaliseDeTarefas/>. Acesso em: 19 maio 2023.
EDUARDA, Maria. Planejamento da Avaliação da Análise de tarefas. Repositório do Grupo Millenium Papelaria e Presentes da disciplina de Interação Humano Computador da Universidade de Brasília, 2022. Disponível em: <https://interacao-humano-computador.github.io/2022.1-Millenium-Papelaria/DesignAvaliacaoDesenvolvimento/nivel1/planejamentoAvaliacaoAnalisedeTarefas/>. Acesso em: 19 maio 2023.
Estruturado a partir do Planejamento da Avaliação da Análise de Tarefas. Disponível em: <https://interacao-humano-computador.github.io/2023.1-BilheteriaDigital/design-avaliacao-desenvolvimento/nivel-1/analise-de-tarefas-dad/planejamento-avaliavao-at/>.Acesso em 18 de junho de 2023.
Referências Bibliográficas
1. BARBOSA, S. D. J.; SILVA, B. S. Interação Humano-Computador. Rio de Janeiro: Elsevier, 2011.
Histórico de Versões
| Versão | Data | Descrição | Autor(es) | Revisor(es) |
|---|---|---|---|---|
1.0 |
19/05/2023 | Criação da página com textos introdutórios. | Matheus Henrique | Geovanna Maciel |
1.1 |
20/05/2023 | Adicionado a metodologia e questões práticas. | Matheus Henrique | Geovanna Maciel |
1.2 |
21/05/2023 | Adicionado teste piloto, estões da entrevistas e complementando alguns textos. | Geovanna Maciel | Matheus Henrique |
2.0 |
18/06/2023 | Padronização do planejamento conforme a verificação realizada no artefato | Rafael Ferreira | Arthur de Melo |