Planejamento da Avaliação da Análise de Tarefas
Introdução
A avaliação é uma etapa fundamental para garantir que o processo de desenvolvimento resulte em um sistema de alta qualidade. Com o objetivo de identificar e corrigir possíveis problemas na análise de tarefas realizada, será conduzida uma avaliação detalhada desse artefato. Para promover uma interação autêntica com os usuários do Passe Livre Estudantil, serão realizadas entrevistas com pessoas que utilizam o produto, com base nos perfis de uso levantados . Dessa forma, será possível compreender suas perspectivas de maneira mais dinâmica e assertiva.
Metodologia
Para que seja posssível realizar o planejamento, utilizaremos o framework DECIDE, que é um acrônimo originário da língua inglesa para o seguinte significado:
Tabela 1 - Explicação do acrônimo D.E.C.I.D.E.
| Etapa | Descrição |
|---|---|
| Determine (Determinar) | Determinar as metas da avaliação |
| Explore (Explorar) | Explorar as questões a serem respondidas com a avaliação |
| Choose (Escolher) | Escolher os métodos e as técnicas a serem utilizadas na avaliação |
| Identify (Identificar) | Identificar questões práticas a serem abordadas na avaliação |
| Decide (Decidir) | Decidir como lidar com as questões éticas envolvidas ao realizar a avaliação |
| Evaluate (Avaliar) | Avaliar, interpretar e apresentar os dados coletados |
Fonte - BARBOSA e SILVA (2011).
Planejamento
Nos tópicos abaixo será explicado como cada passo do Framework foi utilizado
Determinar
Esta avaliação tem como propósito verificar se os artefatos gerados na análise de tarefas estão alinhados aos padrões exigidos e identificar possíveis alternativas de design para a aplicação. Além disso, a avaliação buscará levantar ideias e apontar problemas que possam ter sido omitidos durante a elaboração do artefato de análise de tarefas, visando sua correção e melhoria em uma versão futura.
Explorar
Após determinar o propósito da avaliação, foi realizada a confecção de perguntas com base nos seguintes pontos:
• Ideias e alternativas de design;
• Problemas na interação e na interface
Pontos esses que foram feitos com base no Captítulo 11 da literatura de Barbosa e Silva (2011, p.266), as perguntas realizadas foram as seguintes:
• Os diagramas GOMS utilizam notações adequadas e possuem uma representação clara das etapas em cada cenário?
• Os cenários mapeados no GOMS refletem as tarefas esperadas para o uso do Passe Livre Estudantil?
• As entrevistas realizadas auxiliam na identificação de melhorias para os cenários elucidados pelo GOMS?
Escolher
Para realizar a avaliação, será utilizado uma adaptação da técnica de investigação juntamente com o uso de entrevistas e questionários, devido a flexibilidade na coleta de informações.
Identificar
Recrutamento
O recrutamento dos usuários será flexibilizado ao entrevistador em questão, e a escolha de cada um deve ter como base o Perfil de Usuário já levantado pelo questionário. Quanto ao local, que também será flexível, as reuniões podem ser presenciais ou online. Cada integrante do grupo ficou responsável pela criação de uma análise de tarefas, tem-se um total de quatro análises. Sendo assim, como cada avaliação será feita de maneira individual para cada análise, serão necessários 4 usuários.
Preparação
Os entrevistadores serão responsáveis por conduzir a entrevista utilizando o roteiro de perguntas fornecido e registrar as respostas dos participantes. Durante a entrevista, é essencial incluir uma das atividades descritas no artefato de Análise de Tarefas. O papel de entrevistador pode ser desempenhado por uma única pessoa ou por uma dupla, na qual uma pessoa faz as perguntas enquanto a outra registra as respostas. Além disso, o entrevistador deve solicitar ao participante que compartilhe sua tela, permitindo a aplicação do método de observação direta durante a interação.
Custos
As entrevistas devem ser realizadas sem gerar custos para a equipe ou os usuários. Elas podem ser conduzidas de forma online ou presencial, dependendo das possibilidades e preferências das partes envolvidas.
Ferramentas para entrevistas online:
- Diagramas GOMS
- Plataformas de comunicação: Microsoft Teams, Discord ou Google Meet.
- Roteiro de perguntas: contendo perguntas para serem respondidas durante a avaliação e entrevista.
- Termo de consentimento: assegurando a ética do processo.
- Teste piloto: para garantir o funcionamento adequado da metodologia antes da execução final.
Equipamentos necessários para entrevistas:
- Online: qualquer dispositivo com acesso à internet, aplicativos de comunicação e um navegador.
- Presencial: um espaço adequado para a entrevista, com dispositivos disponíveis para a realização das atividades necessárias, como computadores ou tablets, se aplicável.
A escolha entre o formato presencial ou online deve levar em conta a conveniência e disponibilidade dos participantes e da equipe.
Prazos
Em relação aos prazos, as entrevistas estão documentadas na tabela 2, sendo apresentado um cronograma com seus tópicos e logo abaixo a tabela 2 com as entrevistas:
- Entrevistador;
- Entrevistado;
- Horário de início e fim;
- Local e data que ocorreu a entrevista.
Tabela 2 - Cronograma da Entrevista
| Entrevistador(es) | Entrevistado(s) | Horário de Início | Horário de Fim | Data | Local |
|---|---|---|---|---|---|
| Breno Lucena | Emily | 11:00 | 11:30 | 11/12/2024 | Teams |
| Breno Soares | Maria Clara | 16:00 | 16:30 | 13/12/2024 | Teams |
| Felipe Verrissimo | Samuel Santos | 20:00 | 20:30 | 11/12/2024 | Teams |
| Mateus Vieira | Yasmim Oliveira Rosa | 21:00 | 21:30 | 13/12/2024 | Teams |
Fonte: Breno Lucena
Roteiro de Perguntas
Durante a entrevista, serão apresentadas capturas de tela para que o usuário visualize a tarefa mencionada pelo entrevistador, assim como a tabela com seu fluxo. O roteiro de perguntas, mostrado na Tabela 3, foi elaborado com base nas questões a serem respondidas na avaliação.
Tabela 3 - Roteiro de Perguntas
| ID | Enunciado | Resposta |
|---|---|---|
| 1 | As tarefas apresentadas estão condizente com o título? | ( ) SIM ( ) NÃO |
| 2 | O ambiente em que ocorre a tarefa é condizente com a realidade? | ( ) SIM ( ) NÃO |
| 3 | A tarefa apresenta os principais aspectos da realização daquela tarefa? | ( ) SIM ( ) NÃO |
| 4 | As ações realizadas no tarefa seguem uma ordem sequencial, fluida e lógica? | ( ) SIM ( ) NÃO |
| 5 | A motivação do usuário para utilizar a aplicação do Passe Livre fica clara no tarefa? | ( ) SIM ( ) NÃO |
| 6 | Você considera que o ator principal completou seu objetivo na história contada pelo tarefa? | ( ) SIM ( ) NÃO |
Decidir
As questões éticas consideradas nesta avaliação incluem a utilização de um termo de consentimento, elaborado conforme os princípios descritos pelo Conselho Nacional de Saúde. Esses princípios abrangem:
- Autonomia: garantir que os participantes tenham liberdade para decidir sua participação e sejam devidamente informados sobre o processo.
- Beneficência: assegurar que os resultados do estudo tragam benefícios aos participantes e à sociedade.
- Não-maleficência: evitar qualquer tipo de dano ou prejuízo aos envolvidos.
- Justiça e equidade: promover um tratamento justo e igualitário para todos os participantes.
- Esses aspectos éticos foram definidos pelo grupo no contexto da disciplina e visam assegurar a integridade e a ética durante a realização da avaliação.
Avaliar
Após a conclusão da avaliação, os dados coletados serão documentados e analisados, considerando o contexto em que foram produzidos. O objetivo é determinar sua confiabilidade e verificar se podem ser generalizados para representar a população de usuários do site.
Esse processo inclui:
- Registrar os problemas e dificuldades observados durante a interação, como questões de usabilidade, funcionalidades ausentes ou problemas de desempenho.
- Descrever e classificar os problemas identificados.
- Propor sugestões de melhoria com base nas observações.
- Captar o feedback dos usuários de forma detalhada.
- Documentar observações gerais sobre a entrevista, incluindo anotações adicionais relevantes.
Após essa análise, os dados serão apresentados ao time de desenvolvimento, buscando fornecer o máximo de informações úteis e relevantes para orientar o progresso do projeto.
Planejamento do Teste Piloto
O objetivo do teste piloto é avaliar o planejamento da avaliação e verificar se ele gera os dados necessários para responder às questões e objetivos do estudo. O avaliador deve conduzir o teste piloto de forma similar a uma sessão normal de avaliação, permitindo assim a verificação da clareza e objetividade da linguagem utilizada nas explicações e nos materiais fornecidos. Além disso, é importante confirmar se esses materiais contêm informações adequadas e suficientes para orientar o participante durante a avaliação.
Dito isso, a execução do teste-piloto será feito no dia 10/12/2024 às 21:00 e com a presença dos integrantes Mateus Vieira e Felipe Santos.
Resultado do Teste Piloto
A seguir, está o vídeo do teste piloto realizado conforme o cronograma mencionado anteriormente, no qual Mateus Vieira atuou como usuário e Felipe Santos como entrevistador. Durante o teste, foram apresentados o termo de consentimento, o questionário com as perguntas a serem feitas, as análises de tarefa e os cenários nos quais as análises de tarefa foram baseados.
Bibliografia
BARBOSA, S. D. J.; SILVA, B. S. Interação Humano-Computador. Rio de Janeiro: Elsevier, 2011.
Histórico de Versões
| Data | Data Prevista de Revisão | Versão | Descrição | Autor | Revisor |
|---|---|---|---|---|---|
| 06/12/2024 | 07/12/2024 | 1.0 | Criação da página | Mateus Vieira | Breno Lucena |
| 09/12/2024 | 09/12/2024 | 1.1 | Adição do Planejamento | Mateus Vieira | Breno Fernandes |