Planejamento da Avaliação da Análise de Tarefas
Introdução
A avaliação é uma etapa crucial para entender e melhorar a interação entre os usuários e os sistemas computacionais. A ideia do planejamento é envolver uma série de etapas detalhadas visando que a avaliação seja ampla e absoluta. Primeiro, é essencial definir os objetivos da avaliação, identificar as tarefas críticas e as questões que são necessárias serem respondidas. Logo após, os métodos de avaliação apropriados,
Objetivo
O objetivo deste documento é relatar o planejamento da avaliação da análise de tarefas.
Metodologia
O framework DECIDE orienta a estruturação do processo de avaliação. Ele ajuda a definir os objetivos, determinar perguntas específicas da pesquisa, selecionar métodos de coletas de dados, considerar questões éticas e arquitetar a análise de dados coletados.
Tabela 1: Significado do Framework DECIDE.
| Letra | |
|---|---|
| D | Determinar os objetivos da avaliação. |
| E | Explorar perguntas a serem feitas. |
| C | Escolher os métodos de avaliação mais apropriados. |
| I | Identificar questões práticas, incluindo recrutamento de participantes. |
| D | Decidir como lidar com questões éticas, garantindo que os participantes sejam tratados com respeito. |
| E | Avaliar, analisar e apresentar os dados coletados. |
D - Determinar os objetivos
A tabela 2 descreve os objetivos desta avaliação.
Tabela 2: objetivos da avaliação
| Número | Objetivos |
|---|---|
| 1 | Verificar a adequação e fidelidade do alcance dos objetivos dos usuários em relação à realidade do contexto de uso do sistema. |
| 2 | Elaborar e validar uma versão final que seja clara, coesa, atraente e alinhada com os objetivos do projeto. |
| 3 | Analisar a correspondência das tarefas representadas nos storyboards. |
| 4 | Comparar os storyboards com a realidade do contexto de uso. |
| 5 | Identificar e implementar as modificações necessárias nos storyboards. |
E - Explorar perguntas
De acordo com o objetivo da avaliação, as perguntas foram designadas de acordo com os seguintes itens, serão feitas após a coleta de dados.
- Os diagramas GOM'S estão utilizando as notações corretas, legendas adequadas e a representação em tabela?
- Os diagramas representam de forma precisa as tarefas esperadas para as funcionalidades do site?
- As entrevistas fornecem informações que possibilitam melhorias nas tarefas identificadas pelo artefato de Análise de Tarefas?
C - Escolher os métodos
O método escolhido foi o de investigação, esse meio é feito por questionários e assim permite o avaliador explorar visões, pensamentos, previsões e interações do usuário com sistemas interativos, compreendendo suas concepções, opniões e comportamentos. Isso inclui investigar porríveis problemas de design, desafios enfrentados pelos usuários, sua adaptação à tecnologia existente e suas expectativas em relação a futuras interações com tecnologias atuais.
I - Idenficar questões práticas
Nesse parte do processo, contém 5 etapas, sendo elas;
1. Recrutamento
No recrutamento, os usuários entrevistados devem ser de acordo com o perfil definido no Perfil dos Usuários, de forma arbitrária, os avaliadores devem escolher se será presencial ou online desde que seja gravada e documentada. Como temos 6 integrantes no grupo, teremos 1 entrevistado para cada avaliador.
2. Preparação
Na preparação, cada integrante da equipe tem um artefato a ser trabalhado, então as perguntas devem ser com base na sua tarefa. A atividade deve ser construida com base na analise de tarefa realizada na entrega anterior.
3. Custos
Visando em não gerar custos para a aquipe, vamos optar por fazer a entrevista de forma online em uma plataforma que seja gratuita, o teams.
4. Prazos
A seguir o cronograma de como será documentada.
Tabela 3: Cronograma.
| Funcionalidade | Integrante Responsável | Data da Entrevista | Local | Horário | Entrevistado | Relator | Data do Relato |
|---|---|---|---|---|---|---|---|
| Pesquisar Procurados | Lara | 28/05/2024 | Presencial | 16:00-16:10 | Nicolas | Lara | 29/05/2024 |
| Solicitar Antecedentes Criminais | Renata | 27/05/2024 | Casa da Entrevistadora | 12:00-12:10 | Luísa Ataídes | Giovana | 29/05/2024 |
| 197- Denúncia Online | Giovana | 27/05/2024 | Casa da Entrevistadora | 16:00-16:10 | Débora | Giovana | 29/05/2024 |
| Solicitar Carteira de Identidade | Raissa | 28/05/2024 | Ministério | 13:20-13:30 | Júlio | Rayene | 29/05/2024 |
| Registrar Ocorrência | Rayene | 28/05/2024 | FGA | 10:07-10:17 | Victor Moreira | Rayene | 29/05/2024 |
| Retrato Falado Online | Renata | 29/05/2024 | Casa da Entrevistadora | 14:10 a 14:20 | Heder Cardoso | Giovana | 29/05/2024 |
A seguir, na Tabela 4, o roteiro das perguntas.
Tabela 4: Roteiro de perguntas
| Numero | Pergunta | Resposta |
|---|---|---|
| 1. | Qual é seu nome? | Questão aberta |
| 2. | Qual seu grau de experiência com tecnologias? | |
| 3. | Você já utilizou o site da PCDF? | |
| 4. | Você acha essa funcionalidade importante? | |
| 5. | Se a 4 for sim, por que você utilizaria essa funcionalidade? | |
| 6. | O diagrama de tarefas corresponde de maneira precisa às suas expectativas sobre como o processo deve ser conduzido? | |
| 7. | Tem alguma parte que ficou confusa? | |
| 8. | Se você pudesse mudar? O que mudaria no processo de tarefas? | |
| 9. | De acordo com o diagrama, você o considera demorado de realizar as ações? | |
| 10. | Sugestões de melhorias? |
D - Decidir questões éticas
Garantir questões éticas na avaliação é fundamental. Para afirmar o respeito e proteção dos participantes em Aspectos Éticos temos as diretrizes de como prosseguir a pesquisa. Os participantes devem visualizar e conscientizar sobre todos os detalhes da pesquisa pelo no termo de consetimento que se encontra na mesma aba de Aspectos Éticos.
E - Avaliar, analisar e apresentar os dados
Após todo o processo passado por cada etapa, chegamos na parte de avaliar, analisar e apresentar os dados, é trivial que o examinador esteja atento a diversos aspectos de toda avaliação antes de tirar qualquer conclusão e divulgar os resultados. Deve-se verificar a validade interna do estudo, garantindo que o método de avaliação meça com precisão o que se propõe a medir, evitando distorções nos dados. A validade externa também é crucial, avaliando em que medida os resultados podem ser generalizados ou aplicados a outros contextos similares. Por fim, a validade ecológica do estudo deve ser analisada, considerando o quão semelhantes são os materiais, métodos e ambiente de estudo à situação real investigada.
Teste piloto
Antes da entrevista principal com os usuários, dois avaliadores conduzirão um teste piloto. Esse teste tem como propósito simular uma sessão de avaliação para garantir o funcionamento correto de todas as ferramentas planejadas, verificar a eficácia do planejamento e determinar se a avaliação pode fornecer os dados necessários para o estudo. Além disso, o teste piloto permitirá avaliar a clareza e a objetividade da linguagem usada na entrevista, garantindo que as perguntas sejam compreendidas de forma adequada pelos participantes.
O teste piloto foi realizado no dia 18/05/2024, pela parte da manhã.
| Data | Local | Horário | Responsável |
|---|---|---|---|
| 20/05/2024 | Microsoft Teams | 11:30 am | Renata Quadros |
Resultado do Teste piloto
Aqui encontra se o video que foi realizado do teste piloto seguindo o cronograma proposto. O teste piloto nos ajudará a identificar quaisquer inconsistências no roteiro da entrevista, permitindo-nos corrigir quaisquer erros antes da condução das entrevistas reais. Segundo Barbosa e Silva (2010) o objetivo desse teste é avaliar o próprio planejamento. Ele foi realizado pela integrante Renata Quadros
Confira o resultado do teste piloto
Referências Bibliográficas
BARBOSA, S.D.J.; SILVA, B.S. Interação Humano-Computador. Editora Campus-Elsevier, 2010.
Planejamento de Avaliação - Bilheteria Digital. Disponível em: https://interacao-humano-computador.github.io/2023.1-BilheteriaDigital/apresentacao/apresentacao1/. Acesso em 16 de Maio de 2024
Histórico de Versões
| Versão | Descrição | Autor(es) | Data | Revisor(es) | Data de revisão |
|---|---|---|---|---|---|
| 1.0 | Planejamento de avaliação | Raissa Andrade | 16/05 | Giovana Barbosa, Renata Quadros | 16/05 |
| 1.1 | Resultado do Teste piloto e Adição de fontes | Raissa Andrade | 18/05 | Rayene Almeida, Renata Quadros | 19/05 |
| 1.2 | Correções | Raissa Andrade | 24/05 | Giovana Barbosa, Renata Quadros, Rayene Almeida | 26/05 |
| 1.3 | Correções | Renata Quadros | 07/07 | Giovana Barbosa | 07/07 |