Planejamento da Avaliação
Introdução
Este documento apresenta o planejamento conduzir uma avaliação dos protótipos de papel elaborados pelo grupo, visando coletar feedback dos usuários, identificar áreas de melhoria e validar as decisões de design. Ao estabelecer métodos claros e objetivos específicos, busca-se garantir que a avaliação seja conduzida de maneira eficiente e que os resultados obtidos orientem o desenvolvimento do produto de forma assertiva.
Metodologia
Para a avaliação dos protótipos de papel, será utilizado o framework DECIDE, elaborado por Preece et al. (2002) para orientar o planejamento, a execução e a análise de uma avaliação de IHC. Esse framework abrange as seguintes etapas:
- D Definir os objetivos da avaliação;
- E Explorar as perguntas a serem respondidas;
- C (Choose) Escolher os métodos de avaliação;
- I Identificar questões práticas;
- D Decidir como lidar com questões éticas;
- E (Evaluate) Avaliar os dados.
D - Definir
O foco da avaliação dos protótipos de papel será em explorar a eficácia da interação usuário-protótipo e avaliar a usabilidade da interface proposta. A identificação de problemas potenciais permitirá gerar ideias para refinamento e aprimoramento do design, visando garantir uma experiência satisfatória e intuitiva para os usuários finais. Os objetivos selecionados foram:
- Analisar apropriação da tecnologia
- Comparar ideias alternativas de design
- Identificar problemas na interação e interface
E - Explorar
Os avaliadores devem elaborar perguntas específicas para cada objetivo, que deverão ser respondidas durante a avaliação. De acordo com os objetivos citados no tópico anterior, usadas as perguntas propostas por Barbosa e Silva (2021, p. 266), que estão presentes na Tabela 1.
Tabela 1 - Tabela de Planejamento para realização das entrevistas do protótipo de papel.
| ID | Pergunta | Objetivo Relacionado |
|---|---|---|
| 1 | De que maneira os usuários utilizam o sistema? Em que difere do planejado? | Analisar apropriação da tecnologia |
| 2 | Quais são os pontos fortes e fracos do sistema, na opinião dos usuários? | Analisar apropriação da tecnologia |
| 3 | Caso tenha sido identificado alternativas de design, qual delas alternativas é a mais eficiente? Mais fácil de aprender? | Comparar ideias alternativas de design |
| 4 | Qual delas os usuários preferem? Por quê? | Comparar ideias alternativas de design |
| 5 | O usuário consegue operar o sistema? | Identificar problemas na interação e interface |
| 6 | Ele atinge seu objetivo? Com quanta eficiência? Em quanto tempo? Após cometer quantos erros? | Identificar problemas na interação e interface |
| 7 | Que parte da interface e da interação o deixa insatisfeito? | Identificar problemas na interação e interface |
| 8 | Ele entende o que significa e para que serve cada elemento de interface? | Identificar problemas na interação e interface |
| 9 | Que problemas de IHC dificultam ou impedem o usuário de alcançar seus objetivos? | Identificar problemas na interação e interface |
| 10 | Onde esses problemas se manifestam? Com que frequência tendem a ocorrer? Qual é a gravidade desses problemas? | Identificar problemas na interação e interface |
Fonte: Gabriel F. J. Silva, 2024
C - Escolher
O método de avaliação que será utilizado será o de observação por meio do protótipo de papel, com um questionário pré-teste, Tabela 3, para identificar aspectos do participante que podem influenciar na avaliação e um questionário pós-teste, Tabela 4, para coletar feedbacks. Durante as reuniões, o entrevistador irá observar o participante interagir com o protótipo de papel e a partir dessa observação, irá fazer anotações sobre os problemas e as sugestões de melhora para o protópico sendo avaliado. A sessão deverá seguir o roteiro da Tabela 1.
I - Identificar
Recrutamento
Para selecionar as pessoas que irão ser chamadas para as sessões teste, será levado em conta o perfil de usuário elaborado pelo grupo, de forma que as pessoas se encaixem nesse perfil. Será necessário também que todos os participantes estejam cientes e tenham aceitado o termo de consentimento, para que a entrevista esteja de acordo com os aspectos éticos.
Preparação e uso de equipamentos necessários
Haverá um total de 6 sessões presenciais, cada uma contará com um participante voluntário, um avaliador para simular a execução do sistema, que ele próprio desenvolveu, e outro avaliador para observar a experiência de uso do protótipo de papel. Os avaliadores que guiarem as sessões poderão realizar pequenos ajustes no protótipo a fim de solucionar problemas de usabilidade encontradas na hora.
Equipamentos e materiais para a entrevista:
- Protótipo de papel pronto para validação
- Câmera
- Roteiro da sessão
- 2 vias impressas do Termo de consentimento (uma para ficar com o avaliador e outra com o participante)
- Questionário pré-teste
- Questionário pós-teste
Custos:
- R$ 6,00 para impressão dos termos de consentimento;
Roteiro da sessão
Tabela 2 - Roteiro para a realização da sessão de observação.
| Ordem | Atividade |
|---|---|
| 1 | Apresentar Termo de consentimento |
| 2 | Apresentação do ambiente de teste |
| 3 | Explicação dos objetivos do estudo, desenvolvimento da avaliação e cuidados éticos |
| 4 | Realização do questionário pré-teste |
| 5 | Observação e gravação da sessão com o protótipo de papel |
| 6 | Gravação da entrevista pós-teste |
Fonte: Gabriel F. J. Silva, 2024
Questionário pré-teste
Tabela 3 - Perguntas do questionário pré-teste.
| ID | Pergunta |
|---|---|
| 1 | Qual o seu nome completo? |
| 2 | Qual a sua idade? |
| 3 | Qual a sua ocupação? |
| 4 | Você descreveria seu grau de experiência e facilidade em utilizar artefatos tecnologicos em "Muito boa", "Boa", "Média", "Ruim", "Muito ruim" |
Fonte: Gabriel F. J. Silva, 2024
Questionário pós-teste
Tabela 4 - Perguntas do questionário pós-teste.
| ID | Pergunta | Objetivo Relacionado |
|---|---|---|
| 2 | Na sua opnião, quais são os pontos fortes e fracos do sistema? | Analisar apropriação da tecnologia |
| 3 | (Caso tenham sido identificadas) Sobre as alternativas de design, qual delas você acha que é a mais eficiente? E a mais fácil de aprender? | Comparar ideias alternativas de design |
| 4 | Qual delas você prefere? Por quê? | Comparar ideias alternativas de design |
| 7 | Alguma parte da interface e da interação o deixa insatisfeito? | Identificar problemas na interação e interface |
| 8 | Você entende o que significa e para que serve cada elemento de interface? | Identificar problemas na interação e interface |
Fonte: Gabriel F. J. Silva, 2024
Prazos
Abaixo, na tabela 1, estão descritas as informações sobre o planejamento das entrevistas.
Tabela 1 - Tabela de Planejamento para realização das entrevistas do protótipo de papel.
| Tarefa | Entrevistador | Entrevistado | Horário | Data | Local |
|---|---|---|---|---|---|
| Calcular preços e prazos de entrega | Cláudio | Renato Medeiros | 10:00 - 10:30 | 07/06/2024 | UnB-FGA |
| Realizar compras na loja online | Elias | Heitor | 10:40 - 11:10 | 07/06/2024 | UnB-FGA |
| Recebimento de encomendas | Gabriel B. Bertolazi | Gabriel Bevilaqua | 11:20 - 11:50 | 07/06/2024 | UnB-FGA |
| Realizar pré-postagem | Gabriel F. J. Silva | Patrício Reittler | 12:00 - 12:30 | 07/06/2024 | UnB-FGA |
| Gerenciar minhas importações | Pablo | Matheus | 14:00 - 14:30 | 07/06/2024 | UnB-FGA |
| Rastrear encomendas | Ricardo | Johnny Lopes | 14:40 - 15:10 | 07/06/2024 | UnB-FGA |
Fonte: Gabriel B. Bertolazi, 2024.
D - Decidir
Serão levados em consideração os princípios éticos estabelecidos no documento Aspectos Éticos, junto ao termo de consentimento, elaborado no mesmo artefato, para as atividades necessárias à validação do protótipo de papel por meio das entrevistas.
E - Avaliar
Após a coleta de dados, os resultados serão analisados para identificar padrões e tendências nas respostas dos participantes, fornecendo insights sobre problemas nos protótipos e sugestões de melhorias.
Será avaliada também a confiabilidade dos dados e a validade externa do estudo, verificando se os resultados representam os usuários reais do site e podem ser generalizados além da amostra analisada.
Os resultados serão apresentados mais tarde em um relatório detalhado, incluindo análise, recomendações de melhorias e conclusões relevantes para o avanço do projeto proposto pelo grupo.
Teste piloto
Antes de mergulharmos nas entrevistas com os usuários, um passo crucial nos aguarda: o teste piloto. Essa etapa meticulosa visa simular uma sessão de avaliação real, garantindo que tudo esteja funcionando perfeitamente para a coleta de dados valiosos.
Verificaremos se todas as ferramentas estão funcionando adequadamente, evitando surpresas durante as entrevistas reais. Analisaremos a eficácia do nosso planejamento, ajustando-o para garantir um fluxo suave e eficiente durante as avaliações. Asseguraremos que a avaliação forneça os dados precisos e relevantes para o nosso estudo, respondendo às nossas perguntas e objetivos. Avaliaremos a clareza e a objetividade da linguagem utilizada nas entrevistas, certificando-nos de que as perguntas sejam compreendidas de maneira inequívoca pelos participantes. Conforme Barbosa e Silva (2021, p. 276), o teste piloto vai além de um simples teste de ferramentas. Ele nos permite avaliar o próprio planejamento, garantindo que a avaliação produza os dados necessários para alcançarmos os objetivos do estudo.Durante o teste piloto, os avaliadores conduzirão uma simulação completa de uma sessão de avaliação, incluindo explicações, materiais e interação com os participantes. O cronograma passar essa etapa encontrase na Tabela 2 abaixo.
Tabela 5 - Planejamento do Teste Piloto.
| Data | Horário de início e fim | Local | Avaliadores |
|---|---|---|---|
| 05/06/2024 | 12:00 - 14:00 | FGA - UnB | Gabriel B. Bertolazi e Ricardo |
Fonte: Gabriel B. Bertolazi, 2024.
Gravação do teste piloto
A mudança dos participantes do Teste Piloto foi necessária, pois é uma recomendação da bibliografia1 que o participante não deve ter sido envolvido no planejamento e na preparação da avaliação. Assim, o cronograma executado do teste piloto está na tabela 6, seguido do vídeo da gravação.
Tabela 6 - Cronograma Executado do Teste Piloto.
| Data | Horário de início e fim | Local | Avaliadores |
|---|---|---|---|
| 18/06/2024 | 12:30 - 12:40 | FGA - UnB | Gabriel F. J. Silva, Claudio Henrique e Elias Faria |
Fonte: Gabriel F. J. Silva e Claudio Henrique, 2024.
Vídeo 1: Gravação do Teste Piloto da Avaliação do Protótipo de Papel
Fonte: Gabriel F. J. Silva e Claudio Henrique, 2024.
Bibliografia
1. Barbosa, S. D. J.; Silva, B. S. da; Silveira, M. S.; Gasparini, I.; Darin, T.; Barbosa, G. D. J. (2021) Interação Humano-Computador e Experiência do usuário. Autopublicação. ISBN: 978-65-00-19677-1.
Histórico de Versões
| Versão | Data | Descrição | Autor(es) | Revisor(es) |
|---|---|---|---|---|
1.0 |
02/06/2024 | Criação do documento | Ricardo Augusto, Gabriel Basto | Elias Oliveira |
1.1 |
13/06/2024 | Complementação dos tópicos "D", "E", "C" e "I" | Gabriel F. J. Silva | Claudio Henrique |
1.2 |
18/06/2024 | Adicionando a gravação do Teste Piloto | Claudio Henrique | Gabriel F. J. Silva |