Planejamento da Avaliação
Introdução
Este documento tem como objetivo apresentar a forma como se dará a avaliação do protótipo de alta fidelidade, que é necessário para verificar o design e as funcionalidades já alteradas com base nas constatações que o grupo obteve nas etapas anteriores, como o protótipo de papel.
Metodologia
Para a avaliação dos protótipos de alta fidelidade, será utilizado o framework DECIDE, elaborado por Preece et al. (2002) para orientar o planejamento, a execução e a análise de uma avaliação de IHC. Esse framework abrange as seguintes etapas:
- D Definir os objetivos da avaliação;
- E Explorar as perguntas a serem respondidas;
- C (Choose) Escolher os métodos de avaliação;
- I Identificar questões práticas;
- D Decidir como lidar com questões éticas;
- E (Evaluate) Avaliar os dados.
D - Definir
O foco da avaliação dos protótipos de alta fidelidade será em explorar a eficácia da interação usuário-protótipo e avaliar a usabilidade da interface proposta. A identificação de problemas potenciais permitirá gerar ideias para refinamento e aprimoramento do design, visando garantir uma experiência satisfatória e intuitiva para os usuários finais. Os objetivos selecionados foram:
- Analisar apropriação da tecnologia
- Comparar ideias alternativas de design
- Identificar problemas na interação e interface
E - Explorar
Os avaliadores devem elaborar perguntas específicas para cada objetivo, que deverão ser respondidas durante a avaliação. De acordo com os objetivos citados no tópico anterior, usadas as perguntas propostas por Barbosa e Silva (2021, p. 266), que estão presentes na Tabela 1.
Tabela 1 - Tabela de Planejamento para realização das entrevistas do protótipo de alta fidelidade.
| ID | Pergunta | Objetivo Relacionado |
|---|---|---|
| 1 | De que maneira os usuários utilizam o sistema? Em que difere do planejado? | Analisar apropriação da tecnologia |
| 2 | Quais são os pontos fortes e fracos do sistema, na opinião dos usuários? | Analisar apropriação da tecnologia |
| 3 | Caso tenha sido identificado alternativas de design, qual delas alternativas é a mais eficiente? Mais fácil de aprender? | Comparar ideias alternativas de design |
| 4 | Qual delas os usuários preferem? Por quê? | Comparar ideias alternativas de design |
| 5 | O usuário consegue operar o sistema? | Identificar problemas na interação e interface |
| 6 | Ele atinge seu objetivo? Com quanta eficiência? Em quanto tempo? Após cometer quantos erros? | Identificar problemas na interação e interface |
| 7 | Que parte da interface e da interação o deixa insatisfeito? | Identificar problemas na interação e interface |
| 8 | Ele entende o que significa e para que serve cada elemento de interface? | Identificar problemas na interação e interface |
| 9 | Que problemas de IHC dificultam ou impedem o usuário de alcançar seus objetivos? | Identificar problemas na interação e interface |
| 10 | Onde esses problemas se manifestam? Com que frequência tendem a ocorrer? Qual é a gravidade desses problemas? | Identificar problemas na interação e interface |
Fonte: Gabriel F. J. Silva, 2024
C - Escolher
O método de avaliação que será utilizado será o de teste de usabilidade através do protótipo de alta fidelidade, com um questionário para o usuário e um para ser respondido com base nas ações do usuário ao utilizar e avaliar o protótipo, nas Tabelas 3 e 4 respectivamente, para identificar as impressões e opiniões que o usuário obteve ao utilizar o protótipo e também se a utilização do protótipo pelo participante se dá de maneira correta cumprindo com os objetivos propostos.
I - Identificar
Recrutamento
Para selecionar as pessoas que irão ser chamadas para as sessões teste, será levado em conta o perfil de usuário elaborado pelo grupo, de forma que as pessoas se encaixem nesse perfil. Será necessário também que todos os participantes estejam cientes e tenham aceitado o termo de consentimento, para que a entrevista esteja de acordo com os aspectos éticos. A Quantidade de participantes a realizarem o teste de usabilidade do protótipo serão três, escolhemos esse número de usuários levando em consideração o que Krug afirma: "Testar um participante é 100% melhor que nenhum", isso pelo enorme desalinhamento dos horários e dificuldade em reunir mais de 3 ou 4 participantes para realizar a avaliação.
Preparação e uso de equipamentos necessários
Haverá um total de 6 sessões presenciais, cada uma contará com um participante voluntário, um avaliador para simular a execução do sistema e outro avaliador para observar a experiência de uso do protótipo de alta fidelidade, que ele próprio desenvolveu com base nos estudos e dificuldades e problemas constatados nas etapas anteriores e nas avaliações dos protótipos de alta fidelidade.
Equipamentos e materiais para a entrevista:
- Protótipo de alta fidelidade;
- Câmera;
- Roteiro da sessão;
- 2 vias impressas do Termo de consentimento (uma para ficar com o avaliador e outra com o participante);
- Questionários;
Custos:
- R$ 6,00 para impressão dos termos de consentimento;
Roteiro da sessão
Tabela 2 - Roteiro para a realização da sessão de observação.
| Ordem | Atividade |
|---|---|
| 1 | Apresentar Termo de consentimento |
| 2 | Apresentação do ambiente de teste |
| 3 | Explicação dos objetivos do estudo, desenvolvimento da avaliação e cuidados éticos |
| 4 | Realização do questionário pré-teste |
| 5 | Observação e gravação da sessão com o protótipo de alta fidelidade |
| 6 | Gravação da entrevista pós-teste |
Fonte: Gabriel F. J. Silva, 2024
Tabela 3 - Perguntas do questionário pré-teste.
| ID | Pergunta |
|---|---|
| 1 | Qual o seu nome completo? |
| 2 | Qual a sua idade? |
| 3 | Qual a sua ocupação? |
| 4 | Você descreveria seu grau de experiência e facilidade em utilizar artefatos tecnologicos em "Muito boa", "Boa", "Média", "Ruim", "Muito ruim" |
Fonte: Gabriel B. Bertolazi e Pablo S. Costa, 2024
Tabela 4 - Perguntas do questionário pós-teste.
| ID | Pergunta |
|---|---|
| 1 | Como você avalia o design apresentado no protótipo?(péssimo, ruim, médio, bom, ótimo) |
| 2 | Você acredita que a disposição dos itens e elementos na tela está bem organizada e de fácil visualização? |
| 3 | Você teve obstáculos ao realizar alguma ação na aplicação ou ao utilizar a funcionalidade proposta? |
| 4 | Foi encontrado alguma falha durante o uso da funcionalidade apresentada? |
| 5 | As tarefas mostradas são plauzíveis e representam bem a realidade? |
| 6 | Você sugere alguma mudança no design da interface ou nas funcionalidades apresentadas? |
Fonte: Elias F. Oliveira, 2024
Tabela 5 - Perguntas do questionário para o avaliado responder
| ID | Pergunta | Objetivo Relacionado |
|---|---|---|
| 1 | O usuário utilizou de forma correta a funcionalidade? | Analisar apropriação da tecnologia |
| 2 | Foram atingidos os objetivos principais do participante ao testar o protótipo? | Analisar apropriação da tecnologia |
| 3 | O usuário teve obstáculos para concluir a tarefa proposta? Se sim quais foram? | Identificar problemas na interação e interface |
| 4 | Em quais partes do sistema esses problemas e obstáculos são encontrados? E com qual frequência ocorrem? | Identificar problemas na interação e interface |
| 5 | O usuário requereu auxílio para compreender alguma parte da interface ou para realizar alguma ação? Se sim quantas vezes? | Identificar problemas na interação e interface |
Fonte: Elias F. Oliveira, 2024
Prazos
Abaixo, na tabela 5, estão descritas as informações sobre o planejamento das entrevistas.
Tabela 5 - Tabela de Planejamento para realização das entrevistas do protótipo de alta fidelidade.
| Tarefa | Entrevistador | Entrevistado | Horário | Data | Local |
|---|---|---|---|---|---|
| Calcular preços e prazos de entrega | Cláudio | Renato Medeiros , Heitor, Gabriel B. Bertolazi | 10:00 - 10:30 | 26/06/2024 | UnB-FGA |
| Realizar compras na loja online | Elias | Renato Medeiros , Heitor, Gabriel B. Bertolazi | 10:40 - 11:10 | 26/06/2024 | UnB-FGA |
| Recebimento de encomendas | Gabriel B. Bertolazi | Renato Medeiros , Heitor, Gabriel B. Bertolazi | 11:20 - 11:50 | 26/06/2024 | UnB-FGA |
| Realizar pré-postagem | Gabriel F. J. Silva | Patrício Reittler, Matheus, Johnny Lopes | 12:00 - 12:30 | 26/06/2024 | UnB-FGA |
| Gerenciar minhas importações | Pablo | Patrício Reittler, Matheus, Johnny Lopes | 14:00 - 14:30 | 26/06/2024 | UnB-FGA |
| Rastrear encomendas | Ricardo | Patrício Reittler, Matheus, Johnny Lopes | 14:40 - 15:10 | 26/06/2024 | UnB-FGA |
Fonte: Gabriel B. Bertolazi, 2024.
D - Decidir
Serão levados em consideração os princípios éticos estabelecidos no documento Aspectos Éticos, junto ao termo de consentimento, elaborado no mesmo artefato, para as atividades necessárias à validação do protótipo de alta fidelidade por meio das entrevistas.
E - Avaliar
Após a coleta de dados, os resultados serão analisados para identificar padrões e tendências nas respostas dos participantes, fornecendo insights sobre problemas nos protótipos e sugestões de melhorias.
Será avaliada também a confiabilidade dos dados e a validade externa do estudo, verificando se os resultados representam os usuários reais do site e podem ser generalizados além da amostra analisada.
Os resultados serão apresentados mais tarde em um relatório detalhado, incluindo análise, recomendações de melhorias e conclusões relevantes para o avanço do projeto proposto pelo grupo.
Teste piloto
Antes de mergulharmos nas entrevistas com os usuários, um passo crucial nos aguarda: o teste piloto. Essa etapa meticulosa visa simular uma sessão de avaliação real, garantindo que tudo esteja funcionando perfeitamente para a coleta de dados valiosos.
Verificaremos se todas as ferramentas estão funcionando adequadamente, evitando surpresas durante as entrevistas reais. Analisaremos a eficácia do nosso planejamento, ajustando-o para garantir um fluxo suave e eficiente durante as avaliações. Asseguraremos que a avaliação forneça os dados precisos e relevantes para o nosso estudo, respondendo às nossas perguntas e objetivos. Avaliaremos a clareza e a objetividade da linguagem utilizada nas entrevistas, certificando-nos de que as perguntas sejam compreendidas de maneira inequívoca pelos participantes. Conforme Barbosa e Silva (2021, p. 276), o teste piloto vai além de um simples teste de ferramentas. Ele nos permite avaliar o próprio planejamento, garantindo que a avaliação produza os dados necessários para alcançarmos os objetivos do estudo.Durante o teste piloto, os avaliadores conduzirão uma simulação completa de uma sessão de avaliação, incluindo explicações, materiais e interação com os participantes. O cronograma passar essa etapa encontrase na Tabela 2 abaixo.
Tabela 6 - Planejamento dos Testes Piloto.
| Data | Horário de início e fim | Local | Avaliadores |
|---|---|---|---|
| 28/06/2024 | 12:00 - 14:00 | Unb-FGA | Ricardo e Gabriel. B |
| 28/06/2024 | 12:00 - 14:00 | Unb-FGA | Elias e Cláudio |
| 28/06/2024 | 12:00 - 14:00 | Unb-FGA | Pablo e Gabriel. F |
Fonte: Elias F. Oliveira, 2024.
Abaixo temos na tabela 07 o cronograma executados dos testes piloto.
Tabela 7 - Cronograma Executado dos Testes Piloto.
| Data | Horário de início e fim | Local | Avaliadores |
|---|---|---|---|
| 28/06/2024 | 12:00 - 14:00 | Unb-FGA | Ricardo e Gabriel. B |
| 02/07/2024 | 13:00 - 13:20 | Unb-FGA | Elias e Cláudio |
| 28/06/2024 | 19:50 - 19:59 | Teams | Pablo |
Fonte: Elias F. Oliveira, 2024.
Gravação dos testes pilotos
Calcular preços e prazos de entrega
Vídeo 1 - Teste Piloto da Entrevista do protótipo de alta fidelidade.
Fonte: Claudio Henrique e Elias Oliveira, 2024.
Minhas Importações
Vídeo 2 - Gravação do teste piloto da avaliação do Protótipo de alta fidelidade Minhas Importações.
Fonte: Pablo S. Costa, 2024.
Realizar Pré-Postagem
Vídeo 3 - Gravação do teste piloto da avaliação do Protótipo de alta fidelidade rastrear encomendas.
Fonte: Gabriel F. J. Silva, 2024.
Rastrear Encomendas
Vídeo 4 - Gravação do teste piloto da avaliação do Protótipo de alta fidelidade rastrear encomendas.
Fonte: Ricardo Augusto, 2024.
Realizar Compras na Loja Online
Vídeo 2 - Gravação da Avaliação do Protótipo Loja Online.
Fonte: Elias F. Oliveira, 2024.
Receber Encomendas
Vídeo 5 - Gravação do teste piloto da avaliação do Protótipo de alta fidelidade receber encomendas.
Fonte: Gabriel B. Bertolazi, 2024.
Bibliografia
- Barbosa, S. D. J.; Silva, B. S. da; Silveira, M. S.; Gasparini, I.; Darin, T.; Barbosa, G. D. J. (2021) Interação Humano-Computador e Experiência do usuário. Autopublicação. ISBN: 978-65-00-19677-1.
Histórico de Versões
| Versão | Data | Descrição | Autor(es) | Revisor(es) |
|---|---|---|---|---|
1.0 |
18/06/2024 | Criação do documento | Elias Oliveira e Pablo S. Costa | Claudio Henrique e Gabriel Fernando |
1.1 |
26/06/2024 | Ajuste e perguntas pré teste | Pablo S. Costa e Gabriel B. Bertolazi | Claudio Henrique |
1.2 |
03/07/2024 | Adiciona testes piloto | Cláudio Henrique, Elias F. Oliveira, Gabriel B. Bertolazi, Gabriel F. J. Silva, Pablo S. Costa e Ricardo Augusto | Claudio Henrique |