Planejamento da Avaliação de Prototipação de Alta Fidelidade
Introdução
Conforme apontam Simone Barbosa e Bruno Diniz1: "A avaliação do produto final possibilita entregar um produto com uma garantia maior de qualidade". Sob esse viés, este artefato tem como objetivo fazer o planejamento da avaliação do protótipo de alta fidelidade, realizando entrevista com usuários reais do produto, tendo como referência o perfil do usuario previamente estabelecido.
Metodologia
Para realizar esse planejamento foi utilizado o framework DECIDE proposto para orientar o planejamento, execução e análise de uma avaliação de Interação Humano Computador2. A tabela 1 a seguir apresenta o siginificado de cada letra do framework assim como o objetivo de cada tópico.
Tabela 1 - Letras e significados DECIDE
| Letra | Significado |
|---|---|
| D | Determinar os objetivos gerais da avaliação |
| E | Explorar perguntas a serem feitas na avaliação |
| C | Escolher os métodos de avaliação |
| I | Identificar e administrar as questões práticas |
| D | Decidir como lidar com as questões éticas |
| E | Avaliar, interpretar e apresentar os dados |
Fonte: DOURADO, Pedro Lucas. 2024.
Planejamento
D - Determinar os objetivos
O objetivo da avaliação é testar a usabilidade, funcionalidade e interface do protótipo de alta fidelidade obtendo um feedback de usuários reais para que seja possível melhorar o protótipo e assemelhando de forma mais precisa à versão final do produto.
Os objetivos da avaliação são baseados nos seguintes topicos: (1) analisar a apropriação da tecnologia (2) comparar ideias e alternativas de design; (3) identificar problemas na interação e interface.
E - Explorar perguntas
Para alcançar os objetivos foram preparadas perguntas que serão respondidas na avaliação, sendo elas baseadas no Captítulo 11 da literatura de Barbosa e Silva (2011, p.266)1 e podem ser vistos na tabela 02 abaixo:
Tabela 2 - Perguntas ao entrevistado
| ID | Pergunta | Tipo de Resposta | Justificativa |
|---|---|---|---|
| 1 | A interface apresentada foi de fácil utilização? | Sim/Não/Não sei | - |
| 2 | Existe uma correspondência com a realidade ao realizar essas ações? | Sim/Não/Não sei | - |
| 3 | Teve algum problema com a disposição dos elementos na tela? | Sim/Não/Não sei | - |
| 4 | Teve alguma dificuldade ao realizar as tarefas designadas? | Sim/Não/Não sei | - |
| 5 | Teve de lidar com algum erro durante a utilização do sistema? | Sim/Não/Não sei |
Fonte: Página: 266,Capítulo 11. Processos de Design de IHC. Livro: Barbosa, S. D. J.; Silva, B. S. da; Silveira, M. S.; Gasparini, I.; Darin, T.; Barbosa, G. D. J. (2021) Interação Humano-Computador e Experiência do usuário. Autopublicação.
Além das perguntas da avaliação, serão feitas obersvações e análises por parte do entrevistador para recolher os dados demonstrados na tabela 3 abaixo. Entende-se por alta eficiência, neste cenário, o usuário que conseguiu utilizar a função devidamente sem nenhum erro de navegação e/ou registro de informações, quando necessário.
Tabela 3 - Perguntas do entrevistador
| ID | Pergunta | Tipo de Resposta | Justificativa |
|---|---|---|---|
| 1 | O usuário conseguiu operar o sistema? | Sim/Não | - |
| 2 | Ele atinge seu objetivo? Com quanta eficiência? Em quanto tempo? Após cometer quantos erros? | Aberta | - |
| 3 | Ele entendeu o que deveria ser feito em seguida? | Sim/Não/ | - |
| 4 | Quais barreiras o usuário encontrou ao atingir seus objetivos? | Aberta | - |
| 5 | Quantas vezes os usuários consultaram a ajuda para realizar uma ação? | Aberta | - |
Fonte: Página: 266,Capítulo 11. Processos de Design de IHC. Livro: Barbosa, S. D. J.; Silva, B. S. da; Silveira, M. S.; Gasparini, I.; Darin, T.; Barbosa, G. D. J. (2021) Interação Humano-Computador e Experiência do usuário. Autopublicação.
C - Escolher os métodos
Para a avaliação será usado o método de observação utilizando o teste de usabilidade que visa a avaliar a usabilidade de um sistema interativo a partir de experiências de uso dos seus usuários-alvo (Rubin, 1994; Rubin e Chisnell, 2008).3 Como compreendido na literatura de Barbosa e Silva 1 os teste de usabilidade irão seguir as metas de usabilidade anteriormente definidas no projeto, sendo avaliado se o sistema proposto pelo protótipo foi capaz de as atingir. A escolha do método se dá pela ampla possibilidade de coleta de informações e recepção de feedbacks, além de permitir fazer perguntas para os usuários reais sobre os objetivos a serem alcançados.
I - Identificar as questões práticas
Para selecionar os participantes da avaliação, usaremos o critério definido no Perfil de Usuário. Seguiremos a recomendação de Dumas e Redish4 , que afirmam que uma avaliação de IHC deve envolver de cinco a doze usuários, sendo escolhido apenas cinco por conta de custos e gestão de tempo, já que, são suficientes para detectar a 85% dos problemas, como relata Nielsen5.
Preparação
Na atividade de preparação, são realizadas as atividades comuns aos métodos de observação.
- Cadastrar e acompanhar uma reclamação na ouvidoria
- Acessar o módulo de Contra Cheque e consultar processos do servidor
- Registrar e verificar o panorama de saúde da cidade
- Solicitar vistoria de local com água parada
Script
Para a realização da avaliação o avaliado receberá um script com específicando qual as ações que ele deve tomar e quais objetivos a alcançar. Será utilizado a técnica think aloud (“pensar em voz alta”) (Ericsson e Simon, 1993)6, que consiste no avaliado relatar em voz alta tudo que está pensando e fazendo.
Cadastrar e acompanhar uma reclamação na ouvidoria - Cainã Freitas
Nessa atividade o usuário deve realizar o cadastro e em seguida acessar o página de acompanhamento de uma reclamação na ouvidoria. O objetivo da tarefa consiste em verificar se o avaliado consegue realizar o cadastro e acompanhamento sem problemas e com uma certa facilidade demonstrando a intuitividade do sistema.
Acessar o módulo de Contra Cheque e consultar processos do servidor - Augusto Duarte
Nessa atividade o usuário deve acessar o contra cheque e consuldtar os processos do servidor. O objetivo da tarefa consiste em verificar se o avaliado consegue de forma intuitiva e com facilidade acessar o contra cheque e consultar os processos. Para isso o avaliado irá acessar o menu hamburguer e atráves dele acessar a página de "Contra Cheque" realizar o login, acessar o página de "Processo Digital" e assim conseguir consultar os processos.
Registrar e verificar o panorama de saúde da cidade - Lucas Meireles
Nessa atividade, o usuário deverá registrar seu estado de saúde, simulando tanto uma pessoa em um estado bom quanto mal. O usuário também deverá interagir com o mapa panorâmico de saúde da cidade. O objetivo consiste em verificar se o entrevistado é capaz de realizar as tarefas descritas anteriormente sem erros e sem apresentar confusão. O voluntário irá acessar a página de saúde, registrar seu estado de saúde e as devidas ações consequentes deste e, por final, analisar o mapa geral.
Solicitar vistoria de local com água parada - Pedro Lucas
Nessa atividade o usuário deve solicitar a vistoria de um local com água parada na cidade de Lagoa da prata. O objetivo da tarefa consiste em verificar se o avaliado consegue realizar a solicitação de forma intuitiva e sem falhas O participante realizará a busca da página do serviço de solicitação de vistoria de água parada, assim como o login e solicitação descritos no script. O participante terá 3 opções para realizar essa busca, buscar por "solicitar vistoria de local com água parada" na aba de pequisa e clicando no serviço correto, acessar a página de solicitação pelo "menu hamburguer", selecionar o serviço após clicar em "serviços para o cidadão", ficando a críterio do avaliado escolher por onde seguir. Após acessar a página o usuário irá fazer o login ou solicitar a vistoria anonimamente, preenchendo o formulário de solicitação e fazendo o reCaptcha e por fim baixando a solicitação enviada.
Orçamento
Como o projeto realizado trata de uma pesquisa acadêmica, ela pode custear a equipe de desenvolvimento e os participantes, portanto o orçamento deve ser realizado apenas sobre as ferramentas necessárias para o desenvolvimento dela como:
- Figma: ferramenta para criação do protótipo de alta;
- Protótipo de Alta Fidelidade de cada tarefa: artefato usado para a avaliação
- Microsoft Teams: ferramenta usada para gravação da avaliação;
- Notebook e celular com acesso a internet para utilização do protótipo e gravação da avaliação.
- Teste Piloto: para assegurar que tudo está funcionando corretamente antes do teste de usabilidade com o usuário-alvo
Prazos
Em relação aos prazos, as entrevistas serão documentadas em uma tabela tendo como molde a tabela 4 abaixo que contém o entrevistador, o usuário entrevistado, a data, hórario e local da entrevista.
Tabela 4 - Dados da entrevista
| Entrevistadores | Usuário | Data | Início-Fim | Local |
|---|---|---|---|---|
| - | - | - | - | - |
Fonte: Dourado, Pedro Lucas. 2024.
D - Lidando com as Questões Éticas
Os participantes da avaliação serão convidados a participar voluntariamente e a assinar um termo de consentimento. O termo de consentimento informa aos participantes sobre os objetivos da pesquisa, os procedimentos que serão realizados, os riscos e benefícios da participação, a garantia de anonimato e a possibilidade de desistir a qualquer momento. O termo de consentimento também informa que a participação é voluntária e que os participantes podem desistir a qualquer momento, sem penalidades ou consequências negativas. De modo a evitar possíveis constrangimentos e incentivar a participação de usuários, não será disponibilizado de modo público as gravações audio-visuais do procedimento, sendo que os registros serão disponibilizados apenas à equipe de avaliação para verificação das informações textuais registradas e tratamento de dúvidas das ações realizadas pelos entrevistados.
E - Avaliar, Interpretar e Apresentar os Dados
A coleta de dados será realizada por meio do teste de usabilidade através da observação. Os avaliadores observarão os participantes enquanto eles interagem com o protótipo de alta fidelidade e anotarão os problemas de interação e de interface que forem identificados. Ao final do teste de usabilidade, os avaliadores farão perguntas aos participantes sobre a experiência de uso do protótipo de alta fidelidade e irão realizar as devidas anotações, itens que são tratados, respectivamente, pelas tabelas 2 e 3.
Os resultados da avaliação serão analisados e interpretados pelos avaliadores. As anotações dos avaliadores sobre a experiência, a entrevista pós-teste e o vídeo gravados devem ser analisados a fim de identificar problemas de usabilidade no protótipo de interface avaliado.
Referências
1. Barbosa, S. D. J., & Diniz, B. (2010). Interação Humano-Computador. Elsevier Brasil.
2. Preece, Jennifer, Rogers, Yvonne, e Sharp, Helen (2002). Interaction Design: Beyond Human-Computer Interaction. John Wiley & Sons.
3.Rubin, Jeffrey (1994). Handbook of Usability Testing: How to Plan, Design, and Conduct Effective Tests. John Wiley & Sons, Inc., USA, 1st edition.
4.Dumas, J. S., & Redish, J. C. (1999). A practical guide to usability testing. Intellect Books.
5.Nielsen, J. (1994). Usability Engineering at a Discount. In CHI'94 Conference Companion on Human Factors in Computing Systems (pp. 291-292).
6.Ericsson, K. Anders e Simon, Herbert A. (1993). Protocol Analysis - Rev’d Edition: Verbal Reports as Data. Bradford Books, Cambridge, Mass, revised edition edition.
Histórico de Versões
| Data | Versão | Descrição | Autor(es) | Data de revisão | Revisor(es) |
|---|---|---|---|---|---|
| 16/06/2024 - 17/06/2024 | 1.0 |
Elaboração inicial do documento | Pedro Lucas | 19/06/2024 | Lucas Meireles |
| 07/07/2024 | 1.1 |
Adição da descrição da funcionalidade | Augusto Duarte | 07/07/2024 | Joyce Dionizio |