Planejamento da Avaliação do Protótipo de Alta Fidelidade
Introdução
A avaliação é uma etapa crucial para garantir que o processo de desenvolvimento produza um sistema de alta qualidade. Com isso em mente, este artefato tem como objetivo planejar a avaliação do protótipo de alta fidelidade. Para tanto, serão realizadas entrevistas com usuários reais do produto, baseando-se no perfil de usuário, permitindo uma avaliação dinâmica de suas perspectivas.
Metodologia
Para este planejamento, será utilizado o framework DECIDE, onde cada letra representa uma etapa do processo. A tabela 1 a seguir descreve o significado de cada letra.
Tabela 1 - Letras da palavra DECIDE e seus significados.
| Letra | Definição |
|---|---|
| D | Determinar os objetivos da avaliação. |
| E | Explorar perguntas a serem respondidas com a avaliação. |
| C | Escolher os métodos de avaliação a serem utilizados. |
| I | Identificar e administrar as questões práticas da avaliação. |
| D | Decidir como lidar com as questões éticas. |
| E | Avaliar, interpretar e apresentar os dados |
Fonte - BARBOSA e SILVA (2011).
Objetivo
O objetivo da avaliação do protótipo de alta fidelidade é testar e obter feedback sobre a usabilidade, funcionalidade e aparência visual de um protótipo que se aproxima bastante da versão final do produto ou serviço. Essa avaliação visa identificar problemas, avaliar a eficácia do design e da interface, além de realizar ajustes antes da implementação completa.
E - Explorar Perguntas Respondidas com a Avaliação
Baseado no objetivo da avaliação, foram preparadas perguntas focadas nos seguintes tópicos: - Verificar a conformidade com um padrão; - Comparar ideias e alternativas de design; - Identificar problemas na interação e interface.
As perguntas selecionadas para essa avaliação, baseadas no Capítulo 11 do livro de Barbosa e Silva (2011, p.266), são as seguintes:
- A interface segue o padrão do sistema operacional?
- Foi possível testar a interação e a facilidade de uso do protótipo para identificar problemas de usabilidade?
- Foi possível avaliar a aparência e o estilo visual do protótipo, garantindo que ele atenda às expectativas e necessidades dos usuários, transmita a identidade da marca e seja esteticamente agradável?
- Foi possível verificar se todas as funcionalidades planejadas estão presentes e funcionam corretamente?
- Foi possível obter opiniões, percepções e sugestões dos usuários em relação ao protótipo?
- Foi possível identificar quaisquer problemas, erros ou áreas que precisam de ajustes no protótipo antes da implementação final?
C - Escolher os Métodos de Avaliação
Para a criação do artefato a seguir, utilizaremos o teste de usabilidade, um método aplicado na ergonomia e na interação humano-computador para avaliar e testar a usabilidade de produtos e sistemas, observando os usuários durante a interação2. Conforme definido na literatura de Barbosa e Silva, os testes de usabilidade devem seguir as metas de usabilidade estabelecidas para o projeto, a fim de avaliar se o sistema as atingiu.
A escolha deste método se deve ao fato de permitir a coleta de muitas informações e ser flexível, permitindo aprofundar ainda mais os objetivos a serem alcançados pelos usuários. Além disso, essas entrevistas devem ser rigorosamente gravadas e documentadas.
I - Identificar Questões Práticas da Avaliação
Recrutamento
Os participantes foram selecionados com base no artefato Perfil de Usuário. Embora haja algumas divergências quanto ao número exato de participantes, este número varia entre 3 e 10. Segundo Krug, com três ou quatro participantes a maioria dos problemas é detectada2. Portanto, para os testes de usabilidade, serão selecionados 3 participantes.
Preparação
Na atividade de preparação, são realizadas as atividades comuns aos métodos de observação.
- Efetuar o login
- Navegar pela aba súperior de opções e drop-down
Script
Para a realização dessas tarefas o entrevistador passará um script ao participante com as seguintes informações:
- Opções que ele deve selecionar para emitir o nada consta da CNH, solicitar permissão internacional para dirigir, indicar condutor como real infrator e emitir o CRLV de seu veículo
Também será solicitado que a cada ação ele narre o que está fazendo.
Emissão de nada consta
Essa tarefa tem o intuito do participante realizar a emissão de um documento que comprove que não há pendências em sua CNH.
O objetivo da tarefa consiste em verificar se o participante consegue emitir o documento "Nada Consta" sem problemas.
Nessa tarefa, o participante deverá acessar o site do DETRAN-DF, realizar o login, selecionar a funcionalidade "Emissão de Nada Consta" e emitir o documento. Durante a execução dessa tarefa, o participante será observado e cada ação será computada em busca de identificar os problemas. Depois serão realizadas algumas perguntas relacionadas a um feedback da tarefa realizada, apresentadas mais abaixo.
Solicitar Permissão Internacional para Dirigir (PID)
Essa tarefa tem o intuito do participante solicitar uma Permissão Internacional para Dirigir.
O objetivo dessa tarefa consiste em determinar se o participante consegue solicitar a PID seguindo os passos apresentados.
Para execução dessa tarefa, o participante deverá acessar o site do DETRAN-DF, se informar sobre os requisitos e instruções, escolher a forma de recebimento da PID, consentir os termos do pagamento e realizar o pagamento. Durante a execução dessa tarefa, o participante será observado e cada ação será computada em busca de identificar os problemas. Depois serão realizadas algumas perguntas relacionadas a um feedback da tarefa realizada, apresentadas mais abaixo.
Indicar condutor como real infrator
Essa tarefa tem o intuito do participante identificar um condutor que cometeu infrações em seu veículo.
O objetivo da tarefa consiste em verificar se o participante consegue realizar a indicação do real infrator sem problemas.
Nessa tarefa, o participante deverá selecionar o veículo, escolher a infração, indicar o real infrator e confirmar a indicação. Durante a execução dessa tarefa, o participante será observado e cada ação será computada em busca de identificar os problemas. Depois serão realizadas algumas perguntas relacionadas a um feedback da tarefa realizada, apresentadas mais abaixo.
Emissão de CRLV
Essa tarefa tem o intuito do participante realizar a emissão do Certificado de Registro e Licenciamento de Veículo (CRLV).
O objetivo dessa tarefa consiste em determinar se o participante consegue emitir o CRLV seguindo os passos apresentados.
Para execução dessa tarefa, o participante deverá acessar a barra de serviços, selecionar a opção "Emitir CRLV-e", fazer login, selecionar o veículo e fazer o download do documento. Durante a execução dessa tarefa, o participante será observado e cada ação será computada em busca de identificar os problemas. Depois serão realizadas algumas perguntas relacionadas a um feedback da tarefa realizada, apresentadas mais abaixo.
Custos
A realização das entrevistas não pode gerar custos a equipe e ao usuário, portanto, elas deverão ser feitas utilizando as seguintes ferramentas:
- Perguntas para serem respondidas com a avaliação;
- Tarefas para os participantes executarem
- Script
- Perguntas para serem respondidas na entrevista;
- Protótipo de Alta Fidelidade;
- Figma: ferramenta para criação do protótipo de alta;
- Termo de Consentimento;
- Teste Piloto.
Vale resaltar que os equipamentos necessários serão quaisquer dispositivos com acesso a internet, aos aplicativos de comunicação e a um navegador de internet que os envolvidos possuírem.
Prazos
Em relação aos prazos, as entrevistas estão documentadas na tabela 2, sendo apresentado um cronograma com seus tópicos e logo abaixo a tabela 2 com as entrevistas:
- Entrevistador;
- Entrevistado;
- Horário de início e fim;
- Local e data que ocorreu a entrevista.
Tabela 2 - Cronograma provável da Avaliação.
| Entrevistadores | Usuário | Data | Início-Fim | Local |
|---|---|---|---|---|
| Vinicius Vieira | Vitor Machado | 23/06/2024 | 14:30-14:45 | Asa Sul - SQS 316 |
| Pedro Sena | Suzane Duarte | 02/07/2024 | 10:20-10:30 | FGA - UED |
| Pedro Sena | Caetano | 02/07/2024 | 8:20-8:30 | FGA - UED |
| Pedro Sena | Lucas Freire | 01/07/2024 | 8:50-9:00 | FGA - UED |
| Filipe Carvalho | Maciel Romualdo | 27/06/2024 | 14:30-15:30 | FGA - UED |
Fonte - Vinicius Vieira.
Roteiro de Perguntas
Na entrevista estarão disponíveis capturas de tela para que o usuário possa ver a tarefa da qual o entrevistador estará comentando e a tabela com o seu fluxo. A tabela 3 a seguir mostra o roteiro de perguntas a serem realizadas aos usuários após o termino da avaliação. Já as as perguntas da tabela 4 tem como objetivo guiar os avaliadores com relação aos principais pontos a serem levados em consideração. Essas perguntas foram baseadas nas perguntas a serem repondidas na avaliação da análise de tarefas.
Tabela 3 - Perguntas ao usuário.
| ID | Enunciado | Resposta | Justificativa |
|---|---|---|---|
| 1 | Qual é o seu nome? | Discursiva | Todos |
| 2 | Qual seu grau de experiência com tecnologias? | Discursiva | Todos |
| 3 | Qual é a sua ocupação atual? | Discursiva | Todos |
| 4 | Você tem carteira de motorista? | [ ] Sim [ ] Não |
Todos |
| 5 | Algum componente te deixou confuso sobre o que ele fazia? | Discursiva | Todos |
| 6 | Teve alguma informação faltando? | Discursiva | Todos |
| 7 | Sugere alguma mudança no trajeto? | Discursiva | Todos |
Fonte Vinicius Vieira.
Tabela 4 - Diretriz.
| ID | Enunciado | Resposta |
|---|---|---|
| 1 | O usuário conseguiu operar o sistema | Fechada |
| 2 | Ele atinge seu objetivo? Com quanta eficiência? Em quanto tempo? Após cometer quantos erros? | Aberta |
| 3 | Ele entendeu o que deveria ser feito em seguida? | Fechada |
| 4 | Onde esses problemas se manifestam? Com que frequência tendem a ocorrer? Qual é a gravidade desses problemas? | Aberta |
| 5 | Quais barreiras o usuário encontrou ao atingir seus objetivos? | Aberta |
| 6 | Quantas vezes os usuários consultaram a ajuda on-line ou o manual de usuário? | Aberta |
Fonte Vinicius Vieira.
Execução do roteiro
O entrevistador precisa instigar o usuário a explicitar suas ideias, de maneira verbal ou ilustrativa, em caso de discordância. Além disso, toda alteração proposta pelo usuário precisa ser anotada pelo entrevistador e, posteriormente, avaliada em conjunto para ser validada junto ao usuário ao final da atividade.
D - Lidando com as Questões Éticas
Em cada entrevista será apresentado a eles um termo de consentimento baseado no seguinte modelo, e a avaliação continuará somente caso haja o consentimento destes.
E - Avaliar, Interpretar e Apresentar os Dados
Após a realização da avaliação, os dados serão documentados e tratados, levando em conta o contexto em que eles foram produzidos, julgando se possuem alto grau de confiabilidade e que podem ser generalizados para representar a população de usuários do site.
O que envolve registrar os problemas, dificuldades durante a interação, podem envolver questões de usabilidade, funcionalidades ausentes e problemas de desempenho. Serão anotadas as descrições dos problemas, sua classificação, sugestões de melhoria, captar o feedback do usuário e ao fim da entrevistas documentar as observações gerais a serem feitas a cerca da entrevista realizada.
Realizada a etapa anteriormente mencionada, os dados serão apresentados ao time de desenvolvimento, procurando com isso obter o máximo de informação relevante para o desenvolvimento do projeto.
Planejamento do Teste Piloto
Segundo Barbosa e Silva (2011, p.276) o objetivo desse teste é avaliar o próprio planejamento, e analisar se a avaliação, tal como planejada, produz os dados necessários para responder a questões e objetivos do estudo. O avaliador deve conduzir o teste-piloto como se fosse uma sessão normal de avaliação. Dessa forma, ele tem oportunidade de verificar se a linguagem nas explicações e nos materiais fornecidos é clara e objetiva, e se esses materiais contêm informações adequadas e suficientes para orientar o participante durante a avaliação.
Resultado do Teste Piloto
Após realizar o teste piloto deve ser postado abaixo.
Referências Bibliográficas
BARBOSA, S. D. J.; SILVA, B. S. Interação Humano-Computador. Rio de Janeiro: Elsevier, 2011.
Teste de Usabilidade (Objetivos, Planejamento, Número de Participantes, Especificação das tarefas e cenários e Relato)
Histórico de Versão
| Versão | Data | Descrição | Autor(es) | Revisor(es) |
|---|---|---|---|---|
1.0 |
19/06/2024 | Criação da página e inserção de informações | Vinicius Vieira | Pedro Sena |
1.1 |
19/06/2024 | Adição entrevista Pedro | Pedro Sena |