Relato dos Resultados - Protótipo de Alta Fidelidade
Introdução
Esse artefato tem o objetivo de documentar o relato dos resultados obtidos pela avaliação do protótipo de alta fidelidade. Portanto, serão abordados os tópicos referidos no Planejamento do Relato dos Resultados do Protótipo de Alta Fidelidade.
Objetivo e Escopo da Avaliação
Garantir que o aplicativo do Detran-DF ofereça a melhor experiência possível aos seus usuários. Esta avaliação tem como propósito coletar feedback de usuários reais sobre um protótipo avançado do aplicativo, a fim de identificar e corrigir quaisquer problemas de usabilidade, funcionalidade e design antes do lançamento oficial.
- A interface segue o padrão do sistema operacional?
- Foi possível testar a interação e a facilidade de uso do protótipo para identificar problemas de usabilidade?
- Foi possível avaliar a aparência e o estilo visual do protótipo, garantindo que ele atenda às expectativas e necessidades dos usuários, transmita a identidade da marca e seja estéticamente agradável?
- Foi possível verificar se todas as funcionalidades planejadas estão presentes e funcionam corretamente?
- Foi possível obter opiniões, percepções e sugestões dos usuários em relação ao protótipo?
- Foi possível identificar quaisquer problemas, erros ou áreas que precisam de ajustes no protótipo antes da implementação final?
Método de Avaliação
Utilizamos o teste de usabilidade como metodologia principal para avaliar a interface do sistema. Seguindo as premissas de Rubin (1994) e Rubin e Chisnell (2008), um grupo de usuários-alvo realizou tarefas específicas no sistema, enquanto suas interações foram observadas e registradas. Essa abordagem permitiu identificar problemas reais de usabilidade que poderiam passar despercebidos em avaliações mais teóricas. O cronograma detalhado dos testes, incluindo data, horário e participantes, encontra-se na Tabela 1.
Tabela 1 - Cronograma Executado.
| Avaliador | Usuário | Data | Início-Fim | Local |
|---|---|---|---|---|
| Márcio Henrique | Eduardo | 23/01/2025 | 16:30-16:45 | Presencial |
| Márcio Henrique | Rayssa | 23/01/2025 | 16:10-16:25 | Presencial |
| Luiza Maluf | Irailde | 26/01/2025 | 10:30-16:45 | Presencial |
Fonte: Márcio Henrique .
Local
Os testes ocorreram de forma presencial, aos que foram realizadas pelo Márcio foram feitas fora das dependências da FCTE. Enquanto a que foi realizada por Luiza foi em um ponto de encontro marcado com ambos os participantes.
Ferramentas
As ferramentas utilizadas foram as seguintes:
- Um notebook com webcam e microfone;
- Um smartphone utilizado para capturar áudios;
- Um papel contem o script a ser seguido pelos usuarios;
- Um papel contendo as tarefas e perguntas a serem respondidas.
Tarefas
As tarefas realizadas pelos os usuários foram as seguintes:
- Trasferência de veículos;
- Agendamento de serviço e acompanhamento de serviço.
Descrição dos Testes
Antes de se iniciar os testes em si foi apresentado ao usuário um script contendo as ações que o entrevistado deveria realizar dentro do sistema. O entrevistado também foi orientado a reproduzir as ações que estava executando em voz alta. A figura 1 apresenta o script seguido pelos usuários da entrevista 1 e 2.
A tabela 2 apresenta o script seguido pelos usuários da entrvista 3.
Tabela 2 - Script seguidos pelos usuários da entrevista 3
| Número do passo | O usuário deve... |
|---|---|
| 1 | Começar na Tela inicial |
| 2 | Seleciona no menu "Agendamento" |
| 3 | Clicar em "Agendamento de Serviço" |
| 4 | Clicar em "continuar" no login com gov.br |
| 5 | Selecionar o "Tipo de Serviço" |
| 6 | Selecionar "Habilitação" |
| 7 | Selecionar "Unidade de atendimento" |
| 8 | Selecionar "Aeroporto" |
| 9 | Selecionar "data" |
| 10 | Selecionar dia 27 |
| 11 | Selecionar "Hora de Atendimento" |
| 12 | Selecionar 11:20 |
| 13 | Clicar em "Agendar" |
| 14 | Clicar em "Imprimir Comporvante de agendamento" |
| 15 | Voltar pro Menu |
| 16 | Seleciona no menu "Agendamento" |
| 17 | Clicar em "acompanhamento e serviço" |
| 18 | Clicar em "continuar¨ no login com gov.br |
| 19 | Clicar na barra de busca |
| 20 | Clicar em "buscar" |
| 21 | Conferir se os dados do agendamento feito anteriormente são os mesmos |
| 22 | Clicar em "Editar" |
| 23 | Mudar o tipo de serviço para "Veículo" |
| 24 | Mudar hora de atendimento para 14:45 |
| 25 | Clicar em "confirmar" |
| 26 | Voltar ao menu |
O teste teve início com a apresentação ao usuário o termo de consentimento para que pudesse ser confirmado a sua participação e autorizado o prosseguimento do teste. Logo após, foi autorizado que o usuário realizasse as tarefas.
Protótipo de Alta Fidelidade
O Protótipo de Alta Fidelidade utilizado nos testes é apresentado a seguir. É importante salientar que o protótipo apresentado pode não ser o exato modelo utilizado nos testes, pois o protótipo sofre alterações e correções com o tempo.
Teste Piloto
O vídeo 1 a seguir mostra o teste piloto realizado antes dos testes.
Vídeo 1 - Teste Piloto
_Autor: Márcio Henrique, 2025.
_Seleção dos Participantes
O número de participantes foi de 5 pessoas, sendo dois avaliadores em que ficaram responsáveis por gravação do áudio e vídeo e três usuários. A escolha desse número de usuários foi baseada na recomendação de Krug (2010, p. 157) para testes de usabilidade. Além disso, os usuários foram escolhidos levando em conta as características definidas no perfil de usuário, sendo elas: idade entre 20 e 35 anos, experiência e afinidade com tecnologia. A tabela 1 apresenta os participantes da avaliação e suas respectivas funções.
Problemas e Dificuldades Encontradas
A princípio, os testes ocorreram sem muitos problemas. Foi encontrado três problemas, um em uma funcionalidade e os outros dois ligados a interface da aplicação.
Em relação ao problema de funcionalidade a entrevistada Rayssa alegou que no final da página de transferência de veículos, quando há a conlusão da solicitação, não foi possivel voltar a página inicial. Já em interface houve duas dificuldades em usuário entender que dentro do contexto da transferência todas essas ações são visâo do vendedor e não do comprado; Outro ponto foi a dificuldade de enteder a etapa de validação da identidade.
Tabela 3 - Problema 1: Função de Redirecionamento.
| Item de Análise | Descrição |
|---|---|
| Local: | Tela de conclusão do solicitação de transferência. |
| Contexto: | O usuário finaliza a transferência e ao final deseja acessar outro serviço do portal. |
| Causa: | Não redirecionamento para a página inicial. |
| Ação Realizada pelo Usuário: | Clique no botão "Voltar ao menu inicial". |
| Resposta do Sistema Esperada: | Redirecionamento na tela inicla. |
| Resposta do Aprsentada pelo Sistema: | Não foi redirecionado. |
| Fatores de Usabilidade Prejudicados: | Eficácia e Eficiência. |
Autor: Márcio Henrique, 2025.
Sobre o problema de interface, a usuária Rayssa alegou que não ficou clara na seção do qr code, é uma etapa de verificação de identidade, achou que ficou pouco claro e tendendo a scannear o qr sem reconhecer a etapa em que se encontra. As tabelas 4 e 5 a seguir apresenta as avaliações dos problemas.
Tabela 4 - Problema 2: Detalhes sobre a validação de Identidade.
| Item de Análise | Descrição |
|---|---|
| Local: | Modal de verificação de identidade. |
| Contexto: | O usuário entra na página com a intenção de trasnferir um veículo. |
| Causa: | As informações não deixa claro a ação desejada do usuário. |
| Ação Realizada pelo Usuário: | Visualizou as etapas de identificação. |
| Resposta do Sistema Esperada: | Entendimento claro da etapa. |
| Resposta do Aprsentada pelo Sistema: | A etapa não foi bem especificado. |
| Fatores de Usabilidade Prejudicados: | Eficácia, Eficiência e Segurança. |
Fonte: Marcio Henrique, 2025.
Tabela 5 - Problema 3: Clareza em qual "personagem" o usuário se aplica.
| Item de Análise | Descrição |
|---|---|
| Local: | Página inicial. |
| Contexto: | O usuário entra na página de pedidos com a intenção de realizar uma tranferência. |
| Causa: | Não existe uma indicação de que quem irá realizar a transferência é o vendedor. |
| Ação Realizada pelo Usuário: | Visualizou o botão na página. |
| Resposta do Sistema Esperada: | Apresentação de forma clara quem será o responsável pela transferência. |
| Resposta do Aprsentada pelo Sistema: | Não possui apresentação. |
| Fatores de Usabilidade Prejudicados: | Eficácia, Eficiência e Segurança. |
Fonte: Márcio Henrique, 2025.
Dentro da entrevista 3 houve um problema de gravação em que a gravação do rosto da entrevistada não foi captada, contudo em relação ao protótipo não houve nenhum obstáculo e a entrevistada conseguiu executar com excelência o script proposto.
Sugestões de Melhoria
Tendo em vista os problemas elicitados no tópico anterior, ficam as seguintes sugestões de correção:
- Incluir a funcionalidade de redirecionamento para a página inicial;
- Alterar o design do modal de identificação do usuário;
- Criar uma seção de ajuda para entende de quem é a responsabilidade de realizar a transferência.
Feedback dos Usuários
Teste 1 - Eduardo
O usuário não encontrou muitas dificuldades na realização das tarefas. A tarefa de Tranferência foi realizada com apenas 6 clique e 1 scroll down da página.
Somado a isso, foi observado uma atitude confiante na realização das tarefas de Transferência. E concluído sem nenhuma dificuldade.
Teste 2 - Rayssa
O usuário não encontrou muitas dificuldades na realização das tarefas. A tarefa de Tranferência foi realizada com apenas 6 clique e 1 scroll down da página.
Outrossim, o design e a visualização tanto das etapas de identificação e no final da transferência, a usuária teve uma leve dificuldade em entender os passos reralizados e demorando mais que o normal para a mudança de telas. Somado a isso, foi observado uma mudança significativa nas expressões faciais sendo elas de demonstração de não muita confiança nas ações sendo realizadas.
Teste 3 - Irailde
O usuário não encontrou dificuldades ao executar a tarefa e deu o feedback indicando que se trata de uma tarefa bem explicada e intuitiva.
Análise e Interpretação dos Usuários
Analisando os comportamentos dos usuários, percebemos que a maioria possui um nível de produtividade parecido, sendo que tarefas foram concluídas com quantidades de cliques similares. É possível notar também que há um problema crítico em relação ao botão de cancelamento, pois todos os usuários reclamaram do design pouco chamativo dele e na tela de confirmação de compra que não possui uma clareza no que está sendo realizado.
Contextualizando com as perguntas-objetivos, podemos respondê-las da seguinte maneira:
- A interface segue o padrão do sistema operacional?
Sim, não houve reclamações referente a isso.
- Foi possível testar a interação e a facilidade de uso do protótipo para identificar problemas de usabilidade?
Sim, foi possível identificar problemas de ao atingir as metas de usabilidade propostos para o projeto.
- Foi possível avaliar a aparência e o estilo visual do protótipo, garantindo que ele atenda às expectativas e necessidades dos usuários, transmita a identidade da marca e seja estéticamente agradável?
Sim, os usuários demonstraram seus pontos de vista dissonantes em relação a aparência das escritasm mostrada em modais e tela geral do sistema.
- Foi possível verificar se todas as funcionalidades planejadas estão presentes e funcionam corretamente?
Sim, foi identificado que uma das funcionalidades previstas ainda não está totalmente implementada.
- Foi possível obter opiniões, percepções e sugestões dos usuários em relação ao protótipo?
Sim, os usuários apresentaram opiniões que serviram de objetivos para o reprojeto.
- Foi possível identificar quaisquer problemas, erros ou áreas que precisam de ajustes no protótipo antes da implementação final?
Sim, foi observado problemas que deverão ser corrigidos no reprojeto.
Sumário dos Principais Resultados
Desse modo, em relação às metas de usabilidade priorizadas é perceptível que o sistema consegue fornecer um boa eficiência aos usuários em determinadas situações, sendo que a maioria das tarefas foram realizadas com menos de 5 cliques. Mas, ainda há problemas em relação aos elementos de interações na interface.
Em relação a segurança, o sistema ainda não fornece uma boa segurança aos usuário principalmente na tela de confirmação de transferência não é claro oque o usuário realizou e se foi atinjido com sucesso, porém houve uma melhora com o usuário tendo que confirmar suas intenções ao realizar ações críticas.
Vídeo 2 - Teste 1: Eduardo
Autor: Márcio Henrique, 2025.
Vídeo 3 - Teste 2: Rayssa
Autor: Márcio Henrique, 2025.
Vídeo 4 - Teste 3: Irailde
Autor: Luiza Maluf, 2025.
Planejamento do Reprojeto
Para o reprojeto, as correções devem ser realizadas seguindo a lista de sugestão de correção apresentada anteriormente. O responsável por cada correção deve submetê-las para o time no intuito de se revisar as correções feitas, checando se elas são suficientes e se foi introduzido novos erros ou não. A tabela 6 a seguir apresenta o cronograma do reprojeto.
Referências Bibliográficas
KRUG, Steve. Don’t Make Me Think, Revisited. New Riders, 2014.
RUBIN, J. Handbook of Usability Testing. New York: John Wiley & Sons, 1994.
RUBIN, J.; CHINSNELL, D. Handbook of Usability Testing: How to Plan, Design, and Conduct Effective Tests, 2ed. Indianapolis: Wiley Publishing, Inc., 2008.
Histórico de Versões
| Versão | Data | Descrição | Autor(es) | Revisor(es) |
|---|---|---|---|---|
1.0 |
25/01/2023 | Criação da página e entrevistas do márcio. | Márcio Henrique | luiza maluf |
1.1 |
26/01/2023 | Adição do teste 3 | luiza maluf | Márcio Henrique |