Pular para conteúdo

Planejamento da Avaliação do Protótipo de Alta Fidelidade

Introdução

A avaliação é um processo essencial para que o processo de desenvolvimento consiga produzir um sistema com alta qualidade. Com base nisso, o artefato a seguir visa planejar a avaliação do protótipo de alta fidelidade. Para tanto, serão realizadas entrevistas com usuários reais do produto, tendo como base o perfil de usuário, assim será possível avaliar sua perspectiva de forma dinâmica.

Metodologia

Para realizar esse planejamento será utilizado o framework DECIDE, onde cada letra da palavra é uma etapa a ser realizada no planejamento. A tabela 1 a seguir apresenta o significado de cada letra.

Tabela 1 - Letras da palavra DECIDE com os seus significados.

Letra Definição
D Determinar os objetivos da avaliação.
E Explorar perguntas a serem respondidas com a avaliação.
C Escolher os métodos de avaliação a serem utilizados.
I Identificar e administrar as questões práticas da avaliação.
D Decidir como lidar com as questões éticas.
E Avaliar, interpretar e apresentar os dados

Fonte - BARBOSA e SILVA (2011).

Objetivo

O objetivo da avaliação do protótipo de alta fidelidade é testar e obter feedback sobre a usabilidade, funcionalidade e aparência visual de um protótipo que se assemelha de forma mais precisa à versão final do produto ou serviço. A avaliação do protótipo de alta fidelidade busca identificar problemas, avaliar a eficácia do design e da interface além de realizar ajustes antes da implementação completa.

E - Explorar Perguntas Respondidas com a Avaliação

Com base no objetivo da avaliação foram preparadas perguntas baseadas nos seguintes tópicos: - verificar a conformidade com um padrão; - comparar ideias e alternativas de design; - identificar problemas na interação e interface. As perguntas selecionadas tem o intuito de serem respondidas com essa avaliação e foram feitas com base no Captítulo 11 da literatura de Barbosa e Silva (2011, p.266)1 as perguntas selecionadas foram as seguintes:

  • A interface segue o padrão do sistema operacional?
  • Foi possível testar a interação e a facilidade de uso do protótipo para identificar problemas de usabilidade?
  • Foi possível avaliar a aparência e o estilo visual do protótipo, garantindo que ele atenda às expectativas e necessidades dos usuários, transmita a identidade da marca e seja esteticamente agradável?
  • Foi possível verificar se todas as funcionalidades planejadas estão presentes e funcionam corretamente?
  • Foi possível obter opiniões, percepções e sugestões dos usuários em relação ao protótipo?
  • Foi possível identificar quaisquer problemas, erros ou áreas que precisam de ajustes no protótipo antes da implementação final?

C - Escolher os Métodos de Avaliação

Para a confecção do artefato a seguir usaremos o teste de usabilidade, é um método empregado na ergonomia e na interação humano-computador, para avaliar e testar a usabilidade de produtos e sistemas, a partir da observação dos usuários durante a interação2. Como definido na literatura de Barbosa e Silva 1 os testes de usabilidade devem seguir as metas de usabilidade definidas para o projeto, a fim de avaliar se o sistema as atingiu. A escolha se dá pelo fato de ser um método que permite coletar muitas informações, além de ser flexível permite fazer perguntas que aprofundam ainda mais os objetivos a serem alcançados pelos usuários. Ademais, tal entrevista deve ser estritamente gravada e documentada.

I - Identificar Questões Práticas da Avaliação

Recrutamento

Os participantes foram definidos com base no artefato Perfil de Usuário. Embora existam algumas divergências entre o número exato de participantes verifica-se que este número transita entre 3 e 10 participantes. Para Krug, com três ou quatro participantes a maioria dos problemas é detectada2. Portanto para os testes de usabilidade serão selecionados 3 participantes.

Preparação

Na atividade de preparação, são realizadas as atividades comuns aos métodos de observação.

  • Buscar um evento
  • Comprar um ingresso
  • Visualizar meus pedidos
  • Cancelar Compra

Script

Para a realização dessas tarefas o entrevistador passará um script ao participante com as seguintes informações:

  • Opções que ele deve selecionar para buscar um evento, comprar um ingresso, visualizar pedido e cancelar compra.
  • Um evento para realizar a busca.
  • Método de pagamento.

Também será solicitado que a cada ação ele narre o que está fazendo.

Buscar um evento

Essa tarefa tem o intuito do participante realizar uma busca de um determinado evento selecionado pelo entrevistador.

O objetivo da tarefa consiste em verificar se o participante consegue realizar uma busca de um determinado evento sem problemas.

Nessa tarefa o participante deverá realizar uma busca de um evento descrito no script, essa busca o participante precisará utilizar o campo de pesquisa no qual selecionado aparecerá uma lista de evento, bastando escolher o evento para ser direcionado a uma nova tela do evento encontrado, no qual será indicado que selecione o evento com a localidade passada. Durante a execução dessa tarefa o participante será observado e cada ação será computada em busca de identificar os problemas. Depois serão realizadas algumas perguntas relacionadas a um feedback da tarefa realizada, apresentadas mais abaixo.

Comprar um ingresso

Nessa tarefa o participante tem que realizar a compra de um ingresso do evento selecionado na etapa anterior de buscar um evento.

O objetivo dessa tarefa consiste em determinar se o participante consegue comprar um ingresso seguindo os passos apresentados pelo script.

Para execução dessa tarefa, após o participante ter selecionado um evento com a tarefa de busca anteriormente, será orientado que realize a ação de comprar um ingresso. Nessa ação ele terá que selecionar 1 ingresso na área do ingresso orientada pelo script e dar continuidade na ação Comprar Ingresso. Dando procedimento em uma nova tela precisará escolher a forma de pagamento passada pelo script e concordar com os Termos de Uso para finalizar a compra. Durante a execução dessa tarefa o participante será observado e cada ação será computada em busca de identificar os problemas. Depois serão realizadas algumas perguntas relacionadas a um feedback da tarefa realizada, apresentadas mais abaixo.

Visualizar meus pedidos

Nessa tarefa o participante tem que acessar a parte de visualizar meus pedidos e encontrar pedidos já selecionados nas etapas anteriores.

O objetivo dessa tarefa é analisar se o participante por meio do protótipo consegue se localizar no sistema acessando a parte de visualizar meus pedidos.

Após a conclusão das duas tarefas anteriores, nessa tarefa será pedido que o participante visualize seu pedido comprado anteriormente, para isso o participante deverá selecionar a opção “Meu Perfil” sendo direcionado a uma nova tela com as informações do ingresso selecionado. Durante a execução dessa tarefa o participante será observado e cada ação será computada em busca de identificar os problemas. Depois serão realizadas algumas perguntas relacionadas a um feedback da tarefa realizada, apresentadas mais abaixo.

Cancelar Compra

Essa tarefa tem o intuito do participante realizar a tarefa de cancelar uma compra no protótipo de papel apresentado pelo entrevistador.

O objetivo dessa tarefa é verificar se o participante e capaz de executar a ação de cancelar uma compra, observando se possui algum problema que impossibilite de executá-la.

Na última tarefa será solicitada a partir da tela de “Meu Perfil” solicitando ao participante que realize a ação de Cancelar uma Compra. Para essa tarefa o participante precisará acessar a opção de “Ver Detalhes” sendo direcionado a uma nova tela com os detalhes do ingresso e com a opção de “Cancelar Comprar”, que selecionada aparecerá com modal para confirmar o cancelamento da compra. Durante a execução dessa tarefa o participante será observado e cada ação será computada em busca de identificar os problemas. Depois serão realizadas algumas perguntas relacionadas a um feedback da tarefa realizada, apresentadas mais abaixo.

Custos

A realização das entrevistas não pode gerar custos a equipe e ao usuário, portanto, elas deverão ser feitas utilizando as seguintes ferramentas:

Vale resaltar que os equipamentos necessários serão quaisquer dispositivos com acesso a internet, aos aplicativos de comunicação e a um navegador de internet que os envolvidos possuírem.

Prazos

Em relação aos prazos, as entrevistas estão documentadas na tabela 2, sendo apresentado um cronograma com seus tópicos e logo abaixo a tabela 2 com as entrevistas:

  • Entrevistador;
  • Entrevistado;
  • Horário de início e fim;
  • Local e data que ocorreu a entrevista.

As gravações e resultados de cada entrevista podem ser encontrandas AQUI

Tabela 2 - Cronograma provável da Avaliação.

Entrevistadores Usuário Data Início-Fim Local
Douglas Alves Josué Teixeira 21/06/2023 12:40-12:47 FGA - Sala I2
Douglas Alves Abdul Hannan 21/06/2023 12:50-12:57 FGA - Sala I2
Douglas Alves Karen Júlia 21/06/2023 13:00-13:07 FGA - Sala I2
Douglas Alves Sidney Fernando 21/06/2023 13:10-13:17 FGA - Sala I2

Fonte - Rafael Ferreira.

Roteiro de Perguntas

Na entrevista estarão disponíveis capturas de tela para que o usuário possa ver a tarefa da qual o entrevistador estará comentando e a tabela com o seu fluxo. A tabela 3 a seguir mostra o roteiro de perguntas a serem realizadas aos usuários após o termino da avaliação. Já as as perguntas da tabela 4 tem como objetivo guiar os avaliadores com relação aos principais pontos a serem levados em consideração. Essas perguntas foram baseadas nas perguntas a serem repondidas na avaliação.

Tabela 3 - Perguntas ao usuário.

ID Enunciado Resposta Justificativa
1 A interface apresentada foi de fácil utilização? Aberta Justifique
2 Você acredita que as tarefas solicitadas correspondem com ações reais? Aberta Justifique
3 Alguma sugestão com relação à dispozição dos elementos na tela? Aberta Justifique
4 Você encontrou alguma dificuldade ao realizar as tarefas designadas durante o teste? Aberta Justifique
5 Você encontrou alguma inconsistência ou erro durante o uso da interface? Aberta Justifique

Fonte Rafael Ferreira e Gabriel Campello.

Tabela 4 - Diretriz.

ID Enunciado Resposta
1 O usuário conseguiu operar o sistema Fechada
2 Ele atinge seu objetivo? Com quanta eficiência? Em quanto tempo? Após cometer quantos erros? Aberta
3 Ele entendeu o que deveria ser feito em seguida? Fechada
4 Onde esses problemas se manifestam? Com que frequência tendem a ocorrer? Qual é a gravidade desses problemas? Aberta
5 Quais barreiras o usuário encontrou ao atingir seus objetivos? Aberta
6 Quantas vezes os usuários consultaram a ajuda on-line ou o manual de usuário? Aberta

Fonte Rafael Ferreira e Gabriel Campello.

Execução do roteiro

O entrevistador precisa instigar o usuário a explicitar suas ideias, de maneira verbal ou ilustrativa, em caso de discordância. Além disso, toda alteração proposta pelo usuário precisa ser anotada pelo entrevistador e, posteriormente, avaliada em conjunto para ser validada junto ao usuário ao final da atividade.

D - Lidando com as Questões Éticas

Em cada entrevista será apresentado a eles um termo de consentimento baseado no seguinte modelo, e a avaliação continuará somente caso haja o consentimento destes.

E - Avaliar, Interpretar e Apresentar os Dados

Após a realização da avaliação, os dados serão documentados e tratados, levando em conta o contexto em que eles foram produzidos, julgando se possuem alto grau de confiabilidade e que podem ser generalizados para representar a população de usuários do site.

O que envolve registrar os problemas, dificuldades durante a interação, podem envolver questões de usabilidade, funcionalidades ausentes e problemas de desempenho. Serão anotadas as descrições dos problemas, sua classificação, sugestões de melhoria, captar o feedback do usuário e ao fim da entrevistas documentar as observações gerais a serem feitas a cerca da entrevista realizada.

Realizada a etapa anteriormente mencionada, os dados serão apresentados ao time de desenvolvimento, procurando com isso obter o máximo de informação relevante para o desenvolvimento do projeto.

Planejamento do Teste Piloto

Segundo Barbosa e Silva (2011, p.276) o objetivo desse teste é avaliar o próprio planejamento, e analisar se a avaliação, tal como planejada, produz os dados necessários para responder a questões e objetivos do estudo. O avaliador deve conduzir o teste-piloto como se fosse uma sessão normal de avaliação. Dessa forma, ele tem oportunidade de verificar se a linguagem nas explicações e nos materiais fornecidos é clara e objetiva, e se esses materiais contêm informações adequadas e suficientes para orientar o participante durante a avaliação.

Dito isso, a execução do teste-piloto será realizado no dia 20 de junho de 2023 e com a presença dos integrantes Douglas Alves e Rafael Ferreira.

Resultado do Teste Piloto

Após realizar o teste piloto deve ser postado abaixo.

Clique aqui

Fonte: Douglas Alves e Rafael Ferreira.

Bibliografia

Estruturado a partir do Planejamento da Avaliação da Análise de Tarefas. Disponível em: <https://interacao-humano-computador.github.io/2023.1-BilheteriaDigital/design-avaliacao-desenvolvimento/nivel-1/analise-de-tarefas-dad/planejamento-avaliavao-at/>.Acesso em 18 de junho de 2023.

Planejamento da avaliação do protótipo de papel do Grupo do Detran GO. Disponível em: <https://interacao-humano-computador.github.io/2023.1-DetranGO/design_avaliacao/nivel2/prototipoPapel/planejamentoAvaliacao/>.Acesso em 18 de junho de 2023.

Referências Bibliográficas

1. BARBOSA, S. D. J.; SILVA, B. S. Interação Humano-Computador. Rio de Janeiro: Elsevier, 2011.

2. Teste de Usabilidade (Objetivos, Planejamento, Número de Participantes, Especificação das tarefas e cenários e Relato)

Histórico de Versão

Versão Data Descrição Autor(es) Revisor(es)
1.0 10/06/2023 Criação da página. Rafael Ferreira e Gabriel Campello Arthur de Melo
2.0 18/06/2023 Padronização do planejamento conforme a verificação realizada no artefato Rafael Ferreira Arthur de Melo