Planejamento da Avaliação do Protótipo de Alta Fidelidade
Introdução
A avaliação é um processo que permite encontrar problemas que passaram desapercebidos no processo de produção, permitindo melhor qualidade no que é produzido. Este artefato tem como objetivo planejar a avaliação do Protótipo de alta de fidelidade definindo os objetivos que desejam ser alcançados pela avaliação e a maneira como toda a avaliação será realizada, desde os métodos utilizados até a realização do teste piloto.
Metodologia
Para realizar esse planejamento será utilizado o framework DECIDE, onde cada letra da palavra é uma etapa a ser realizada no planejamento. A tabela 1 a seguir apresenta o significado de cada letra.
Tabela 1 - Letras da palavra DECIDE com os seus significados.
| Letra | Definição |
|---|---|
| D | Determinar os objetivos da avaliação. |
| E | Explorar perguntas a serem respondidas com a avaliação. |
| C | Escolher os métodos de avaliação a serem utilizados. |
| I | Identificar e administrar as questões práticas da avaliação. |
| D | Decidir como lidar com as questões éticas. |
| E | Avaliar, interpretar e apresentar os dados |
Fonte - BARBOSA e SILVA (2011).
Objetivo
O protótipo de alta fidelidade utiliza materiais que são esperados no produto final, sendo muito útil para vender ideias a pessoas e testar questões técnicas. Portanto, os objetivos dessa avaliação são:
- Identificar problemas na interação e Interface;
- Verificar a conformidade com um padrão
- comparar ideias e alternativas de design
E - Explorar Perguntas Respondidas com a Avaliação
Com base no objetivo da avaliação foram preparadas perguntas baseadas nos seguintes tópicos:
- Identificar problemas na interação e Interface;
- Verificar a conformidade com um padrão
- comparar ideias e alternativas de design
As perguntas selecionadas tem o intuito de serem respondidas com essa avaliação e foram feitas com base no Captítulo 11 da literatura de Barbosa e Silva (2011, p.266)1 e com base no perfil de usuário definido do projeto e as metas de usabilidade esperadas, as perguntas selecionadas foram as seguintes:
Objetivo: Identificar problemas na interação e Interface
- Que parte da interface e da interação do protótipo de alta fidelidade deixa o usuário insatisfeito?
- Foi possível identificar problemas de usabilidade preliminares?
Objetivo: Verificar a conformidade com um padrão
-
O protótipo de alta fidelidade segue um padrão entre seus elementos e interfaces?
-
Os termos na interface seguem convenções estabelecidas no domínio?
Objetivo: comparar ideias e alternativas de design
- Foi observado alguma sugestão de melhoria para o protótipo proposto?
- Foi possível identificar ideias principais de design?
C - Escolher os Métodos de Avaliação
O método de avaliação que será utilizado para o protótipo de alta fidelidade será o teste de usabilidade, que visa avaliar a usabilidade de um sistema interativo a partir de experiências de uso dos seus usuários-alvo. Como definido na literatura de Barbosa e Silva ^1^ os testes de usabilidade devem seguir as metas de usabilidade definidas para o projeto, a fim de avaliar se o sistema as atingiu.
A escolha se dá pelo fato de ser um método que permite coletar muitas informações, além de ser flexível permite fazer perguntas que aprofundam ainda mais os objetivos a serem alcançados pelos usuários. Ademais, tal entrevista deve ser estritamente gravada e documentada.
I - Identificar Questões Práticas da Avaliação
Recrutamento
Os participantes foram definidos com base no Perfil de Usuário.
Preparação
O recrutamento dos participantes da avaliação será feito através de convites direcionados aos usuários da plataforma. Para a avaliação, serão selecionados cinco participantes, conforme a recomendação de Dumas e Redish. A tabela 1 apresenta as funcionalidades que serão avaliadas.
Tabela 1: Tarefas que serão avaliada
| Tarefas que serão executadas na avaliação |
|---|
| Consultar Contas Pagas |
| Consultar Falta de Água |
| Emitir segunda via da conta |
| Informar vazamento na rua |
| Revisão de Conta |
| Consultar Qualidade da Água |
| Situação de débitos |
Fonte: Jefferson Sena e Tiago Albuquerque
Prazos
Em relação aos prazos, a tabela 2 apresenta um cronograma da realização de cada entrevista com o entrevistador responsável, o participante, a data, hora e local. Esse cronograma planejado está dentro do prazo máximo para a realização dessa etapa, uma vez que essas deverão ser realizadas até dia 29 de novembro.
Tabela 2 - Cronograma provável da Avaliação.
| Entrevistadores | Usuário | Data | Início-Fim | Local |
|---|---|---|---|---|
| Jeferson | Emanuel | 25/11 | 15:00-15:20 | Residência do usuário |
| Tiago | Juan | 28/11 | 13:20-13:25 | Faculdade do Gama - FGA |
| Rodrigo | José | 28/11 | 13:10-13:15 | Faculdade do Gama - FGA |
| Leandro | Danilo | 25/11 | 15:00-15:20 | Residência do usuário |
| Mateus | Gabriel | 27/11 | 18:30-18:50 | Residência do usuário |
| Oscar | Carolina | 27/11 | 15:50-16:00 | Faculdade do Gama - FGA |
| Pedro | Gerson | 26/11 | 17:30-17:40 | Residência do usuário |
Fonte: Jefferson Sena e Tiago Albuquerque.
Ferramentas
Para a realização da entrevista, será utilizado um notebook com câmera e acesso à internet, para que o usuário utilize o protótipo de alta fidelidade e seja possível registrar suas expressões durante a interação com o protótipo. Além disso, será utilizado um script com o roteiro das perguntas a serem realizadas, e por fim uma segunda câmera, para registrar a gravação mais ampla, incluindo o entrevistador e o entrevistado, durante a realização das perguntas.
Mão de obra
Para a realização da entrevista é esperado uma mão de obra de 3 membros do grupo, com um deles agindo como o entrevistador, o segundo realizando a gravação da entrevista e por fim o último registrando suas percepções durante a entrevista e as respostas do usuário para cada pergunta.
Roteiro de Perguntas
Na entrevista, estará disponível ao usuário o fluxo da tarefa para orientação. Dentre as perguntas a serem analisadas, a tabela 3 apresenta as perguntas que serão feitas ao participante ao final da entrevista e a tabela 4 as perguntas para guiar os avaliadores em relação aos principais pontos da análise.
Tabela 3 - Perguntas ao usuário.
| ID | Enunciado | Resposta | Justificativa |
|---|---|---|---|
| 1 | A interface apresentada foi de fácil utilização? | ||
| 2 | Você acredita que as tarefas solicitadas correspondem com ações reais? | ||
| 3 | Alguma sugestão com relação à disposição dos elementos na tela? | ||
| 4 | Você encontrou alguma dificuldade ao realizar as tarefas designadas durante o teste? | ||
| 5 | Você encontrou alguma inconsistência ou erro durante o uso da interface? |
Fonte: Jefferson Sena e Tiago Albuquerque.
Tabela 4 - Diretriz.
| ID | Perguntas a serem analisadas | Resposta |
|---|---|---|
| 1 | O usuário conseguiu operar o sistema? | |
| 2 | O usuário atinge o objetivo da tarefa? Em quanto tempo? Após cometer quantos erros? | |
| 3 | O usuário entendeu o que deveria ser feito em seguida? | |
| 4 | Onde esses problemas se manifestam? Com que frequência tendem a ocorrer? Qual é a gravidade desses problemas? | |
| 5 | Quais barreiras o usuário encontrou ao atingir seus objetivos? | |
| 6 | O usuário consultou ajuda on-line ou manual para alguma operação? |
Fonte: Jefferson Sena e Tiago Albuquerque.
Execução do roteiro
O entrevistador deve orientar o usuário a explicar suas ideias de maneira verbal em caso de discordância. Todas as alterações propostas devem ser registradas pelo entrevistador para análise e validação.
D - Lidando com as Questões Éticas
Com o objetivo de obter autorização dos participantes assegurando o respeito e preservação da imagem, será apresentado o Termo de Consentimento previsto na seção aspectos éticos. Com isso, haverá a garantia da realização da atividade apenas com o consentimento do participante.
E - Avaliar, Interpretar e Apresentar os Dados
Após realizar a avaliação, os dados serão documentados e tratados, considerando o contexto em que foram produzidos e analisando o grau de confiabilidade verificando se podem ser generalizados para representar os usuários do site. Para isso, serão registrados os problemas e dificuldades durante a interação, as questões de usabilidade, problemas de desempenho e funcionalidades ausentes. Os problemas serão descritos, classificados e proposto sugestões de melhoria. Também serão registrados o feedback do usuário e observações gerais quanto a entrevista realizada.
Planejamento do Teste Piloto
Este teste, possui como objetivo avaliar o próprio planejamento e se a avaliação produz dados que respondam as questões e objetivos do estudo. Durante o teste piloto, o avaliador conduz simulando uma sessão de avaliação realizando, dessa forma, a verificação da clareza e objetividade da linguagem nas explicações e nos materiais fornecidos. Também será verificado se os materiais contêm informações adequadas e suficientes que orientam o participante durante a avaliação.
Sendo assim, o teste-piloto será realizado no dia 22 de novembro de 2023 com a presença dos integrantes Jefferson Sena e Tiago Albuquerque
Fonte: Jefferson Sena e Tiago Albuquerque.
Bibliografia
1. Bilheteria Digital. Guia de estilo. Repositório do Grupo Bilheteria Digital da disciplina de Interação Humano Computador da Universidade de Brasília, 2023. Disponível em: https://interacao-humano-computador.github.io/2023.1-BilheteriaDigital/analise-de-requisitos/guia-de-estilo/. Acesso em: 22 de novembro 2023.
2. PREECE, ENNIFER; ROGERS, YVONNE; SHARP, HELEN. Design de Interação: Além da interação homem-computador. John Wiley e Sons. São Paulo - SP. 1ª Edição. Editora Erica, 2005.
Referências Bibliográficas
1. BARBOSA, S. D. J.; SILVA, B. S. Interação Humano-Computador. Rio de Janeiro: Elsevier, 2011.
Histórico de Versão
| Versão | Data | Descrição | Autor(es) | Revisor(es) |
|---|---|---|---|---|
| 1.0 | 22/11/2023 | Adicionando página | Jefferson Sena e Tiago Albuquerque | Rodrigo |
| 2.0 | 05/12/2023 | Realizando correções com base na verificação | Pedro Henrique | Jefferson |