Planejamento da avaliação do protótipo de alta fidelidade

Introdução

De acordo com Simone Barbosa e Bruno Diniz [1], a avaliação de IHC é um componente do desenvolvimento de sistemas interativos que visam proporcionar uma alta qualidade de uso. Ela orienta o avaliador a fazer um julgamento de valor sobre a qualidade de uso da solução de IHC e a identificar problemas na interação e na interface que prejudiquem a experiência do usuário durante o uso do sistema. Os métodos de observação permitem ao avaliador coletar dados sobre situações em que os participantes realizam suas atividades, com ou sem apoio de tecnologia computacional. O registro e a análise desses dados permitem identificar problemas reais que os participantes enfrentaram, e não apenas problemas potenciais previstos pelo avaliador como em uma avaliação por inspeção.

A Tabela 1 apresenta as tarefas a serem prototipadas e usadas durante a avaliação para o Nota Legal.

Tabela 1: Tarefas do Nota Legal

Número	Tarefas que podem ser executadas no site do Nota Legal
1	Registrar nova reclamação
2	Desbloquear saldo
3	Consultar estabelecimento
4	Visualizar recibo fiscal
5	Consultar reclamação
6	Consultar extrato
7	Consultar resultado de sorteio

Fonte: Gabriel Rosa e Lucas Ribeiro, 2023

Planejamento

Neste planejamento, seguiremos o framework DECIDE, proposto por Sharp, Rogers e Preece [3], para orientar o processo de avaliação. As etapas do DECIDE incluem:

• Determinar os objetivos da avaliação: Estabelecer os objetivos gerais da avaliação, como identificar problemas de usabilidade na tarefa de consulta de benefícios fiscais.

• Explorar perguntas a serem respondidas: Elaborar perguntas específicas que orientarão a investigação e análise durante a avaliação.

• Escolher os métodos de avaliação: Selecionar os métodos mais adequados para responder às perguntas e atingir os objetivos.

• Identificar e lidar com questões práticas: Abordar questões práticas, como o recrutamento de participantes e a preparação de equipamentos.

• Decidir sobre questões éticas: Considerar os princípios éticos que nortearão a avaliação, garantindo o respeito aos participantes.

• Avaliar, interpretar e apresentar os dados: Analisar os dados coletados e apresentar os resultados.

A Tabela 2 resume as etapas do DECIDE e seu significado.

Tabela 2: Significado da sigla DECIDE

Letra	Significado
D	Determinar os objetivos gerais da avaliação
E	Explorar perguntas a serem feitas na avaliação
C	Escolher os métodos de avaliação
I	Identificar e administrar as questões práticas da avaliação
D	Decidir como lidar com as questões éticas
E	Avaliar, interpretar e apresentar os dados

Fonte:

Fonte: Gabriel Zaranza, 2023

D - Determinar os objetivos

O propósito desta avaliação é coletar informações dos interessados, principalmente dos usuários, sobre suas interações com o sistema Nota Legal. Além disso, busca-se identificar quaisquer problemas de interface que possam prejudicar a experiência do usuário e coletar feedback sobre a utilização do sistema. Serão levados em consideração critérios de qualidade como usabilidade, experiência do usuário, acessibilidade e comunicabilidade. Essas prototipações de uso permitem identificar quais partes da interface estão funcionando bem e quais apresentam problemas de usabilidade. O planejamento é fundamental neste processo, pois uma avaliação adequada da qualidade de uso pode evitar o desperdício de tempo e recursos financeiros. Os aspectos a serem avaliados têm como objetivo: Identificar problemas na interação e na interface do sistema[1] .

E - Explorar perguntas

No processo de avaliação de IHC, é preciso detalhar o objeitvo em perguntas para torna-las operacionais [3]. As perguntas a serem exploradas nessa avaliação foram retiradas do livro Interação Humano-Computador da Simone Barbosa[1] e abordam os seguintes tópicos:

• partes da interface que funcionaram bem e as que não funcionaram
• quais tarefas foram concluídas com sucesso
• quais erros foram cometidos
• quais comentários foram feitos
• além de quaisquer outros dados que possam ajudá-lo a avaliar a qualidade da interface

Ao final da simulação de uso, algumas perguntas serão respondidas pelo avaliador sobre a experiência do usuário com o protótipo durante a avaliação. A Tabela 3 lista as perguntas a serem respondidas.

Tabela 3: Questões a serem respondidas pelo avaliador

ID	Perguntas	Tipo de pergunta	Respostas possíveis
1	O usuário consegue operar o sistema?	Fechada	Sim Não
2	O usuário atingiu seu objetivo?	Fechada	Sim Não
3	Caso a resposta anterior seja não, que problemas de IHC dificultaram ou impediram o usuário de alcançar seu objetivo?	Aberta	Resposta Discursiva
4	Quais barreiras o usuário encontrou para atingir seus objetivos?	Aberta	Resposta Discursiva
5	Onde esses problemas se manidestaram e quais são as suas gravidades?	Aberta	Resposta Discursiva
6	Caso o usuário conseguiu atingir o seu objetivo, em quanto tempo e aṕos quantos erros ele realizou a tarefa ?	Aberta	Resposta discursiva
7	Qual parte da interface ou da interação o usuário ficou se sentiu insastifeito?	Aberta	Resposta discursiva
8	O usuário entendeu o que significa e para que serve cada elemento de interface?	Fechada	Sim Não
9	Caso a resposta anterior seja não, quais foram os elementos e o que o usuário não entedeu?	Aberta	Resposta Discursiva

Fonte: Gabriel Zaranza

C - Escolher os métodos

O método escolhido para esta avaliação será o Teste de Usabilidade. Serão realizadas individualmente com os participantes, permitindo uma interação direta para obter informações detalhadas sobre suas experiências e percepções. O uso do Teste de Usabilidade permitirá a coleta de dados qualitativos valiosos.

As perguntas da entrevista foram projetadas para serem abertas e fechadas, permitindo que os participantes expressem suas opiniões de maneira livre, mas também fornecendo respostas estruturadas que facilitarão a análise.

I - Identificar e administrar as questões práticas da avaliação

Na condução de uma boa avaliação, é essencial atender a uma série de aspectos práticos que garantem a atenção e a precisão do processo. Nesta seção, abordaremos três elementos-chave:

Recrutamento

Para a Avaliação do Protótipo de alta fidelidade, o recrutamento dos usuários será uma responsabilidade compartilhada por todos os integrantes da equipe. Cada membro terá a tarefa de recrutar um usuário de acordo com o Perfil de Usuário estabelecido. Esse processo de recrutamento é essencial para garantir que tenhamos uma variedade representativa de usuários, proporcionando uma avaliação abrangente e significativa do protótipo.

Preparação

Cada membro da equipe é encarregado de preparar e organizar os recursos necessários para sua própria avaliação. Isso inclui a definição do local da avaliação (presencial ou remoto), horário das entrevistas, preparação de materiais e equipamentos (como as perguntas a serem feitas durante a entrevista, câmera, gravador de voz etc.) e a elaboração do termo de consentimento. Esta distribuição de responsabilidades garante que cada avaliação seja conduzida de maneira adequada e eficiente, com todos os recursos essenciais disponíveis para uma avaliação completa e detalhada do protótipo.

Cronograma

O cronograma da avaliação está detalhado na Tabela 2, na qual cada sessão de avaliação é identificada pelo nome do avaliador (membro da equipe), usuário, horário de início e término da entrevista, além da data e do local onde ocorreu.

Tabela 4: Cronograma das avaliações do Protótipo de Alta fidelidade

Protótipo de Alta Fidelidade	Avaliador(a)	Usuário(a)	Horário de início	Horário de fim	Data	Local
Registrar uma reclamação	Gabriel Rosa	Wellington Rosa	18:00	18:15	25/11/2023	Presencial
Desbloquear saldo	Gabriel Zaranza	Carlos Barrto	18:00	18:15	25/11/2023	Presencial
Consultar estabelecimento	Izabella Alves	Elaime Alves	17:00	17:15	25/11/2023	Presencial
Visualizar Recibo Fiscal	Lucas de Oliveira	Francinete de Oliveira Dias	20:30	20:45	25/11/2023	Presencial
Consultar reclamação	Lucas Ribeiro	Ana Clara	20:00	20:15	25/11/2023	Presencial
Consultar extrato	Lucas Víctor	Alecsandra Araújo	20:15	20:30	25/11/2023	Presencial
Consultar resultado de sorteio	Zenilda Vieira	João Lucas	10:00	10:15	25/11/2023	presencial

Fonte: Gabriel Zaranza, 2023.

D - Decidir como lidar com as questões éticas

A ética na avaliação é um aspecto fundamental para garantir a qualidade e a confiabilidade da pesquisa, bem como o respeito pelos participantes e suas opiniões. Por isso, nesta avaliação, seguiremos rigorosamente os princípios éticos que orientam a prática científica.

Um desses princípios é o respeito à privacidade e confidencialidade dos participantes. Todos os dados que coletarmos serão tratados com sigilo e usados apenas para os fins desta pesquisa. Em nenhum momento, divulgaremos ou compartilharemos esses dados com outras pessoas ou instituições.

Outro princípio é o consentimento informado dos participantes. Antes de iniciar as entrevistas, explicaremos aos participantes os objetivos da pesquisa, os procedimentos que serão realizados, os benefícios e os riscos envolvidos, e as formas de contato com os pesquisadores. Os participantes terão a liberdade de aceitar ou recusar sua participação, e de retirar seu consentimento a qualquer momento, sem sofrer qualquer prejuízo ou penalidade.

Além disso, todos os participantes deverão assinar o nosso Termo de Consentimento Livre e Esclarecido, que está descrito no nosso documento de Aspectos Éticos, adaptado especificamente para esta avaliação. Esse termo visa formalizar a autorização dos participantes para realizarmos as atividades necessárias para a elaboração deste artefato, assegurando o seu respeito durante e após a atividade.

Esses princípios éticos são a base sobre a qual realizamos esta avaliação, buscando não apenas obter resultados válidos e confiáveis, mas também preservar os direitos e a dignidade de todos os envolvidos. Nosso Termo de Consentimento Livre e Esclarecido pode ser acessado em sua totalidade pelo link: Aspectos éticos. Abaixo temos nosso Termo de Consentimento Livre e Esclarecido:

Além disso, todos os participantes deverão concordar o nosso Termo de Consentimento Livre e Esclarecido, descrito no nosso documento de Aspectos éticos, que foi modificado exatamente para a avaliação em questão e está descrito abaixo. O objetivo é obter a permissão dos participantes para realizar as atividades necessárias na criação desse artefato, garantindo o respeito por parte dos participantes durante e após a atividade.

TERMO DE CONSENTIMENTO PARA PARTICIPAÇÃO

Título da Pesquisa: Avaliação do Protótipo de Alta Fidelidade do Site "Nota Legal"

Instituição: Faculdade do Gama - Universidade de Brasília (FGA/UNB)

Disciplina: Interação Humano-Computador

Prezado(a) participante,

Você está sendo convidado(a) a participar de uma pesquisa acadêmica conduzida por estudantes da Faculdade do Gama - Universidade de Brasília (FGA/UNB), como parte da disciplina de Interação Humano-Computador. O objetivo desta pesquisa é avaliar o Protótipo de Alta Fidelidade do site "Nota Legal".

Duração: A pesquisa deve levar em média 10 minutos para ser concluída.

Riscos e Benefícios: Não são esperados riscos significativos ao participar desta pesquisa. Os benefícios incluem contribuir para a validação do protótipo de alta fidelidade do site "Nota Legal" e ajudar a melhorar sua usabilidade.

Confidencialidade: Suas respostas serão mantidas em estrita confidencialidade. Os dados coletados serão usados apenas para fins acadêmicos e não serão compartilhados com terceiros não autorizados. Seus dados pessoais não serão divulgados em nenhum momento.

Participação Voluntária: Sua participação nesta pesquisa é totalmente voluntária. Você tem o direito de recusar-se a participar ou de interromper sua participação a qualquer momento, sem penalizações.

Contato: Se tiver alguma dúvida ou preocupação sobre esta pesquisa, entre em contato com [integrante da equipe responsável pelo protótipo de papel], responsável pela entrevista, pelo e-mail [email do integrante da equipe].

Consentimento: Ao prosseguir com a pesquisa, você está indicando que leu este termo de consentimento, entendeu seus direitos e concorda em participar voluntariamente. Você pode retirar seu consentimento a qualquer momento, sem consequências negativas.

Se você concorda em participar desta pesquisa, clique no botão "Concordo" abaixo.

• [ ] Concordo em participar da pesquisa.

• [ ] Não concordo em participar da pesquisa.

Agradecemos sua disposição em contribuir para esta pesquisa acadêmica. Seu apoio é fundamental para o sucesso deste estudo.

E - Avaliar, interpretar e apresentar os dados

Após a conclusão da avaliação, todos os dados coletados serão cuidadosamente documentados em um relatório abrangente. Este relatório terá como foco principal a análise se os objetivos estabelecidos pelo grupo foram alcançados. Caso não tenham sido atendidos, o relatório fornecerá insights sobre as áreas que precisam ser aprimoradas e como essas melhorias podem ser implementadas.

O planejamento detalhado sobre como os resultados serão apresentados está disponível no documento de Planejamento de Relato dos Resultados do Protótipo de Alta Fidelidade. Este plano garantirá que todas as descobertas sejam comunicadas de forma clara e eficaz, destacando não apenas as conquistas, mas também as oportunidades de melhoria identificadas durante o processo de avaliação.

Planejamento e realização do Teste Piloto

Um teste piloto é, de acordo com Barbosa e Silva, no livro Interação Humano Computador [4], uma etapa cujo propósito reside na avaliação do planejamento em si. Além disso, busca-se analisar se a avaliação, conforme inicialmente delineada, gera os dados necessários para abordar as questões e objetivos do estudo. O avaliador deve conduzir o teste-piloto de maneira análoga a uma sessão de avaliação convencional. Desse modo, ele tem a oportunidade de verificar se a linguagem utilizada nas explicações e nos materiais fornecidos é clara e objetiva, e se esses materiais contêm informações adequadas e suficientes para guiar o participante durante a avaliação.

O objetivo desta avaliação é verificar a usabilidade dos Protótipos de Alta Fidelidade elaborados pelos integrantes do grupo e se eles servem como uma nova proposta de design do site "Nota Legal". Para isso, realizamos um teste piloto no dia 20 de Novembro de 2023, das 12h às 12h20, com a participação do integrante Lucas Victor como mediador e da integrante Zenilda Veira como usuária do site em estudo. O termo de consentimento livre e esclarecido foi lido para o participante, e ao aceite, o teste seguiu. O mediador explicou qual tarefa a usuária teria que realizar e foi iniciada a observação do uso do protótipo. Ao final, o mediador questionou alguns pontos para a usuária, para completar a observação do uso do protótipo. O vídeo 1 mostra o registro do teste piloto.

Vídeo 1: Teste piloto do planejamento da avaliação do Protótipo de Alta Fidelidade

Fonte: Lucas Victor e Zenilda Vieira, 2023

Após o fim do teste piloto, os dados coletados foram avaliados e concluiu-se que o planejamento da avaliação do protótipo de alta fidelidade pode ser usado para avaliar as tarefas de cada integrante do grupo.

Referência Bibliográfica

[1] SIMONE DINIZ JUNQUEIRO BARBOSA, BRUNO SANTANA DA SILVA, Interação Humano-Computador, 1a. Edição, Editora Campus, 2010. Acessado em: 30/10/2023.

[2] Snyder, C. Paper Prototyping: the fast and easy way to design and refine user interfaces. San Francisco, CA: Morgan Kaufmann, 2003.

[3] Sharp, H.; Rogers, Y.; Preece, J. Interaction design: beyond human-computer interaction, 2a edição. New York, NY: John Wiley & Sons, 2007.

[4] BARBOSA, Simone; DINIZ, Bruno. Interação Humano-Computador. Editora Elsevier, Rio de Janeiro, 2010.

Histórico de Versões

Versão	Data	Descrição	Autor	Revisor
1.0	16/11/2023	Criação do documento	Gabriel Zaranza	Izabella Alves
1.1	16/11/2023	Adição das letras "D", "E", "C"	Lucas de Oliveira	Izabella Alves
1.2	18/11/2023	Adição das letras "I", "D", "E" e do planejamento do teste piloto	Lucas de Oliveira	Izabella Alves
1.3	20/11/2023	Adição do resultado do teste piloto	Zenilda Vieira e Lucas Victor	Izabella Alves