Planejamento da avaliação do protótipo de papel

Introdução

De acordo com Simone Barbosa e Bruno Diniz [1], a avaliação de IHC é um componente do desenvolvimento de sistemas interativos que visam proporcionar uma alta qualidade de uso. Ela orienta o avaliador a fazer um julgamento de valor sobre a qualidade de uso da solução de IHC e a identificar problemas na interação e na interface que prejudiquem a experiência do usuário durante o uso do sistema. Os métodos de observação permitem ao avaliador coletar dados sobre situações em que os participantes realizam suas atividades, com ou sem apoio de tecnologia computacional. O registro e a análise desses dados permitem identificar problemas reais que os participantes enfrentaram, e não apenas problemas potenciais previstos pelo avaliador como em uma avaliação por inspeção.

O principal objetivo é comparar e avaliar ideias e alternativas de design através de um uso real pelos usuários, foi escolhido o método de avaliação de prototipação em papel, através de simulações de uso. Snyder [2] descreve que esse método avalia a usabilidade de um design de IHC representado em papel, através de simulações de uso com a participação de potenciais usuários.

A Tabela 1 apresenta as tarefas a serem prototipadas e usadas durante a avaliação para o Nota Legal. O objetivo da simulação é avaliar a interface e interação delas, visando melhorá-las para o protótipo de alta fidelidade.

Tabela 1: Tarefas do Nota Legal

Número	Tarefas que podem ser executadas no site do Nota Legal
1	Registrar nova reclamação
2	Desbloquear saldo
3	Consultar estabelecimento
4	Visualizar recibo fiscal
5	Consultar reclamação
6	Consultar extrato
7	Consultar resultado de sorteio

Fonte: Gabriel Rosa e Lucas Ribeiro, 2023

Planejamento

Neste planejamento, seguiremos o framework DECIDE, proposto por Sharp, Rogers e Preece [3], para orientar o processo de avaliação. As etapas do DECIDE incluem:

Determinar os objetivos da avaliação: Estabelecer os objetivos gerais da avaliação, como identificar problemas de usabilidade na tarefa de consulta de benefícios fiscais.
Explorar perguntas a serem respondidas: Elaborar perguntas específicas que orientarão a investigação e análise durante a avaliação.
Escolher os métodos de avaliação: Selecionar os métodos mais adequados para responder às perguntas e atingir os objetivos.
Identificar e lidar com questões práticas: Abordar questões práticas, como o recrutamento de participantes e a preparação de equipamentos.
Decidir sobre questões éticas: Considerar os princípios éticos que nortearão a avaliação, garantindo o respeito aos participantes.
Avaliar, interpretar e apresentar os dados: Analisar os dados coletados e apresentar os resultados.

A Tabela 2 resume as etapas do DECIDE e seu significado.

Tabela 2: Significado da sigla DECIDE

Letra	Significado
D	Determinar os objetivos gerais da avaliação
E	Explorar perguntas a serem feitas na avaliação
C	Escolher os métodos de avaliação
I	Identificar e administrar as questões práticas da avaliação
D	Decidir como lidar com as questões éticas
E	Avaliar, interpretar e apresentar os dados

Fonte: Gabriel Rosa e Lucas Ribeiro, 2023

D - Determinar os objetivos

O propósito desta avaliação é coletar informações dos interessados, principalmente dos usuários, sobre suas interações com o sistema Nota Legal. Além disso, busca-se identificar quaisquer problemas de interface que possam prejudicar a experiência do usuário e coletar feedback sobre a utilização do sistema. Serão levados em consideração critérios de qualidade como usabilidade, experiência do usuário, acessibilidade e comunicabilidade. Essas simulações de uso permitem identificar quais partes da interface estão funcionando bem e quais apresentam problemas de usabilidade. O planejamento é fundamental neste processo, pois uma avaliação adequada da qualidade de uso pode evitar o desperdício de tempo e recursos financeiros. Os aspectos a serem avaliados têm como objetivos:

(1) Avaliar e comparar diferentes ideias e alternativas de design

(2) Identificar problemas na interação e na interface do sistema.

E - Explorar perguntas

Na prototipação em papel, geralmente temos dois avaliadores: um que simula o comportamento do sistema e outro que observa a experiência do usuário. A principal maneira de coletar dados é através das observações feitas pelo avaliador que está observando a simulação. O avaliador que está analisando a interação do usuário com o protótipo deve prestar atenção nos seguintes pontos:

partes da interface que funcionaram bem e as que não funcionaram
quais tarefas foram concluídas com sucesso
quais erros foram cometidos
quais comentários foram feitos
além de quaisquer outros dados que possam ajudá-lo a avaliar a qualidade da interface

No final da simulação de uso, algumas perguntas serão feitas ao usuário sobre sua experiência com o protótipo durante a avaliação. A Tabela 3 lista as perguntas que serão feitas.

Tabela 3: Questões a serem tratadas na entrevista

Ordem das perguntas	Objetivos Relacionados	Perguntas	Tipo de pergunta	Respostas possíveis
1°	2	Após simular o uso dessa tarefa (citar a tarefa) no site Nota Legal, você considera a sequência de elementos de interação para executá-la coerente?	Fechada	Sim Não Caso sim, pedir para descrever o problema
2°	2	Alguma questão de interface ou terminologia do site Nota Legal o confundiu ou foi de difícil entendimento?	Aberta	Resposta discursiva
3°	1	A disposição dos elementos de interação no site Nota Legal auxiliaram na rapidez da execução da sua tarefa?	Fechada	Sim Não
4°	1	Em termos de layout e design do site Nota Legal, achou alguma parte estranha ou desconexa com o objetivo do site?	Fechada	Sim Não Caso sim, pedir para descrever
5°	1	Quais foram as partes do site Nota Legal que você achou mais intuitivas e fáceis de usar?	Aberta	Resposta Discursiva
6°	2	Você imagina alguma forma de melhorar esta tarefa no site Nota Legal?	Aberta	Resposta discursiva

Fonte: Gabriel Rosa e Lucas Ribeiro, 2023

C - Escolher os métodos

A metodologia de prototipação em papel, que foi selecionada para a avaliação, será submetida a uma simulação de uso. Esta simulação em papel é um procedimento eficiente e econômico para identificar potenciais problemas de usabilidade antes mesmo da implementação de uma solução interativa. Desta forma, este método se destaca como uma opção valiosa para uma avaliação formativa com os usuários, especialmente útil para comparar diferentes propostas de design. Ele permite a avaliação simplificada de soluções parciais, que não abrangem a totalidade da interface do usuário, bem como soluções de fidelidade baixa a média, que ainda não definem todos os detalhes da interface.

A prototipação em papel é particularmente útil nas fases iniciais do design, quando as ideias ainda estão sendo formadas e refinadas. Ela permite que os designers experimentem diferentes abordagens sem o compromisso de tempo e recursos necessários para desenvolver protótipos de alta fidelidade. Além disso, a natureza tangível e física da prototipação em papel pode facilitar a comunicação e a colaboração entre os membros da equipe de design e os usuários.

A simulação de uso é uma parte do processo de avaliação. Ela permite que os usuários interajam com o protótipo como se fosse o sistema real, proporcionando insights valiosos sobre como o design final deve ser. Através da observação direta das interações do usuário com o protótipo, os avaliadores podem identificar áreas problemáticas e oportunidades para melhorias.

No final da simulação de uso, é comum fazer perguntas ao usuário sobre sua experiência com o protótipo. Estas perguntas podem abordar vários aspectos, desde a coerência da sequência de elementos de interação até a disposição dos elementos na interface. As respostas a estas perguntas podem fornecer informações valiosas para refinar e melhorar o design.

I - Identificar e administrar as questões práticas da avaliação

Na condução de uma boa avaliação, é essencial atender a uma série de aspectos práticos que garantem a atenção e a precisão do processo. Nesta seção, abordaremos três elementos-chave:

Recrutamento

Para a Avaliação do Protótipo de Papel, o recrutamento dos usuários será uma responsabilidade compartilhada por todos os integrantes da equipe. Cada membro terá a tarefa de recrutar um usuário de acordo com o Perfil de Usuário estabelecido. Esse processo de recrutamento é essencial para garantir que tenhamos uma variedade representativa de usuários, proporcionando uma avaliação abrangente e significativa do protótipo.

Preparação

Cada membro da equipe é encarregado de preparar e organizar os recursos necessários para sua própria avaliação. Isso inclui a definição do local da avaliação (presencial ou remoto), horário das entrevistas, preparação de materiais e equipamentos (como as perguntas a serem feitas durante a entrevista, câmera, gravador de voz etc.) e a elaboração do termo de consentimento. Esta distribuição de responsabilidades garante que cada avaliação seja conduzida de maneira adequada e eficiente, com todos os recursos essenciais disponíveis para uma avaliação completa e detalhada do protótipo.

Cronograma

O cronograma da avaliação está detalhado na Tabela 2, na qual cada sessão de avaliação é identificada pelo nome do entrevistador (membro da equipe), entrevistado, horário de início e término da entrevista, além da data e do local onde ocorreu.

Tabela 4: Cronograma das avaliações do Protótipo de Papel

Protótipo de Papel	Entrevistador(a)	Entrevistado(a)	Horário de início	Horário de fim	Data	Local
Registrar uma reclamação	Gabriel Rosa	Wellington Rosa	18:00	18:15	11/11/2023	Presencial
Desbloquear saldo	Gabriel Zaranza	Carlos Barrto	18:00	18:15	10/11/2023	Presencial
Consultar estabelecimento	Izabella Alves	Elaime Alves	17:00	17:15	10/11/2023	Presencial
Visualizar Recibo Fiscal	Lucas de Oliveira	Francinete de Oliveira Dias	20:30	20:45	10/11/2023	Presencial
Consultar reclamação	Lucas Ribeiro	Ana Clara	20:00	20:15	10/11/2023	Presencial
Consultar extrato	Lucas Víctor	Alecsandra Araújo	20:15	20:30	10/11/2023	Presencial
Consultar resultado de sorteio	Zenilda Vieira	Carolina	10:00	10:15	12/11/2023	presencial - a combinar

Fonte: Lucas Ribeiro e Gabriel Rosa, 2023.

D - Decidir como lidar com as questões éticas

Durante o processo de avaliação, é crucial aderir a princípios éticos para garantir a integridade da pesquisa e o bem-estar dos participantes. O respeito à privacidade e confidencialidade dos participantes é fundamental. Todos os dados coletados serão utilizados exclusivamente para fins de pesquisa, e em nenhum momento serão compartilhados com terceiros.

Além disso, é necessário que os participantes sejam completamente informados sobre os objetivos da pesquisa. Antes de participar das entrevistas, eles serão apresentados aos propósitos do estudo e terão a oportunidade de dar seu consentimento informado de maneira clara e compreensível. É importante destacar que os participantes têm o direito de interromper a entrevista a qualquer momento, caso sintam desconforto ou decidam não continuar sua participação.

Estes princípios éticos formam a base sólida sobre a qual esta avaliação é conduzida, assegurando não apenas a validade dos resultados, mas também o respeito pelos direitos e dignidade de todos os envolvidos.

Além disso, todos os participantes deverão concordar o nosso Termo de Consentimento Livre e Esclarecido, descrito no nosso documento de Aspectos éticos, que foi modificado exatamente para a avaliação em questão e está descrito abaixo. O objetivo é obter a permissão dos participantes para realizar as atividades necessárias na criação desse artefato, garantindo o respeito por parte dos participantes durante e após a atividade.

TERMO DE CONSENTIMENTO PARA PARTICIPAÇÃO

Título da Pesquisa: Avaliação do Protótipo de Papel do Site "Nota Legal"

Instituição: Faculdade do Gama - Universidade de Brasília (FGA/UNB)

Disciplina: Interação Humano-Computador

Prezado(a) participante,

Você está sendo convidado(a) a participar de uma pesquisa acadêmica conduzida por estudantes da Faculdade do Gama - Universidade de Brasília (FGA/UNB), como parte da disciplina de Interação Humano-Computador. O objetivo desta pesquisa é avaliar o Protótipo de Papel do site "Nota Legal".

Duração: A pesquisa deve levar em média 10 minutos para ser concluída.

Riscos e Benefícios: Não são esperados riscos significativos ao participar desta pesquisa. Os benefícios incluem contribuir para a validação do protótipo de papel do site "Nota Legal" e ajudar a melhorar sua usabilidade.

Confidencialidade: Suas respostas serão mantidas em estrita confidencialidade. Os dados coletados serão usados apenas para fins acadêmicos e não serão compartilhados com terceiros não autorizados. Seus dados pessoais não serão divulgados em nenhum momento.

Participação Voluntária: Sua participação nesta pesquisa é totalmente voluntária. Você tem o direito de recusar-se a participar ou de interromper sua participação a qualquer momento, sem penalizações.

Contato: Se tiver alguma dúvida ou preocupação sobre esta pesquisa, entre em contato com [integrante da equipe responsável pelo protótipo de papel], responsável pela entrevista, pelo e-mail [email do integrante da equipe].

Consentimento: Ao prosseguir com a pesquisa, você está indicando que leu este termo de consentimento, entendeu seus direitos e concorda em participar voluntariamente. Você pode retirar seu consentimento a qualquer momento, sem consequências negativas.

Se você concorda em participar desta pesquisa, clique no botão "Concordo" abaixo.

[ ] Concordo em participar da pesquisa.
[ ] Não concordo em participar da pesquisa.

Agradecemos sua disposição em contribuir para esta pesquisa acadêmica. Seu apoio é fundamental para o sucesso deste estudo.

E - Avaliar, interpretar e apresentar os dados

Após a conclusão da avaliação, realizada conforme as diretrizes da Tabela 2, todos os dados coletados serão cuidadosamente documentados em um relatório abrangente. Este relatório terá como foco principal a análise se os objetivos estabelecidos pelo grupo foram alcançados. Caso não tenham sido atendidos, o relatório fornecerá insights sobre as áreas que precisam ser aprimoradas e como essas melhorias podem ser implementadas.

O planejamento detalhado sobre como os resultados serão apresentados está disponível no documento de Planejamento de Relato dos Resultados. Este plano garantirá que todas as descobertas sejam comunicadas de forma clara e eficaz, destacando não apenas as conquistas, mas também as oportunidades de melhoria identificadas durante o processo de avaliação.

Planejamento do Teste Piloto

Um teste piloto é, de acordo com Barbosa e Silva, no livro Interação Humano Computador [1], uma etapa cujo propósito reside na avaliação do planejamento em si. Além disso, busca-se analisar se a avaliação, conforme inicialmente delineada, gera os dados necessários para abordar as questões e objetivos do estudo. O avaliador deve conduzir o teste-piloto de maneira análoga a uma sessão de avaliação convencional. Desse modo, ele tem a oportunidade de verificar se a linguagem utilizada nas explicações e nos materiais fornecidos é clara e objetiva, e se esses materiais contêm informações adequadas e suficientes para guiar o participante durante a avaliação.

O teste piloto desta avaliação foi realizado no dia 04/11/2023, às 17h, e durou cerca de 5 minutos. No teste, tivemos o integrante Lucas Ribeiro como mediador, e o integrante Lucas Victor como participante do teste. O termo de consentimento livre e esclarecido foi lido para o participante, e ao aceite, o teste seguiu. Todas as perguntas propostas nesta avaliação foram lidas para o participante e respondidas pelo mesmo. Ao realizar o teste piloto, é possível chegar a conclusões importantes. Este teste permite avaliar a validade do protótipo de papel em relação à execução das tarefas pelos usuários no site do "Nota Legal". Além disso, ele oferece a oportunidade de verificar se as motivações e satisfações dos usuários estão adequadamente representadas, bem como identificar erros e áreas que necessitam de melhorias. O vídeo 1 apresenta o registro do teste piloto realizado.

Vídeo 1: Teste piloto do planejamento da avaliação do Protótipo de Papel

Fonte: Lucas Ribeiro e Gabriel Rosa, 2023

Referência Bibliográfica

[1] SIMONE DINIZ JUNQUEIRO BARBOSA, BRUNO SANTANA DA SILVA, Interação Humano-Computador, 1a. Edição, Editora Campus, 2010. Acessado em: 30/10/2023.

[2] Snyder, C. Paper Prototyping: the fast and easy way to design and refine user interfaces. San Francisco, CA: Morgan Kaufmann, 2003.

[3] Sharp, H.; Rogers, Y.; Preece, J. Interaction design: beyond human-computer interaction, 2a edição. New York, NY: John Wiley & Sons, 2007.

[4] Dumas, J.S. & Redish, J.C. A Practical Guide to Usability Testing, edição revisada. Exeter, UK: Intellect, 1999.

[5] Nielsen, J. Why You Only Need to Test with 5 Users, Alertbox. Disponível em http://www.useit.com/alertbox/20000319.html, 2000.

Histórico de Versões

Versão	Data	Descrição	Autor	Revisor
`1.0`	02/11/2023	Criação do documento	Gabriel Rosa e Lucas Ribeiro	Izabella Alves
`1.1`	04/11/2023	Adição do I-D-E e do Teste Piloto	Gabriel Rosa e Lucas Ribeiro	Izabella Alves
`1.2`	04/11/2023	Adição do vídeo do Teste Piloto	Lucas Ribeiro	Izabella Alves
`1.3`	07/11/2023	Correção e adição do vídeo do Teste Piloto	Lucas Ribeiro	Izabella Alves