Planejamento da Avaliação do Storyboard

Introdução

Storyboard é uma técnica fundamental na área de Interação Humano-Computador (IHC) que desempenha um papel crucial na concepção, desenvolvimento e avaliação de sistemas interativos. Esta abordagem visual permite aos designers e desenvolvedores representar de forma narrativa a interação entre os usuários e um sistema, seja ele um aplicativo, site ou qualquer interface digital.

A importância de realizar a avaliação dos storyboards de um sistema reside no fato de que eles servem como um guia inicial para a criação de interfaces eficazes e amigáveis, contribuindo para a identificação de problemas de usabilidade e design antes que eles se tornem caros de serem corrigidos no estágio de implementação.

Metodologia

A metodologia empregada para o planejamento da avaliação dos storyboards criados pelo grupo do site "Nota Legal" será fundamentada no Framework DECIDE. Este framework proporcionará direcionamento e estrutura para o processo de planejamento, execução e análise da avaliação. As atividades dentro do framework estão interconectadas e são executadas de forma iterativa, à medida que o avaliador alinha os objetivos da avaliação com os dados disponíveis e os recursos à sua disposição.

Dentro desse framework, a interdependência das atividades é essencial. Quando o avaliador identifica a necessidade de modificar a direção da avaliação por qualquer motivo, isso terá ramificações nas demais etapas do processo. A flexibilidade do framework DECIDE permite que os avaliadores façam ajustes e adaptações conforme necessário para garantir que a avaliação seja eficaz e atenda aos objetivos definidos, mantendo sempre em mente a relação dinâmica entre as etapas.

Framework DECIDE

No livro Interação Humano Computador [1], temos uma boa descrição de cada uma das atividades realizadas ao longo deste framework, a seguir é possível ver um resumo destas descrições:

• Objetivos Gerais (D)
• Determine os objetivos gerais da avaliação e por que eles são importantes. Esses objetivos guiarão o planejamento, execução e apresentação dos resultados.
• Roteiro de Entrevista (E)
• Crie perguntas específicas para cada objetivo. Essas perguntas operacionalizam a investigação e o julgamento de valor a serem realizados durante a avaliação. Leve em consideração o perfil dos usuários-alvo e suas atividades.
• Métodos de Avaliação (C)
• Selecione os métodos mais apropriados para responder às perguntas e atingir os objetivos. Considere o prazo, o orçamento, os recursos e a experiência da equipe.
• Aspectos Práticos da Avaliação (I)
• Lide com aspectos práticos, como o recrutamento de participantes, a preparação de equipamentos, prazos, orçamento e a equipe necessária para conduzir a avaliação.
• Aspectos Éticos (D)
• Certifique-se de tratar as questões éticas relacionadas aos participantes da avaliação, garantindo que sejam respeitados e não prejudicados durante o processo e após a divulgação dos resultados.
• Avaliação e Apresentação dos Dados (E)
• Analise os dados coletados e interprete-os antes de tirar conclusões e apresentar os resultados. Considere a confiabilidade, a validade interna, a validade externa e a validade ecológica dos estudos para garantir a qualidade da avaliação.

Planejamento da Avaliação

Objetivos Gerais (D)

Os objetivos gerais que irão guiar a avaliação do Storyboard são:

• Avaliar se os Storyboards estão de acordo com as tarefas executadas pelo usuário no site do Nota Legal;
• Avaliar se as motivações e satisfações do usuário estão representadas nos storyboards;
• Encontrar erros ou pontos de mudança nos Storyboards

Roteiro de Entrevista (E)

Afim de alcançar dados que verifiquem nossos objetivos, optamos por realizar uma entrevista principalmente com perguntas fechadas. As perguntas em questão terão uma linguagem simplificada, para facilitar a compreensão do participante.

As perguntas selecionadas estão descritas na tabela 1, bem como as possíveis respostas e o objetivo que será avaliado com cada questão.

Tabela 1: Roteiro de perguntas

ID	Pergunta	Resposta	Objetivo avaliado
1	A história contada pelo storyboard representa a realidade?	Sim, não ou não sei responder	Avaliar se os Storyboards estão de acordo com as tarefas executadas pelo usuário no site do Nota Legal
2	As ações realizadas pelo ator principal condizem com as ações realizadas na prática?	Sim, não ou não sei responder	Avaliar se os Storyboards estão de acordo com as tarefas executadas pelo usuário no site do Nota Legal
3	Você se identifica com a motivação do ator principal para realizar a tarefa?	Sim, não ou não sei responder	Avaliar se as motivações e satisfações do usuário estão representadas nos storyboards
4	Você consegue entender o storyboard e as ações desenvolvidas nele?	Sim, não ou não sei responder	Avaliar se os Storyboards estão de acordo com as tarefas executadas pelo usuário no site do Nota Legal
5	Você acha que o storyboard resolve o problema em questão?	Sim, não ou não sei responder	Encontrar erros ou pontos de mudança nos Storyboards
6	Você acha que a satisfação do ator principal condiz com a realidade?	Sim, não ou não sei responder	Avaliar se as motivações e satisfações do usuário estão representadas nos storyboards
7	As ações realizadas no storyboard seguem uma ordem sequencial, fluida e lógica?	Sim, não ou não sei responder	Encontrar erros ou pontos de mudança nos Storyboards
8	Houve algum elemento que você não compreendeu no storyboard?	Questão aberta	Encontrar erros ou pontos de mudança nos Storyboards

Fonte: Izabella Alves e Gabriel Zaranza, 2023

Métodos de Avaliação (C)

Muitos métodos são utilizados para realizar avaliações no ramo da Interação Humano Computador, cada um deles tem seus objetivos específicos e as orientações que norteiam o método. Em IHC, estes métodos são divididos entre: métodos de investigação, de observação de uso e de inspeção.

Nesta avaliação, usaremos o método de investigação, ele pode envolver questionários, entrevistas, grupos de foco e estudos de campo, permitindo ao avaliador entender as opiniões, expectativas e comportamentos dos usuários em relação ao que está sendo avaliado, neste caso, os storyboards.

A técnica de investigação que usaremos será a entrevista, e ao todo, 7 pessoas serão entrevistadas, pois, de acordo com Jakob Nielsen em seu livro "Usability Engineering" [3], testes individuais de usabilidade podem ser realizados com cerca de 5 a 15 participantes. A entrevista trata-se de uma conversa guiada por um roteiro de perguntas ou tópicos, na qual um entrevistador busca obter informação de um entrevistado [1]. Além disso, as perguntas realizadas durante a entrevista serão principalmente perguntas fechadas, visto que este tipo de perguntas pode ser analisado mais rapidamente e o entrevistado em questão provavelmente já conhece as prováveis respostas.

Aspectos Práticos da Avaliação (I)

Recrutamento

O recrutamento dos usuários para a avaliação será realizado por todos os integrantes da equipe, em que cada um deverá recrutar um usuário, de acordo com o Perfil de Usuário, para a avaliação do próprio Storyboard.

Preparação

Cada integrante da equipe é responsável por preparar e alocar os recursos necessários para a própria avaliação, como o local (presencial ou remoto), horário da entrevista, materiais/equipamentos (perguntas a serem respondidas na entrevista, câmera, gravador de voz etc.) e o termo de consentimento.

Prazos

O cronograma da avaliação é descrito na tabela 2, onde cada avaliação terá o nome do entrevistador (membro da equipe), entrevistado, horário de início e fim da entrevista, data e local onde ocorreu a entrevista.

Tabela 2: Cronograma das avaliações dos storyboards

Storyboard	Entrevistador(a)	Entrevistado(a)	Horário de início	Horário de fim	Data	Local
Registrar uma reclamação	Gabriel Rosa	Wellington	20:00	20:15	02/11/2023	Presencial
Desbloquear saldo	Gabriel Zaranza	Carlos Barreto	16:00	16:15	02/11/2023	Presencial
Consultar estabelecimento	Izabella Alves	Gilmar Santos	19:00	19:15	02/11/2023	Presencial
Visualizar Recibo Fiscal	Lucas de Oliveira	Francinete de Oliveira Dias	20:30	20:45	02/11/2023	Presencial
Consultar reclamação	Lucas Ribeiro	Gisele Ribeiro	20:00	20:15	02/11/2023	Presencial
Consultar extrato	Lucas Víctor	Alecsandra Ferreira	19:00	19:15	02/11/2023	Presencial
Consultar resultado de sorteio	Zenilda Vieira	Manuella Marques	09:00	09:15	02/11/2023	Presencial

Fonte: Gabriel Zaranza, 2023.

Aspectos Éticos (D)

Nesta pesquisa, seguiremos os príncipios éticos de pesquisas científicas envolvendo pessoas estabelecidos pela Resolução nº 466/2012 do Conselho Nacional de Saúde [2]. Esses princípios incluem o respeito à autonomia dos indivíduos, a busca pelo benefício máximo com o mínimo de danos, a prevenção de danos previsíveis e a promoção da justiça e equidade. Essas diretrizes são especialmente relevantes em pesquisas que envolvem seres humanos, onde é imperativo respeitar a dignidade e a autonomia dos participantes, considerando os aspectos éticos ao longo de todo o processo de pesquisa [2].

Além disso, todos os participantes deverão concordar o nosso Termo de Consentimento Livre e Esclarecido, descrito no nosso documento de aspectos éticos, que foi modificado exatamente para a avaliação em questão e está descrito abaixo. O objetivo é obter a permissão dos participantes para realizar as atividades necessárias na criação desse artefato, garantindo o respeito por parte dos participantes durante e após a atividade.

TERMO DE CONSENTIMENTO PARA PARTICIPAÇÃO EM PESQUISA

Título da Pesquisa: Avaliação dos Storyboards do Site "Nota Legal"

Instituição: Faculdade do Gama - Universidade de Brasília (FGA/UNB)

Disciplina: Interação Humano-Computador

Prezado(a) participante,

Você está sendo convidado(a) a participar de uma pesquisa acadêmica conduzida por estudantes da Faculdade do Gama - Universidade de Brasília (FGA/UNB), como parte da disciplina de Interação Humano-Computador. O objetivo desta pesquisa é avaliar os Storyboards do site "Nota Legal".

Duração: A pesquisa deve levar em média 10 minutos para ser concluída.

Riscos e Benefícios: Não são esperados riscos significativos ao participar desta pesquisa. Os benefícios incluem contribuir para a validação e melhora dos storyboards do site "Nota Legal" e ajudar a melhorar sua usabilidade.

Confidencialidade: Suas respostas serão mantidas em estrita confidencialidade. Os dados coletados serão usados apenas para fins acadêmicos e não serão compartilhados com terceiros não autorizados. Seus dados pessoais não serão divulgados em nenhum momento.

Participação Voluntária: Sua participação nesta pesquisa é totalmente voluntária. Você tem o direito de recusar-se a participar ou de interromper sua participação a qualquer momento, sem penalizações.

Contato: Se tiver alguma dúvida ou preocupação sobre esta pesquisa, entre em contato com [integrante da equipe responsável pelo storyboard], responsável pela entrevista, pelo e-mail [email do integrante da equipe].

Consentimento: Ao prosseguir com a pesquisa, você está indicando que leu este termo de consentimento, entendeu seus direitos e concorda em participar voluntariamente. Você pode retirar seu consentimento a qualquer momento, sem consequências negativas.

Se você concorda em participar desta pesquisa, clique no botão "Concordo" abaixo.

• [ ] Concordo em participar da pesquisa.

• [ ] Não concordo em participar da pesquisa.

Agradecemos sua disposição em contribuir para esta pesquisa acadêmica. Seu apoio é fundamental para o sucesso deste estudo.

Avaliação e Apresentação dos Dados (E)

Após a realização da avaliação, feita de acordo com as informações da tabela 2, os dados coletados serão devidamente documentados em um relatório abrangente. Esse relatório destacará principalmente se os objetivos estabelecidos pelo grupo foram atendidos, e caso não, como será possível melhorar.

O planejamento do relato detalhado de como todos os resultados serão apresentados está descrito no documento de Planejamento de Relato dos Resultados.

Teste piloto

Um teste piloto é, de acordo com Barbosa e Silva, no livro Interação Humano Computador [1], uma etapa cujo propósito reside na avaliação do planejamento em si. Além disso, busca-se analisar se a avaliação, conforme inicialmente delineada, gera os dados necessários para abordar as questões e objetivos do estudo. O avaliador deve conduzir o teste-piloto de maneira análoga a uma sessão de avaliação convencional. Desse modo, ele tem a oportunidade de verificar se a linguagem utilizada nas explicações e nos materiais fornecidos é clara e objetiva, e se esses materiais contêm informações adequadas e suficientes para guiar o participante durante a avaliação.

O teste piloto desta avaliação foi realizado no dia 23 de outubro de 2023, às 10h, e durou 6 minutos e alguns segundos. No teste, tivemos a integrante Izabella Alves como mediadora, e a integrante Zenilda Vieira como participante do teste. O termo de consentimento livre e esclarecido, citado acima, foi lido para a participante, e ao aceite, o teste seguiu. Todas as perguntas propostas nesta avaliação foram lidas para a participante e respondidas pela mesma. Dito isso, através do teste piloto é possível concluir que a avaliação é válida para determinar se os storyboards estão de acordo com as tarefas executadas pelo usuário no site do Nota Legal, se as motivações e satisfações do usuário estão bem representadas, e encontrar erros e pontos de mudança. No vídeo 1 é possível encontrar o teste piloto realizado.

Vídeo 1: Teste piloto do planejamento da avaliação dos storyboards.

Fonte: Izabella Alves, 2023

Referências Bibliográficas

[1] BARBOSA, Simone; DINIZ, Bruno. Interação Humano-Computador. Editora Elsevier, Rio de Janeiro, 2010.

[2] BRASIL. Resolução nº 466, de 12 de dezembro de 2012, que trata de pesquisas em seres humanos e atualiza a resolução 196. Brasília, DF: Diário Oficial da União, 2013. Disponível em: <https://conselho.saude.gov.br/resolucoes/2012/Reso466.pdf>. Acesso em: 21/10/2023.

[3] NIELSEN, Jakob. Usability Engineering. 1. ed. São Paulo: Campus, 1994. 261 p. ISBN 85-7001-252-X. Acesso em: 31/10/2023.

Bibliografia

Planejamento da Avaliação do Storyboard. Bilheteria Digital. Disponível em: <https://interacao-humano-computador.github.io/2023.1-BilheteriaDigital/design-avaliacao-desenvolvimento/nivel-1/storyboard-dad/planejamento-avaliavao-sb/>. Acesso em: 21/10/2023.

Planejamento da Avaliação do Storyboard. Banco Central do Brasil. Disponível em: <https://interacao-humano-computador.github.io/2023.1-BancoCentral/#/design_prototipo/storyboard/planejamento_avaliacao>. Acesso em: 21/10/2023.

Histórico de Versões

Versão	Data	Descrição	Autor	Revisor
1.0	21/10/2023	Criação do documento	Izabella Alves	Zenilda Vieira
1.1	21/10/2023	Adicionanando "D" e "I"	Gabriel Zaranza	Zenilda Vieira
1.2	27/10/2023	Revisão do documento	Zenilda Vieira	- (não precisa de revisor)
1.3	28/10/2023	Adicionando teste piloto	Izabella Alves	Lucas Ribeiro
1.4	28/10/2023	Adicionando data no Cronograma das avaliações	Zenilda Vieira	Lucas Ribeiro
1.5	31/10/2023	Correção após apresentação	Izabella Alves	Lucas Ribeiro