Planejamento da Avaliação do Storyboard

Introdução

O planejamento de uma avaliação do storyboard envolve definir metas, critérios, público e estabelecer cronogramas apropriados para revisão e iteração. Uma avaliação cuidadosa do storyboard aprimorará sua narrativa visual e garantirá que seu projeto final atinja seus objetivos e se conecte efetivamente com seu público.

Para realizar esse planejamento será utilizado o framework DECIDE, onde cada letra da palavra é uma etapa a ser realizada no planejamento. A Tabela 1 a seguir apresenta o significado de cada letra.

Tabela 1 - Letras da palavra DECIDE com os seus significados.

Letra	Definição
D	Determinar os objetivos da avaliação.
E	Explorar perguntas a serem respondidas com a avaliação.
C	Escolher os métodos de avaliação a serem utilizados.
I	Identificar e administrar as questões práticas da avaliação.
D	Decidir como lidar com as questões éticas.
E	Avaliar, interpretar e apresentar os dados.

Fonte: BARBOSA e SILVA (2011).

D - Objetivos

A avaliação tem como objetivo geral elaborar e validar uma versão final dos storyboards elaborados que sejam claros, coesos, atraentes e alinhados com os objetivos do projeto listados abaixo a fim de identificar problemas na interação e na interface que serão trabalhados mais à frente no projeto.

E - Explorar Perguntas Respondidas com a Avaliação

Com base no objetivo da avaliação foram preparadas perguntas baseadas nos seguintes tópicos: - verificar a conformidade com um padrão; - comparar ideias e alternativas de design; - identificar problemas na interação e interface. As perguntas selecionadas tem o intuito de serem respondidas com essa avaliação e foram feitas com base no Captítulo 11 da literatura de Barbosa e Silva (2011, p.266)1 as perguntas selecionadas foram as seguintes:

Os storyboards possuem lastros com a realidade e fazem sentido nas ações realizadas?
Os storyboards possuem alguma modificações necessárias para a validação e/ou validar o storyboard com o usuário?
Os storyboards produzidos estão de acordo com os Cenários produzir anteriormente?

C - Escolher os Métodos de Avaliação

Para a realização da avaliação, utilizar-se-á de uma adaptação dos métodos de investigação, com o uso de entrevistas com base em um questionário como roteiro. Sendo assim, a participação do usuário seria em analisar o cenário de uso hipotético apresentado e tal usuário relacionaria sua experiência pessoal com a história apresentada.

A escolha se dá pelo fato de ser um método investigativo que permite coletar muitas informações, além de ser flexível permite fazer perguntas que aprofundam ainda mais os objetivos a serem alcançados pelos usuários. Ademais, tal entrevista deve ser estritamente gravada e documentada.

I - Identificar Questões Práticas da Avaliação

Recrutamento

O recrutamento dos usuários será flexibilizado ao entrevistador em questão, e a escolha de cada um deve ter como base o Perfil de Usuário já levantado pelo questionário. Quanto ao local, que também será flexível, as reuniões podem ser presenciais ou online. Como cada integrante do grupo ficou responsável pela criação de um storyboard, tem-se um total de quatro storyboards. Sendo assim, como cada avaliação será feita de maneira individual para cada storyboard, serão necessários 4 usuários.

Preparação

Os entrevistadores serão responsáveis por conduzir a entrevista utilizando o roteiro de perguntas fornecido e registrar as respostas dos participantes. Durante a entrevista, é essencial incluir uma das atividades descritas no artefato de Storyboard. O papel de entrevistador pode ser desempenhado por uma única pessoa ou por uma dupla, na qual uma pessoa faz as perguntas enquanto a outra registra as respostas. Além disso, o entrevistador deve solicitar ao participante que compartilhe sua tela, permitindo a aplicação do método de observação direta durante a interação.

Custos

As entrevistas devem ser realizadas sem gerar custos para a equipe ou os usuários. Elas podem ser conduzidas de forma online ou presencial, dependendo das possibilidades e preferências das partes envolvidas.

Ferramentas para entrevistas online:

Storyboard: para guiar as atividades e discussões.
Plataformas de comunicação: Microsoft Teams, Discord ou Google Meet.
Roteiro de perguntas: contendo perguntas para serem respondidas durante a avaliação e entrevista.
Termo de consentimento: assegurando a ética do processo.
Teste piloto: para garantir o funcionamento adequado da metodologia antes da execução final.

Equipamentos necessários para entrevistas:

Online: qualquer dispositivo com acesso à internet, aplicativos de comunicação e um navegador.
Presencial: um espaço adequado para a entrevista, com dispositivos disponíveis para a realização das atividades necessárias, como computadores ou tablets, se aplicável.

A escolha entre o formato presencial ou online deve levar em conta a conveniência e disponibilidade dos participantes e da equipe.

Prazos

Em relação aos prazos, as entrevistas estão documentadas na tabela 2, sendo apresentado um cronograma com seus tópicos e logo abaixo a tabela 2 com as entrevistas:

Entrevistador;
Entrevistado;
Horário de início e fim;
Local e data que ocorreu a entrevista.

Tabela 2 - Cronograma da Entrevista

Entrevistador(es)	Entrevistado(s)	Horário de Início	Horário de Fim	Data	Local
Breno Lucena	Emily	11:00	11:30	11/12/2024	Teams
Breno Soares	Maria Clara	16:00	16:30	13/12/2024	Teams
Felipe Verrissimo	Samuel Santos	20:00	20:30	11/12/2024	Teams
Mateus Vieira	Yasmim Oliveira Rosa	21:00	21:30	13/12/2024	Teams

Fonte: Breno Lucena & Breno Soares

Roteiro de Perguntas

Durante a entrevista, serão apresentadas capturas de tela para que o usuário visualize a tarefa mencionada pelo entrevistador, assim como a tabela com seu fluxo. O roteiro de perguntas, mostrado na Tabela 3, foi elaborado com base nas questões a serem respondidas na avaliação.

Tabela 3 - Roteiro de Perguntas

ID	Enunciado	Resposta
1	A narrativa apresentada pelo Storyboard está condizente com o título?	( ) SIM ( ) NÃO
2	O ambiente em que ocorre o storyboard é condizente com a realidade?	( ) SIM ( ) NÃO
3	O Storyboard apresenta os principais aspectos da realização daquela tarefa?	( ) SIM ( ) NÃO
4	As ações realizadas no Storyboard seguem uma ordem sequencial, fluida e lógica?	( ) SIM ( ) NÃO
5	A motivação do usuário para utilizar a aplicação do Passe Livre fica clara no storyboard?	( ) SIM ( ) NÃO
6	Você considera que o ator principal completou seu objetivo na história contada pelo storyboard?	( ) SIM ( ) NÃO

Fonte: Breno Lucena & Breno Fernandes

Execução do Roteiro

O entrevistador deve incentivar o usuário a expressar suas ideias, seja de forma verbal ou por meio de representações ilustrativas, especialmente nos casos em que houver discordância com o Storyboard proposto. Todas as sugestões ou alterações mencionadas pelo usuário devem ser registradas pelo entrevistador. Posteriormente, essas propostas serão analisadas em conjunto e validadas com o usuário ao final da atividade.

D - Lidando com as Questões Éticas

As questões éticas consideradas nesta avaliação incluem a utilização de um termo de consentimento, elaborado conforme os princípios descritos pelo Conselho Nacional de Saúde. Esses princípios abrangem:

Autonomia: garantir que os participantes tenham liberdade para decidir sua participação e sejam devidamente informados sobre o processo.
Beneficência: assegurar que os resultados do estudo tragam benefícios aos participantes e à sociedade.
Não-maleficência: evitar qualquer tipo de dano ou prejuízo aos envolvidos.
Justiça e equidade: promover um tratamento justo e igualitário para todos os participantes.

Esses aspectos éticos foram definidos pelo grupo no contexto da disciplina e visam assegurar a integridade e a ética durante a realização da avaliação.

E - Avaliar, Interpretar e Apresentar os Dados

Após a conclusão da avaliação, os dados coletados serão documentados e analisados, considerando o contexto em que foram produzidos. O objetivo é determinar sua confiabilidade e verificar se podem ser generalizados para representar a população de usuários do site.

Esse processo inclui:

Registrar os problemas e dificuldades observados durante a interação, como questões de usabilidade, funcionalidades ausentes ou problemas de desempenho.
Descrever e classificar os problemas identificados.
Propor sugestões de melhoria com base nas observações.
Captar o feedback dos usuários de forma detalhada.
Documentar observações gerais sobre a entrevista, incluindo anotações adicionais relevantes.

Após essa análise, os dados serão apresentados ao time de desenvolvimento, buscando fornecer o máximo de informações úteis e relevantes para orientar o progresso do projeto.

Planejamento do Teste Piloto

O objetivo do teste piloto é avaliar o planejamento da avaliação e verificar se ele gera os dados necessários para responder às questões e objetivos do estudo. O avaliador deve conduzir o teste piloto de forma similar a uma sessão normal de avaliação, permitindo assim a verificação da clareza e objetividade da linguagem utilizada nas explicações e nos materiais fornecidos. Além disso, é importante confirmar se esses materiais contêm informações adequadas e suficientes para orientar o participante durante a avaliação.

Dito isso, a execução do teste-piloto será feito no dia 09/12/2024 às 18:00 e com a presença dos integrantes Breno Lucena e Breno Soares.

Resultado do Teste Piloto

A seguir, está o vídeo do teste piloto realizado conforme o cronograma mencionado anteriormente, no qual Breno Soares atuou como usuário e Breno Lucena como entrevistador. Durante o teste, foram apresentados o termo de consentimento, o questionário com as perguntas a serem feitas, os storyboards e os cenários nos quais os storyboards foram baseados.

-->

Bibliografia

BARBOSA, S. D. J.; SILVA, B. S. Interação Humano-Computador. Rio de Janeiro: Elsevier, 2011.

Histórico de Versões

Data	Data Prevista de Revisão	Versão	Descrição	Autor	Revisor
06/12/2024	07/12/2024	1.0	Criação da página	Breno Lucena Breno Fernandes	Mateus