Planejamento da Avaliação do Storyboard

Introdução

O planejamento de uma avaliação do storyboard envolve definir metas, critérios, público e estabelecer cronogramas apropriados para revisão e iteração. Uma avaliação cuidadosa do storyboard aprimorará sua narrativa visual e garantirá que seu projeto final atinja seus objetivos e se conecte efetivamente com seu público.

Metodologia

Para realizar esse planejamento será utilizado o framework DECIDE, onde cada letra da palavra é uma etapa a ser realizada no planejamento. A tabela 1 a seguir apresenta o significado de cada letra.

Tabela 1 - Letras da palavra DECIDE com os seus significados.

Letra	Definição
D	Determinar os objetivos da avaliação.
E	Explorar perguntas a serem respondidas com a avaliação.
C	Escolher os métodos de avaliação a serem utilizados.
I	Identificar e administrar as questões práticas da avaliação.
D	Decidir como lidar com as questões éticas.
E	Avaliar, interpretar e apresentar os dados

Fonte - BARBOSA e SILVA (2011).

D - Objetivos

A avaliação tem como objetivo geral elaborar e validar uma versão final dos storyboards elaborados que sejam claros, coesos, atraentes e alinhados com os objetivos do projeto listados abaixo a fim de identificar problemas na interação e na interface que serão trabalhados mais à frente no projeto.

E - Explorar Perguntas Respondidas com a Avaliação

Com base no objetivo da avaliação foram preparadas perguntas baseadas nos seguintes tópicos: - verificar a conformidade com um padrão; - comparar ideias e alternativas de design; - identificar problemas na interação e interface. As perguntas selecionadas tem o intuito de serem respondidas com essa avaliação e foram feitas com base no Captítulo 11 da literatura de Barbosa e Silva (2011, p.266)¹ as perguntas selecionadas foram as seguintes:

• Os storyboards possuem lastros com a realidade e fazem sentido nas ações realizadas?
• Os storyboards possuem alguma modificações necessárias para a validação e/ou validar o storyboard com o usuário?
• Os storyboards produzidos estão de acordo com os Cenários produzir anteriormente?

C - Escolher os Métodos de Avaliação

Para a realização da avaliação, utilizar-se-á de uma adaptação dos métodos de investigação, com o uso de entrevistas com base em um questionário como roteiro. Sendo assim, a participação do usuário seria em analisar o cenário de uso hipotético apresentado e tal usuário relacionaria sua experiência pessoal com a história apresentada.

A escolha se dá pelo fato de ser um método investigativo que permite coletar muitas informações, além de ser flexível permite fazer perguntas que aprofundam ainda mais os objetivos a serem alcançados pelos usuários. Ademais, tal entrevista deve ser estritamente gravada e documentada.

I - Identificar Questões Práticas da Avaliação

Recrutamento

O recrutamento dos usuários será flexibilizado ao entrevistador em questão, e a escolha de cada um deve ter como base o Perfil de Usuário já levantado pelo questionário. Quanto ao local, que também será flexível, as reuniões podem ser presenciais ou online. Como cada integrante do grupo ficou responsável pela criação de um storyboard, tem-se um total de seis storyboards. Sendo assim, como cada avaliação será feita de maneira individual para cada storyboard, serão necessários 6 usuários.

Preparação

Os entrevistadores serão responsáveis por realizar as perguntas presentes no roteiro de perguntas a seguir e realizar as anotações sobre as respostas dos usuários. Essa entrevista deverá envolver alguma das atividades construída no artefato de Storyboard. Vale salientar que os papéis de entrevistador podem ser realizados por uma única pessoa ou por uma dupla onde cada um fica responsável por cada atividade (realizar as perguntas e coletar as respostas). O entrevistador deve requisitar do usuário que o mesmo compartilhe tela com o fim de poder realizar o método de observação do usuário.

Custos

A realização das entrevistas não pode gerar custos a equipe e ao usuário, portanto, elas deverão ser feitas de modo online utilizado a seguintes ferramentas:

• Storyboard;
• Microsoft Teams, Discord e Google Meet;
• Perguntas para serem respondidas com a avaliação;
• Perguntas para serem respondidas na entrevista;
• Termo de Consentimento;
• Teste Piloto;

Vale resaltar que os equipamentos necessários serão quaisquer dispositivos com acesso a internet, aos aplicativos de comunicação e a um navegador de internet que os envolvidos possuírem.

Prazos

Em relação aos prazos, as entrevistas estão documentadas na tabela 2, sendo apresentado um cronograma com seus tópicos e logo abaixo a tabela 2 com as entrevistas:

• Entrevistador;
• Entrevistado;
• Horário de início e fim;
• Local e data que ocorreu a entrevista.

As gravações e resultados de cada entrevista podem ser encontrandas AQUI.

Tabela 2 - Cronograma da entrevista.

Entrevistador(es)	Entrevistado(s)	Horário de Início	Horário de Fim	Data	Local
Gabriel Campello	Arthur Grandão	16:59	17:01	27/05/2023	Plataforma Google Meet
Arthur de Melo	João Victor	19:00	19:05	27/05/2023	Plataforma Discord
Rafael Ferreira	Paulo Victor	19:30	19:37	27/05/2023	Plataforma Microsoft Teams
Rafael Ferreira	Marcos	19:50	19:55	27/05/2023	Plataforma Microsoft Teams
Geovanna Maciel	Lucas Maciel	21:00	21:05	27/05/2023	Plataforma Google Meets
Douglas Alves	Ana Luiza	22:00	22:10	27/05/2023	Plataforma Discord

Fonte - Autores

Roteiro de Perguntas

Na entrevista estarão disponíveis capturas de tela para que o usuário possa ver a tarefa da qual o entrevistador estará comentando e a tabela com o seu fluxo. A tabela 3 a seguir mostra o roteiro de perguntas a serem realizadas na entrevista. Essas perguntas foram baseadas nas perguntas a serem repondidas na avaliação.

Tabela 3 - Roteiro de Perguntas

ID	Enunciado	Resposta
1	A narrativa apresentada pelo Storyboard está condizente com o título?	( ) SIM ( ) NÃO
2	O Storyboard em questão possui lastro com a realidade?	( ) SIM ( ) NÃO
3	O Storyboard apresenta os principais aspectos da realização daquela tarefa?	( ) SIM ( ) NÃO
4	As ações realizadas no Storyboard seguem uma ordem sequencial, fluida e lógica?	( ) SIM ( ) NÃO
5	O storyboard possui uma composição visual com o seguinte itens (personagem, objetos, cenários) identificáveis?	( ) SIM ( ) NÃO

Fonte: Arthur de Melo e Rafael Ferreira

Execução do roteiro

O entrevistador precisa instigar o usuário a explicitar suas ideias, de maneira verbal ou ilustrativa, em caso de discordância do Storyboard proposto. Além disso, toda alteração proposta pelo usuário precisa ser anotada pelo entrevistador e, posteriormente, avaliada em conjunto para ser validada junto ao usuário ao final da atividade.

D - Lidando com as Questões Éticas

As Questões Éticas aqui consideradas para a avaliação o termo de consentimento produzido na seção Aspectos Éticos escolhidos para o grupo nesta disciplina, os quais possuem como base os princípios explicados pelo Conselho Nacional de Saúde²: da autonomia, da beneficência, da não-maleficência e da justiça e equidade.

E - Avaliar, Interpretar e Apresentar os Dados

Após a realização da avaliação, os dados serão documentados e tratados, levando em conta o contexto em que eles foram produzidos, julgando se possuem alto grau de confiabilidade e que podem ser generalizados para representar a população de usuários do site.

O que envolve registrar os problemas, dificuldades durante a interação, podem envolver questões de usabilidade, funcionalidades ausentes e problemas de desempenho. Serão anotadas as descrições dos problemas, sua classificação, sugestões de melhoria, captar o feedback do usuário e ao fim da entrevistas documentar as observações gerais a serem feitas a cerca da entrevista realizada.

Realizada a etapa anteriormente mencionada, os dados serão apresentados ao time de desenvolvimento, procurando com isso obter o máximo de informação relevante para o desenvolvimento do projeto.

Planejamento do Teste Piloto

Segundo Barbosa e Silva (2011, p.276) o objetivo desse teste é avaliar o próprio planejamento, e analisar se a avaliação, tal como planejada, produz os dados necessários para responder a questões e objetivos do estudo. O avaliador deve conduzir o teste-piloto como se fosse uma sessão normal de avaliação. Dessa forma, ele tem oportunidade de verificar se a linguagem nas explicações e nos materiais fornecidos é clara e objetiva, e se esses materiais contêm informações adequadas e suficientes para orientar o participante durante a avaliação.

Dito isso, a execução do teste-piloto será feito no dia 27/05/2023 às 19:00 e com a presença dos integrantes Rafael Ferreira e Arthur de Melo.

Resultado do Teste Piloto

Abaixo segue o vídeo feito do teste piloto de acordo com o cronograma citado anteriormente em que o Arthur de Melo fez papel de usuário e Rafael Ferreira de entrevistadora. Nele foi apresentado os termo de consentimento, questionário com perguntas a serem feitas, storyboards e cenários que foram baseado os storyboards.

Clique aqui

Fonte: Rafael Ferreira e Arthur de Melo.

Bibliografia

Estruturado a partir do Planejamento da Avaliação da Análise de Tarefas. Disponível em: <https://interacao-humano-computador.github.io/2023.1-BilheteriaDigital/design-avaliacao-desenvolvimento/nivel-1/analise-de-tarefas-dad/planejamento-avaliavao-at/>.Acesso em 18 de junho de 2023.

Referências Bibliográficas

1. BARBOSA, S. D. J.; SILVA, B. S. Interação Humano-Computador. Rio de Janeiro: Elsevier, 2011.

2. BRASIL. Resolução nº 466, de 12 de dezembro de 2012, que trata de pesquisas em seres humanos e atualiza a resolução 196. Brasília, DF: Diário Oficial da União, 2013. Disponível em: <https://conselho.saude.gov.br/resolucoes/2012/Reso466.pdf>. Acesso em: 06/05/2023.

Histórico de Versões

Versão	Data	Descrição	Autor(es)	Revisor(es)
1.0	20/05/2023	Documentação do planejamento da avaliação do Storyboard	Arthur de Melo e Rafael Ferreira	Douglas Alves e Gabriel Campello
1.1	27/05/2023	Atualizando as entrevistas	Rafael Ferreira	Arthur de Melo
2.0	18/06/2023	Padronização do planejamento conforme a verificação realizada no artefato	Rafael Ferreira	Arthur de Melo