Planejamento da Avaliação do Storyboard

Introdução

A avaliação formativa é feita durante todo o processo de design para entender o que os usuários querem e precisam. Ela também verifica se a solução criada atende às necessidades dos usuários com a qualidade esperada (Barbosa e Silva, 2010). Durante a avaliação formativa de uso de um sistema, o storyboard é um artefato que pode ser produzido como insumo para essa avaliação.

Metodologia

O framework DECIDE, proposto por Preece et al. (2002), foi elaborado para auxiliar o planejamento de uma avaliação da Interação Humano Computador (IHC) e é composto por siglas que representam atividades interligadas e iterativas que devem ser realizadas. A seguir as siglas estão expostas com uma breve definição de cada uma:

D : Determinar os objetivos da avaliação.
E : Explorar perguntas a serem respondidas com a avaliação.
C : Escolher os métodos de avaliação a serem utilizados.
I : Identificar e administrar as questões práticas da avaliação.
D : Decidir como lidar com as questões éticas.
E : Avaliar, interpretar e apresentar os dados.

D - Determinar objetivos

Os objetivos de uma avaliação de IHC são orientados pelos seguintes principais aspectos comumente avaliados (Hix e Hartson, 1993; Rubin, 1994; Nielsen e Mack, 1994; Sharp et al., 2019):

Apropriação de tecnologia pelos usuários, incluindo o sistema computacional a ser avaliado mas não se limitando a ele;
Ideias e alternativas de design;
Conformidade com um padrão;
Problemas na interação e na interface.

O objetivo dessa avaliação dos storyboards é verificar problemas na interação e na interface que serão posteriormente trabalhados nesse projeto.

E - Explorar perguntas

As perguntas propostas por Barbosa e Silva (2011) foram adaptadas para serem respondidas ao fim da avaliação e estão alinhadas com o objetivo de identificar problemas na interação e interface, sendo elas:

O usuário vai entender o que deve fazer em seguida?
Quais barreiras o usuário encontra para atingir seus objetivos?
Que parte da interface e da interação o deixa insatisfeito?

C - Escolher métodos

O método escolhido é de investigação devido ao seu potencial de coleta de diversos dados por meio da análise e interpretação de concepções, opiniões e expectativas do usuário e devido à não necessidade de uso do sistema interativo, o que é coerente para a avaliação do storyboard. Esse método vai ser realizado por meio de uma entrevista juntamente com um questionário.

Serão 6 entrevistas com seus devidos questionários, cada entrevista realizada por cada membro da equipe sobre seu storyboard da sua funcionalidade designada.

I - Identificar e administrar questões práticas da avaliação

O recrutamento para realização das entrevistas e questionários será com base no perfil do usuário definido e cada membro da equipe será responsável pelo contato com um usuário para realização da avaliação, bem como definição de um horário adequado, local e preparação do storyboard a ser avaliado, sendo essas atividades sem custos a serem sanados.

Para realização da entrevista serão necessários:

Storyboard da Funcionalidade;
Recrutamento do participante com base no Perfil do Usuário;
Termo de consentimento livre e esclarecido (TCLE);
Aparelho eletrônico para filmagem;
Sala para realização da entrevista.

Antes do início das avaliações será realizado um teste piloto para verificação dos materiais e do roteiro das entrevistas, bem como as perguntas do questionário. As perguntas do questionário que será realizado na entrevista podem ser conferidas na tabela 1.

Tabela 1 - Perguntas da entrevista

Perguntas	Tipo de Resposta	Justificativa	Fonte	Captura de Tela
Qual seu nome?	Discursiva	Reafirmar o perfil do usuário	Item 8.1, página 166, SIMONE DINIZ JUNQUEIRO BARBOSA, BRUNO SANTANA DA SILVA, Interação Humano-Computador, 1a. Edição.	página 166
Quantos anos você tem?	Discursiva	Reafirmar o perfil do usuário	Item 8.1, página 166, SIMONE DINIZ JUNQUEIRO BARBOSA, BRUNO SANTANA DA SILVA, Interação Humano-Computador, 1a. Edição.	página 166
Qual seu nível de experiência com tecnologias?	Discursiva	Reafirmar o perfil do usuário	Item 8.1, página 166, SIMONE DINIZ JUNQUEIRO BARBOSA, BRUNO SANTANA DA SILVA, Interação Humano-Computador, 1a. Edição.	página 166
Qual cidade você mora?	Discursiva	Reafirmar o perfil do usuário	Item 8.1, página 166, SIMONE DINIZ JUNQUEIRO BARBOSA, BRUNO SANTANA DA SILVA, Interação Humano-Computador, 1a. Edição.	página 166
Com qual frequência costuma pegar ônibus da Central Expresso (CT Expresso)?	Discursiva	Reafirmar o perfil do usuário	Item 8.1, página 166, SIMONE DINIZ JUNQUEIRO BARBOSA, BRUNO SANTANA DA SILVA, Interação Humano-Computador, 1a. Edição.	página 166
Com qual objetivo?	Discursiva	Reafirmar o perfil do usuário	Item 8.1, página 166, SIMONE DINIZ JUNQUEIRO BARBOSA, BRUNO SANTANA DA SILVA, Interação Humano-Computador, 1a. Edição.	página 166
Tem o costume de planejar sua semana com antecedência?	Objetiva (SIM/NÃO)	Reafirmar o perfil do usuário	Item 8.1, página 166, SIMONE DINIZ JUNQUEIRO BARBOSA, BRUNO SANTANA DA SILVA, Interação Humano-Computador, 1a. Edição.	página 166
Fazer a compra de passagens antes de pegar o ônibus seria uma vantagem para você?	Objetiva (SIM/NÃO)	Reafirmar o perfil do usuário	Item 8.1, página 166, SIMONE DINIZ JUNQUEIRO BARBOSA, BRUNO SANTANA DA SILVA, Interação Humano-Computador, 1a. Edição.	página 166
Costuma realizar compras online?	Objetiva (SIM/NÃO)	Reafirmar o perfil do usuário	Item 8.1, página 166, SIMONE DINIZ JUNQUEIRO BARBOSA, BRUNO SANTANA DA SILVA, Interação Humano-Computador, 1a. Edição.	página 166
Os atores presentes no storyboard são coerentes com a realidade?	Objetiva (SIM/NÃO)	Identificar problemas de interação	Item 8.3, página 172, SIMONE DINIZ JUNQUEIRO BARBOSA, BRUNO SANTANA DA SILVA, Interação Humano-Computador, 1a. Edição.	página 172
A sequência de ações leva ao objetivo final?	Objetiva (SIM/NÃO)	Identificar problemas de interação	Item 8.3, página 172, SIMONE DINIZ JUNQUEIRO BARBOSA, BRUNO SANTANA DA SILVA, Interação Humano-Computador, 1a. Edição.	página 172
O storyboard propõe maneiras mais eficientes ou interessantes de os usuários atingirem seus objetivos?	Objetiva (SIM/NÃO)	Identificar problemas de interação	Item 8.3, página 172, SIMONE DINIZ JUNQUEIRO BARBOSA, BRUNO SANTANA DA SILVA, Interação Humano-Computador, 1a. Edição.	página 172
O storyboard representa a tarefa que ele está relacionado?	Objetiva (SIM/NÃO)	Identificar problemas de interação	Item 8.3, página 172, SIMONE DINIZ JUNQUEIRO BARBOSA, BRUNO SANTANA DA SILVA, Interação Humano-Computador, 1a. Edição.	página 172
As ações dos atores seguem uma ordem justificável e coesa?	Objetiva (SIM/NÃO)	Identificar problemas de interação	Item 8.3, página 172, SIMONE DINIZ JUNQUEIRO BARBOSA, BRUNO SANTANA DA SILVA, Interação Humano-Computador, 1a. Edição.	página 172

Fonte: Yasmim Rosa e Renan Araújo

Na tabela 2, está o cronograma das entrevistas que serão realizadas:

Tabela 2 - Cronograma de Entrevistas

Entrevistadores	Data	Horário de início e fim	Local
Alana Gabriele e Gustavo Alves	27/05/2024	17:10 até 17:20	Faculdade do Gama
Renan Araújo e Pedro Henrique	27/05/2024	17:20 até 17:30	Faculdade do Gama
Gustavo Alves e Yasmin Rosa	28/05/2024	10:10 até 10:20	Faculdade do Gama
Yasmin Rosa e Alana Gabriele	29/05/2024	17:10 até 17:20	Faculdade do Gama
Pedro Henrique e Marco Tulio	30/05/2024	12:10 até 12:20	Faculdade do Gama
Marco Tulio e Renan Araújo	30/05/2024	17:10 até 17:20	Faculdade do Gama

Fonte: Alana Gabriele e Gustavo Alves

D - Decidir questões éticas

Na condução da avaliação, é necessário garantir o respeito pelos direitos dos participantes. Para isso, as entrevistas e questionários com os usuários serão conduzidas somente após o preenchimento do termo de consentimento disponível no documento dedicado aos aspectos éticos.

E - Avaliar, interpretar e apresentar dados

De acordo com Barbosa e Silva (2011), os resultados indicam tendências de problemas e sua consolidação deve buscar responder as perguntas que motivaram a avaliação. O relato dos resultados será elaborado contendo os seguintes tópicos adaptados propostos por Barbosa e Silva (2011):

Propósito e alcance da avaliação
Método de avaliação
Escolha dos participantes
Questões identificadas
Sugestões para melhorias
Feedback dos usuários
Análise e interpretação das respostas dos usuários
Resumo das principais conclusões
Plano de aprimoramento do projeto

Planejamento do Teste Piloto

Barbosa e Silva (2011) define que a realização de um estudo-piloto é uma pequena previsão para assegurar que o estudo é viável e resultará na coleta dos dados desejados para realização das análises planejadas. Com base nessa definição, o teste piloto será uma sessão de teste para verificar se a entrevista com o usuário está planejada de modo a garantir seu conforto e extrair os dados desejados. A sessão de teste piloto será realizada para simular a entrevista de modo a garantir que as entrevistas ocorrerão da maneira planejada.