Planejamento da Avaliação do Storyboard

Introdução

O presente artefato apresenta o planejamento da avaliação dos storyboards elaborados para a aplicação web lichess. O planejamento baseia-se nas atividades propostas pelo framework DECIDE, a saber:

• D: Determinar os objetivos da avaliação;
• E: Explorar perguntas a serem respondidas com a avaliação
• C: Escolher os métodos de avaliação a serem utilizados
• I: Identificar e administrar as questões práticas da avaliação
• D: Decidir como lidar com as questões éticas
• E: Avaliar, interpretar e apresentar os dados

Objetivos

A avaliação dos storyboards elaborados tem como principais objetivos:

• Avaliar se as tarefas representadas estão de acordo com o contexto do usuário;
• Avaliar se as necessidades do usuário em relação às tarefas representadas são satisfeitas;
• Verificar a necessidade de alterações nos storyboards.

Metodologia

A avaliação do storyboard será feita por meio de uma entrevista com um usuário da plataforma lichess. Uma vez que a avaliação envolve pessoas, é necessário atentar-se às questões éticas, e a primeira etapa da entrevista consiste na apresentação do termo de consentimento ao entrevistado, com o qual ele pode ou não consentir. Partindo da premissa que o usuário esteja de acordo com os termos, um pequeno período de adaptação ocorrerá, no qual o entrevistador trabalhará para criar um ambiente amigável e descontraído para o entrevistado. A seguir, a proposta do projeto será apresentada e em seguida serão realizadas as perguntas descritas no roteiro. Após a finalização do roteiro, o entrevistado terá um período de tempo destinado para fazer comentários e sugestões que não tenham sido abordadas durante a entrevista, caso ache pertinente.

Questões práticas

As seguintes subseções apresentam o planejamento prático das atividades.

Recrutamento dos participantes

Por meio do perfil de usuário foi possível traçar um desenho sobre os grupos que compõem a maior parte de usuários da plataforma, e tendo em vista esse perfil, escolheu-se recrutar um estudante universitário, na faixa etária de 20 a 25 anos e jogador de xadrez competitivo. A busca por usuários foi feita em grupos de xadrez com estudantes da Universidade de Brasília.

Cronograma da avaliação

Data e horário	Atividade	Autor(es)	Revisor(es)
16/12/2022 às 10:00	Execução do teste piloto	Nicolas Souza	Lucas Macedo
18/12/2022 às 09:00	Entrevista com o usuário	Nicolas Souza Lucas Macedo	Lucas Gabriel
19/12/2022 até 22:00	Registro dos resultados da entrevista	Lucas Macedo	Nicolas Souza

Papéis dos Avaliadores

Durante a entrevista, um membros do grupo exercerá o papel de avaliador. Ele ficará responsável por observar os comportamentos, comunicação não verbal e respostas do entrevistado, enquanto conduz a entrevista.

Ferramentas

A entrevista será realizada na plataforma Microsoft Teams, para que seja possível gravar o encontro. Os avaliadores e entrevistado podem também utilizar papel e caneta para fazer registros durante a entrevista.

Teste Piloto

Antes da execução da entrevista, será realizado um teste piloto. O teste piloto consistirá na execução da entrevista com outro integrante do grupo, para avaliar o tempo gasto durante a entrevista, se as perguntas estão adequadas e se será necessário alterar algo no planejamento.

Questões Éticas

No caso de avaliações que envolvem participantes, é necessário colher o consentimento dos participantes, a partir do termo de consentimento livre e esclarecido, de acordo com os aspectos éticos definidos para o projeto.

Termo de Consentimento livre e esclarecido

Antes de iniciar a avaliação, o avaliador deve apresentar o termo de consentimento ao entrevistado e verificar se ele consente em participar da pesquisa e com a gravação da entrevista.

Termo de Consentimento Livre e Esclarecido

---

Somos uma equipe da disciplina de Interação Humano Computador, que está realizando uma avaliação do sistema Lichess, um sítio da internet que tem como foco a prática de xadrez online, os resultados desse projeto podem ser observados através deste link. Nessa etapa do projeto, queremos conhecer o que algumas das pessoas que usam o sistema pensam a respeito de suas características e funcionamento e como imaginam que o novo sistema deveria apoiar a sua prática. Estamos realizando uma série de pesquisas, e solicitamos seu consentimento para a realização de uma entrevista com duração de 30 minutos. Para decidir sobre o seu consentimento, é importante que você conheça as seguintes informações sobre a pesquisa:

• Os dados coletados durante a entrevista destinam-se estritamente a atividades de análise e elaboração de melhorias para o sistema Lichess.
• Nossa equipe tem o compromisso de divulgar os resultados de nossas pesquisas para o cliente. A divulgação desses resultados pauta-se no respeito à sua privacidade, e o anonimato dos participantes será preservado em quaisquer documentos que elaborarmos.
• O consentimento para a entrevista é uma escolha livre, feita mediante a prestação de todos os esclarecimentos necessários sobre a pesquisa.
• A entrevista pode ser interrompido a qualquer momento, segundo a sua disponibilidade e vontade.

Diante das explicações você acha que está suficientemente informado(a) a respeito da pesquisa que será realizada e concorda de livre e espontânea vontade em participar, como colaborador? Caso o participante seja menor de idade é necessário a permissão do responsável legal.

( ) Sim

( ) Não

---

Avaliação, interpretação e apresentação dos dados

A avaliação, interpretação e apresentação dos dados será feita por meio do relato de resultados, de acordo com o planejamento realizado.

Roteiro de Perguntas

A seguir estão registradas as perguntas que comporão a entrevista com o usuário. Caso ele responda não ou não sei afirmar para qualquer uma delas, o entrevistador deve perguntar em seguida se ele pode justificar o motivo da resposta e se ele possui alguma sugestão de melhoria.

A sequência de perguntas a seguir deve ser executada para cada um dos storyboards desenvolvidos.

Perguntas

1. Os atores envolvidos no storyboard são condizentes com a realidade?
   • Sim
   • Não
   • Não sei afirmar
2. O ambiente em que ocorre o storyboard é condizente com a realidade?
   • Sim
   • Não
   • Não sei afirmar
3. As tarefas realizadas pelos atores no storyboard são condizentes com a realidade?
   • Sim
   • Não
   • Não sei afirmar
4. A sequência de ações do storyboard é condizente com a realidade?
   • Sim
   • Não
   • Não sei afirmar
5. A motivação do usuário para utilizar a aplicação lichess fica clara no storyboard?
   • Sim
   • Não
   • Não sei afirmar
6. Você considera que o ator principal completou seu objetivo na história contada pelo storyboard?
   • Sim
   • Não
   • Não sei afirmar

Storyboards desenvolvidos

O storyboard é um tipo de protótipo de baixa fidelidade,que consiste em uma série de desenhos mostrando como um usuário pode progredir em uma tarefa utilizando o sistema que está sendo desenvolvido. Pode ser uma série de telas esboçadas no caso de um sistema baseado em GUI. Esse modelo de artefato deve conter os seguintes elementos:

• As pessoas envolvidas;
• Ambiente/contexto;
• Tarefas;
• Passos envolvidos;
• A motivação para usar a sistema;
• O que as pessoas precisam fazer para completar a tarefa;
• A satisfação da pessoa ao completar a tarefa, no final do storyboard.

Os protótipos foram elaborados com base nas tarefas principais executadas pelo usuário durante a utilização do sistema, detalhadas na análise de tarefas.

• Tarefa 1: Jogar uma partida de xadrez

Na Figura 1, podemos ver o storyboard de jogar uma partida de xadrez, e ao ganhar, o usuário resolve repetir o processo.

Figura 1: Storyboard da tarefa "Jogar uma partida", versão 2. (Fonte: Autores. 2022).

• Tarefa 2: Aprender a jogar xadrez

Na Figura 2, podemos ver o storyboard sobre aprender a jogar xadrez, obtendo ensinamentos do nível básico ao avançado.

Figura 2: Storyboard da tarefa "Aprender a jogar xadrez", versão 2. (Fonte: Autores. 2022).

Bibliografia

[1] BARBOSA, Simone; DINIZ, Bruno. Interação Humano-Computador. Editora Elsevier, Rio de Janeiro, 2010.

[2] Planejamento da Avaliação do Storyboard - Projeto Neoenergia 2022.1

Histórico de Versão

Versão	Data	Descrição	Autor(es)	Revisor(es)
1.0	13/12/2022	Criação da versão inicial do artefato.	Nicolas	Lucas Gabriel
1.1	14/12/2022	Adição dos storyboards	Lucas Macedo	Nicolas
1.2	19/12/2022	Alteração dos storyboard para a versão 2. Versão 1 do "jogar uma partida" e do "aprender a jogar"	Nicolas Souza	Mauricio Machado