Planejamento da Avaliação dos Storyboards
Introdução
Com base no framework DECIDE, iremos avaliar os storyboards desenvolvidos para o projeto. O objetivo dessa avaliação é verificar se os storyboards estão claros e se o passo a passo está bem desenvolvido, para que o usuário consiga compreender a história e realizar a tarefa proposta.
Metodologia
A avaliação de storyboard é uma etapa importante para o desenvolvimento e até para o entendimento de todo o escopo do que está sendo produzido. Desse modo, optamos por utilizar o método de entrevistas, aplicado juntamente com o framework DECIDE para avaliar a qualidade e eficácia dos storyboards anteriormente desenvolvidos.
O framework DECIDE é divido em:
- D: Determinar os objetivos gerais da avaliação
- E: Explorar as perguntas a serem respondidas
- C: Escolher os métodos de avaliação
- I: Identificar as questões práticas da avalição
- D: Decidir sobre as questões éticas
- E: Avaliar os dados apresentados
Aplicação do framework DECIDE
Objetivos da Avaliação(D):
- Verificar se o passo a passo foi bem desenvolvido
- Verificar se o contexto da história é de fácil compreensão
- Identificar se o storyboard é claro em relação a tarefa que está sendo realizada
- Identificar se usuário consegue atingir seus objetivos no storyboard
- Avaliar a necessidade de mudanças nesses artefatos
Perguntas para os objetivos (E):
| n° | Pergunta | Resposta |
|---|---|---|
| 1 | O Storyboard está condizente com a tarefa do usuário? | ( ) SIM ( ) NÃO |
| 2 | O Storyboard possui embasamento na realidade? | ( ) SIM ( ) NÃO |
| 3 | O Storyboard apresenta os pontos principais da tarefa que este faz referência? | ( ) SIM ( ) NÃO |
| 4 | As ações realizadas na narrativa seguem uma sequencia lógica? | ( ) SIM ( ) NÃO |
| 5 | O storyboard permite a identificação de personagens, objetos e cenários? | ( ) SIM ( ) NÃO |
| 6 | Os desenhos e o contexto são claros e de fácil compreensão? | ( ) SIM ( ) NÃO |
Tabela 1: Perguntas para avaliação (Fonte: Lucas Lobão e Arthur Sousa, 2023)
Escolha do Método (C):
Foi utilizado o método de entrevista porque ela permite a exploração de subjetividades, adaptação às necessidades de pesquisa (foi o ponto chave) e feedbacks, permitindo que pudéssemos ter uma visão mais claro sobre os possíveis problemas nos artefatos que elaboramos.
Questões Práticas da Avaliação ( I ):
Perguntas que o entrevistador deve fazer ao entrevistado:
Tabela 3 - Perguntas ao usuário.
| ID | Enunciado | Resposta | Justificativa |
|---|---|---|---|
| 1 | A interface apresentada foi de fácil utilização? | Aberta | Justifique |
| 2 | Você acredita que as tarefas solicitadas correspondem com ações reais? | Aberta | Justifique |
| 3 | Alguma sugestão com relação à dispozição dos elementos na tela? | Aberta | Justifique |
| 4 | Você encontrou alguma dificuldade ao realizar as tarefas designadas durante o teste? | Aberta | Justifique |
| 5 | Você encontrou alguma inconsistência ou erro durante o uso da interface? | Aberta | Justifique |
Fonte Juan Pablo.
Tabela 4 - Diretriz.
| ID | Enunciado | Resposta |
|---|---|---|
| 1 | O usuário conseguiu operar o sistema | Fechada |
| 2 | Ele atinge seu objetivo? Com quanta eficiência? Em quanto tempo? Após cometer quantos erros? | Aberta |
| 3 | Ele entendeu o que deveria ser feito em seguida? | Fechada |
| 4 | Onde esses problemas se manifestam? Com que frequência tendem a ocorrer? Qual é a gravidade desses problemas? | Aberta |
| 5 | Quais barreiras o usuário encontrou ao atingir seus objetivos? | Aberta |
| 6 | Quantas vezes os usuários consultaram a ajuda on-line ou o manual de usuário? | Aberta |
Fonte Juan Pablo.
Responsáveis pela avaliação:
Os responsáveis por fazer a avaliação são os integrantes desse projeto (Lucas Andrade, Amanda Abreu, Arthur Jackson, Arthur Sousa, Juan Pablo, Fause e Felipe Hansen) Material a ser utilizado:
- O storyboard
- Documento com as orientações do que deve ser avaliado
- Caneta e papel, ou, editor de texto da preferência do avaliador
O recrutamento será feito considerando o perfil do usuário do sistema, como foi documentado na página de Perfil do Usuário.
O local das entrevistas será majoritariamente presencial, no campus da UnB, porém, conforme necessário, também poderão ser realizadas entrevistas remotas, com o uso da plataforma de videochamadas Microsoft Teams.
A quantidade de entrevistados prevista é de 7 pessoas, pois serão 7 storyboards a serem avaliados, um para cada tarefa para a qual foi criada o storyboard.
Prazos
O prazo limite para a realização das entrevistas é até o dia 05/11. Elas estão previstas para acontecer nos dias 01/11 e 03/11, no período da tarde, como mostra o cronograma da Tabela 2.
| Entrevistador(es) | Entrevistado(s) | A partir (Horário) | Até (Horário) | Data | Local |
|---|---|---|---|---|---|
| Lucas Lobão | Raquel Alves e Rebeca Alves | 12:00 | 12:30 | 01/11/2023 | Presencial (FGA) ou Microsoft Teams |
| Amanda Abreu | Pedro Lucas | 12:00 | 12:30 | 01/11/2023 | Presencial (FGA) ou Microsoft Teams |
| Artur Jackson | Guilherme | 12:00 | 12:30 | 01/11/2023 | Presencial (FGA) ou Microsoft Teams |
| Arthut Sousa | Yann Rodrigues | 12:00 | 12:30 | 01/11/2023 | Presencial (FGA) ou Microsoft Teams |
| Fause Carlos | Ana Julia | 13:00 | 13:30 | 03/11/2023 | Presencial (FGA) ou Microsoft Teams |
| Felipe Hansen | Patrick | 13:00 | 13:30 | 03/11/2023 | Presencial (FGA) ou Microsoft Teams |
| Juan Pablo | Yuri Ricarte | 13:00 | 13:30 | 03/11/2023 | Presencial (FGA) ou Microsoft Teams |
Tabela 2 - Cronograma da entrevista (Fonte - Lucas Lobão e Arthur Sousa, 2023)
(D) Questões éticas:
A fim de observar os princípios éticos e resguardar o participante quanto a sua participação na entrevista, será disponibilizado um termo de consentimento anteriormente apresentado na página Aspectos Éticos.
(E) Avaliação dos Dados:
A avaliação dos resultados será discutida por todos os integrantes em reunião a fim de se chegar a um consenso sobre os pontos que precisam ser melhorados ou os que já estão de acordo com o esperado.
Teste Piloto
Antes de conduzir as entrevistas com os participantes selecionados, será realizado um teste piloto. Esse teste tem como objetivo garantir que o planejamento está adequado, que a avaliação está gerando os dados necessários e que todas as ferramentas requeridas para o processo de avaliação estão funcionando conforme o planejado. Durante o teste piloto, temos a oportunidade de testar os métodos e procedimentos em uma escala reduzida, o que ajuda a identificar e resolver quaisquer problemas no plano de avaliação antes de iniciar a avaliação completa. Um dos avaliadores conduzirá a avaliação como se fosse uma entrevista real, e os resultados e a gravação deste teste serão cuidadosamente registrados no relatório de resultados. Qualquer ajuste necessário no planejamento será feito com base nas descobertas do teste piloto antes de dar início às entrevistas oficiais.
Nesse sentido, o teste piloto da avaliação de storyboard será executado pelos integrantes Lucas Lobão e Arthur Sousa no dia 31/10, entre 12:00 e 13:00 de forma presencial na UnB(Campus do Gama), caso não seja possível realizar nesse horário o teste piloto será realizado de forma online utilizando a plataforma Microsoft Teams.
Vídeo da realização do teste piloto
O teste piloto pode ser acessado neste link
Objetivos do teste piloto
- Identificar se o tempo da entrevista está de acordo com o esperado
- Testar a dinâmica da entrevista
- Verificar se os comandos e questões são de fácil compreensão
Bibliografia
Design de Interação: Além da Interação Humano-Computador, Preece et al (2023)
Histórico de versão
| Versão | Data | Modificação | Autor | Revisores |
|---|---|---|---|---|
| 1.0 | 28/10/2023 | Criação da página | Arthur Sousa e Lucas Lobão | Amanda |