Planejamento de avaliação do Storyboard
Introdução
Neste artefato estaremos realizando o planejamento para a avaliação do Online Judge, com o intuito de ao final do planejamento termos um roteiro para uma avaliação relacionada com as tarefas dos StoryBoards criados. Dessa forma, será possível verificar possíveis problemas relacionados com as tarefas propostas.
Metodologia
Para este planejamento utilizaremos o framework DECIDE o qual propõe seis (6) etapas para o planejamento, dentre elas:
Tabela 1: Definição do DECIDE
| Letra | Descrição |
|---|---|
| D | Determinar os objetivos da avaliação. |
| E | Explorar perguntas a serem respondidas com a avaliação. |
| C | Escolher os métodos de avaliação a serem utilizados. |
| I | Identificar e administrar as questões práticas da avaliação. |
| D | Decidir como lidar com as questões éticas. |
| E | Avaliar, interpretar e apresentar os dados |
Fonte: Barbosa e Silva.
Além disto, estaremos seguindo como base o perfil de usuário proposto anteriormente em busca de uma maior precisão na análise a partir dos possíveis usuários primários do sistema.
D - Objetivos da avaliação
Os objetivos do planejamento da avaliação do StoryBoard é de elaborar e planejar adequadamente um roteiro para realização da avaliação das tarefas através da utilização do StoryBoard. A partir disso, o objetivo secundário será mapear se os StoryBoards produzidos possuem coerência e se estão ocorrendo de acordo com a realidade. Por fim, poderemos utilizar essa avaliação para obter possíveis ideias e/ou problemas não identificados anteriormente.
E - Explorar Perguntas a serem respondidas com a avaliação
Tendo em vista o objetivo da entrevista, após realizar o processo de avaliação os dados serão documentados e tratados, levando em conta o contexto em que eles foram produzidos, além de verificar se tais dados são confiáveis o suficiente para que seja possível realizar uma generalização de forma a refletir a população de usuários do site.
Dessa forma, a equipe responsável por realizar as entrevistas deverá realizar anotações relativas a possíveis dificuldades durante a interação, descrevendo os problemas encontrados e sugestões de melhoria. Sendo assim, será viável captar o feedback do usuário e documentar as observações gerais verificadas a cerca da entrevista realizada. Uma vez relatada todas essas informações, os dados serão fornecidos à equipe de desenvolvimento em um esforço para obter o máximo de informações possíveis para o desenvolvimento do projeto.
C - Escolher métodos de avaliação
Para a realização desta avaliação utilizaremos tanto a investigação quanto entrevistas, tal escolha possui relação com a facilidade de contato com o público alvo do site proposto além da possibilidade de termos perguntas que elucidem mais as necessidades do usuário. As entrevistas serão gravadas e documentadas.
I - Identificar questões práticas da avaliação
Recrutamento de entrevistados
Dumas e Redish (1999)2 relatam que uma avaliação de IHC em geral envolve de cinco a 12 usuários. Nielsen (2000)3, por sua vez, afirma que bastam cinco usuários para encontrarmos a maioria dos problemas na interface (85%, segundo o seu experimento), alcançando uma boa relação custo–benefício. Caso seja necessário obter resultados estatisticamente significativos, a amostra de usuários deve ser suficientemente grande e representativa. Entretanto, o tempo e outros recursos necessários para a coleta e análise de dados de muitos usuários pode inviabilizar uma abordagem estatística. Por isso, uma avaliação de IHC com frequência pretende apenas obter indícios sobre a qualidade de uso do sistema e sobre como aumentá-la.
Baseado nisso e também na necessidade de que cada membro do grupo faça uma avaliação, e, por consequência uma entrevista, estaremos recrutando sete (7) entrevistados que se encaixem em nosso perfil de usuário. Para realização das entrevistas, o recrutamento será realizado de forma presencial na Universidade de Brasília (UnB), Campus Gama (FGA).
Preparação
Os entrevistadores deverão seguir as perguntas presentes no roteiro, e realizar anotações sobre as respostas dos usuários. Essa entrevista deverá conter uma tarefa proposta pelo entrevistador na análise de tarefas. A entrevista poderá ser realizada por apenas um entrevistador ou por uma dupla de entrevistadores no qual um ficará responsavel por tomar notas e outro ficará responsável por realizar as perguntas.
Custos
Esta etapa de entrevistas não deverá custar nada para equipe ou para o entrevistado, porém, deverá ser feita presencialmente.
Serão necessárias ferramentas para a entrevista dentre elas:
- Plataforma de chamada com possibilidade de compartilhamento de tela para gravação do vídeo: Microsoft Teams;
- Perguntas a serem respondidas com a avaliação;
- Perguntas a serem respondidas com a entrevista;
- Termo de consentimento;
- StoryBoard de cada tarefa avaliada;
- Qualquer equipamento com acesso a internet e que possua navegador web.
Prazos
Para fins de documentação as entrevistas devem ser registradas em uma tabela contendo:
- Nome do entrevistador
- Nome do entrevistado
- Horário de inicio
- Horário final
- Data da entrevista
Tabela 2 - Cronograma Planejado.
| Entrevistador | Entrevistado | Horário de Início | Horário de Fim | Data | Local |
|---|---|---|---|---|---|
| Eric Camargo | Caio Vinícius | 10:50 | 11:00 | 03/11/2023 | Microsoft Teams |
| Ester Lino | Pedro Miguel | 10:00 | 10:10 | 03/11/2023 | Microsoft Teams |
| Henrique Torres | João Pedro | 09:00 | 09:20 | 03/11/2023 | Microsoft Teams |
| Kallyne Macedo | Leonardo Aguiar | 16:10 | 16:20 | 03/11/2023 | Microsoft Teams |
| Luana Torres | Ingrid Alves | 18:20 | 18:30 | 01/11/2023 | Microsoft Teams |
| Pablo Guilherme | João Pedro Anacleto | 13:50 | 13:54 | 07/11/2023 | Microsoft Teams |
| Suzane Duarte | Ana Carolina | 11:10 | 11:20 | 04/11/2023 | Microsoft Teams |
Fonte: Ester Lino, 2023.
Roteiro de perguntas
Na entrevista serão utilizadas as seguintes perguntas:
| Número da pergunta | Enunciado da pergunta | Possíveis respostas |
|---|---|---|
| 1 | A narrativa apresentada pelo Storyboard está condizente com o título? | [ ] Sim [ ] Não [ ] Não sei afirmar |
| 2 | No que tange atores e ambiente, o Storyboard em questão possui relação com a realidade? | [ ] Sim [ ] Não [ ] Não sei afirmar |
| 3 | As tarefas realizadas pelos atores no storyboard são condizentes com a realidade? | [ ] Sim [ ] Não [ ] Não sei afirmar |
| 4 | As ações realizadas no Storyboard seguem uma ordem sequencial, fluída e lógica? | [ ] Sim [ ] Não [ ] Não sei afirmar |
| 5 | O storyboard possui uma composição visual com os seguintes itens (personagem, objetos, cenários) identificáveis? | [ ] Sim [ ] Não [ ] Não sei afirmar |
| 6 | Você considera que o ator principal completou seu objetivo na história contada pelo storyboard? | [ ] Sim [ ] Não [ ] Não sei afirmar |
Fonte: Pablo Guilherme, Suzane Duarte, 2023.
D - Questões éticas
Para a realização da entrevista utilizaremos o termo de consentimento apresentado anteriormente para obter autorização para realizar as atividades, garantindo o respeito e integridade dos entrevistados.
Dessa forma, para iniciar a entrevista a equipe solicita que o entrevistado pronuncie em alto e bom som: Eu, [nome do entrevistado], aceito os termos e dou meu consentimento para a realização da entrevista.
E - Avaliar, Interpretar e Apresentar os Dados
Após a realização das entrevistas os dados obtidos devem ser documentados, e a partir destes dados poderemos fazer uma analise das dificuldades e obstáculos que os usuários tiveram em cada tarefa, além de que também poderemos observar questões de usabilidade, desempenho ou funcionalidades ausentes. Serão observados os feedbacks dos usuários bem como suas sugestões para melhoria.
Após realizado este processo, estaremos enviando os dados coletados ao time de desenvolvimento do Online Judge
Planejamento do teste Piloto
Seguindo as recomendações de Barbosa e Silva ¹ realizaremos o teste piloto com o intuito de verificar se a avaliação está em conformidade com os objetivos e se tudo ocorrerá bem, conduziremos o teste piloto como se fosse uma sessão normal de avaliação.
Video do teste piloto
A seguir está disponível o vídeo do Teste de Piloto, realizado dia 30/10/2023 e contou com a presença de dois integrantes da equipe: Suzane Duarte e Pablo Guilherme.
Referências bibliográficas
1.BARBOSA, S. D. J.; SILVA, B. S. Interação Humano-Computador. Rio de Janeiro: Elsevier, 2011.
2.Dumas, J.S. & Redish, J.C. A Practical Guide to Usability Testing, edição revisada. Exeter, UK: Intellect, 1999.
3.Nielsen, J. Why You Only Need to Test with 5 Users, Alertbox. Disponível em http://www.useit.com/alertbox/20000319.html, 2000.
Histórico de versões
| Versão | Data | Descrição | Autor(es) | Revisor(es) |
|---|---|---|---|---|
| 1.0 | 29/10/2023 | Criação da página | Pablo Guilherme, Suzane Duarte | Eric Camargo |
| 1.1 | 29/10/2023 | Correções de erros na página | Pablo Guilherme, Suzane Duarte | Eric Camargo |
| 1.2 | 29/10/2023 | Video do teste piloto | Pablo Guilherme, Suzane Duarte | Eric Camargo |
| 1.3 | 30/10/2023 | Miniatura do video do teste piloto | Kallyne Macedo | Pablo Guilherme |
| 2.0 | 04/12/2023 | Correções do artefato | Suzane Duarte | Kallyne Macedo |