Planejamento da Avaliação do Storyboard
Introdução
O planejamento da avaliação do storyboard envolve definir critérios, público-alvo, cronogramas e metas. A avaliação do storyboard é crucial no processo de design e avaliação de um projeto de interação humano-computador. Um storyboard é uma ferramenta visual que narra a história do projeto, demonstrando como os usuários interagem com o sistema e como ele responde a essas interações. Isso facilita o alcance do objetivo final do projeto, conectando-o com o público-alvo.
Metodologia
Conforme Barbosa e Silva (2011), a avaliação de um projeto de interação humano-computador deve ser cuidadosamente planejada e executada para garantir resultados confiáveis e úteis para melhorias no projeto. Para tornar o processo claro, utilizaremos o framework DECIDE, que auxilia em cada etapa do planejamento da avaliação. A Tabela 1 abaixo apresenta o significado de cada letra.
Tabela 1 - Significados das letras do framework DECIDE.
| Letra | Definição |
|---|---|
| D | Determinar os objetivos da avaliação. |
| E | Explorar perguntas a serem respondidas com a avaliação. |
| C | Escolher os métodos de avaliação a serem utilizados. |
| I | Identificar e administrar as questões práticas da avaliação. |
| D | Decidir como lidar com as questões éticas. |
| E | Avaliar, interpretar e apresentar os dados |
Fonte - BARBOSA e SILVA (2011).
D - Objetivos
O objetivo principal da avaliação é desenvolver e validar uma versão final dos storyboards que sejam claros, coesos, atrativos e alinhados com os objetivos do projeto, identificando problemas de interação e interface para serem trabalhados posteriormente.
E - Explorar Perguntas Respondidas com a Avaliação
Com base no objetivo da avaliação, foram preparadas perguntas focadas nos seguintes tópicos: - Verificação da conformidade com um padrão. - Comparação de ideias e alternativas de design. - Identificação de problemas na interação e interface.
Essas perguntas foram elaboradas com base no Capítulo 11 da literatura de Barbosa e Silva (2011, p.266) e são:
- Os storyboards refletem a realidade e fazem sentido nas ações representadas?
- Há modificações necessárias para validar os storyboards com os usuários?
- Os storyboards estão de acordo com as tarefas mencionadas na Análise de Tarefas?
C - Escolher os Métodos de Avaliação
Para realizar a avaliação, será utilizada uma adaptação dos métodos investigativos, com entrevistas baseadas em um questionário. O usuário analisará o cenário hipotético apresentado e relacionará sua experiência pessoal com a história contada.
Esse método é escolhido por permitir a coleta de muitas informações e ser flexível, possibilitando perguntas que aprofundam os objetivos dos usuários. As entrevistas devem ser gravadas e documentadas.
I - Identificar Questões Práticas da Avaliação
Recrutamento
O recrutamento dos usuários será flexível para o entrevistador, e a escolha deve se basear no Perfil de Usuário já estabelecido. As reuniões devem ser presenciais, e serão necessárias seis avaliações individuais, uma para cada storyboard criado pelo grupo.
Preparação
Os entrevistadores farão perguntas seguindo o roteiro e anotarão as respostas dos usuários. A entrevista deve envolver atividades do Storyboard. O entrevistador pode ser uma única pessoa ou uma dupla, com cada um responsável por uma atividade (fazer perguntas e coletar respostas). O entrevistador deve solicitar ao usuário que compartilhe a tela para facilitar a observação.
Custos
As entrevistas não devem gerar custos para a equipe ou usuários, sendo feitas presencialmente, com o entrevistador registrando as respostas em papel ou online e gravando a entrevista para análise posterior.
Prazos
Os prazos das entrevistas estão documentados na Tabela 2, que apresenta um cronograma com tópicos como: - Entrevistador; - Entrevistado; - Horário de início e término; - Local e data da entrevista.
As gravações e resultados de cada entrevista podem ser encontrados AQUI.
Tabela 2 - Cronograma da entrevista.
| Entrevistador(es) | Entrevistado(s) | Horário de Início | Horário de Fim | Data | Local | Tarefa associada |
|---|---|---|---|---|---|---|
| Filipe Carvalho | André Belle | 15:00 | 16:00 | 28/05/2024 | Emissão de CRLV-e | |
| Vinicius Vieira | Aloysio Vieira | 15:00 | 15:10 | 30/05/2024 | Baixar nada consta da CNH | |
| Pedro Miguel | Maria Eduarda | 16:00 | 16:10 | 23/05/2024 | Consulta das escolas cadastradas | |
| Pedro Sena | Tiago Brant | 11:00 | 11:10 | 01/06/2024 | Casa do entrevistado | Solicitar Permissão Internacional para Dirigir |
| Daniel Coimbra | Luiz Eduardo | 9:00 | 9:10 | 25/05/2024 | Alterar endereço do veículo | |
| Victor Moreira | Firmina Moreira | 15:00 | 15:10 | 25/05/2024 | Identificação de Condutor Infrator | |
| Fonte - Vinicius Vieira |
Roteiro de Perguntas
Durante a entrevista, serão apresentadas capturas de tela para que o usuário possa visualizar a tarefa discutida pelo entrevistador, juntamente com uma tabela detalhando o fluxo da tarefa. A tabela 3 abaixo apresenta o roteiro das perguntas que serão feitas durante a entrevista. Essas perguntas foram formuladas com base em questões similares.
Tabela 3 - Roteiro de Perguntas
| ID | Pergunta | Resposta |
|---|---|---|
| 1 | A história contada pelo storyboard está alinhada com o título? | ( ) SIM ( ) NÃO |
| 2 | O storyboard reflete situações reais? | ( ) SIM ( ) NÃO |
| 3 | O storyboard cobre os principais passos da tarefa? | ( ) SIM ( ) NÃO |
| 4 | As ações no storyboard são sequenciais, fluidas e lógicas? | ( ) SIM ( ) NÃO |
| 5 | O storyboard possui uma composição visual clara, com personagens, objetos e cenários identificáveis? | ( ) SIM ( ) NÃO |
Fonte: Vinicius Vieira.
Execução do Roteiro
O entrevistador deve encorajar o usuário a expressar suas opiniões, tanto verbalmente quanto de maneira ilustrativa, caso haja discordância em relação ao storyboard apresentado. Além disso, quaisquer modificações sugeridas pelo usuário devem ser registradas pelo entrevistador e, posteriormente, revisadas em conjunto para validação com o usuário ao final da atividade.
D - Lidando com as Questões Éticas
As questões éticas para a avaliação serão baseadas no termo de consentimento desenvolvido na seção Aspectos Éticos. Esse termo se fundamenta nos princípios do Conselho Nacional de Saúde: autonomia, beneficência, não-maleficência e justiça/equidade.
E - Avaliar, Interpretar e Apresentar os Dados
Após a avaliação, os dados serão registrados e analisados, considerando o contexto em que foram coletados. A confiabilidade dos dados será avaliada para determinar se eles podem ser generalizados para representar os usuários do site.
O processo incluirá a documentação de problemas e dificuldades encontradas durante a interação, como questões de usabilidade, funcionalidades ausentes e problemas de desempenho. Serão anotadas as descrições dos problemas, suas classificações, sugestões de melhorias, o feedback do usuário e as observações gerais feitas ao final das entrevistas.
Os dados compilados serão apresentados à equipe de desenvolvimento, visando extrair o máximo de informações relevantes para a melhoria do projeto.
Planejamento do Teste Piloto
Conforme Barbosa e Silva (2011, p.276), o objetivo do teste-piloto é avaliar o planejamento da avaliação e verificar se ele gera os dados necessários para responder às questões e objetivos do estudo. O avaliador deve conduzir o teste-piloto como uma sessão normal de avaliação, verificando se a linguagem e os materiais fornecidos são claros e objetivos, e se contêm informações suficientes para orientar o participante.
O teste-piloto será realizado no dia 27/05/2023 às 19:00, com a participação dos integrantes XXXX e xxxx.
Resultado do Teste Piloto
A seguir, apresentamos o vídeo do teste-piloto conforme o cronograma, onde XXXX atuou como usuário e XXXX como entrevistador. Foram apresentados o termo de consentimento, o questionário com as perguntas, os storyboards e os cenários utilizados.
Fonte: Vinicius Vieira.
Bibliografia
Projeto de IHC - Bilheteria Digital.Acessado em 22/05/2024. Disponível em: 2023.1-BilheteriaDigital.
Referências Bibliográficas
BARBOSA, S. D. J.; SILVA, B. S. Interação Humano-Computador. Elsevier, 2011.
Histórico de Versões
| Versão | Data | Descrição | Autor(es) | Revisor(es) |
|---|---|---|---|---|
1.0 |
15/05/2024 | Criação da página | Vinicius Vieira | Pedro Sena |
1.1 |
22/05/2024 | Ajuste da página, e seus tópicos | Vinicius Vieira | Pedro Sena |
1.2 |
22/05/2024 | Ajuste de cronograma de entrevistas | Vinicius Vieira | Pedro Sena |