Planejamento da Avaliação do Storyboard
Introdução
O Storyboard é uma ferramenta de design que utiliza representações visuais para ilustrar o fluxo de interações em um sistema ou aplicativo. Essa técnica é crucial para a visualização do uso do sistema e a identificação de potenciais problemas ou incoerências. Contudo, para garantir a eficácia das decisões tomadas, é essencial realizar avaliações e validações com os usuários do sistema.
Objetivo
Este documento tem como objetivo principal estabelecer diretrizes claras para a avaliação do Storyboard, empregando metodologias apropriadas. Busca-se oferecer um roteiro detalhado para que avaliadores futuros possam conduzir avaliações com os futuros usuários. O foco está na definição de métodos e etapas para assegurar uma avaliação completa e eficiente do design de sistemas por meio do Storyboard.
Metodologia
Para a realização do planejamento da avaliação do Storyboard, será adotado o framework DECIDE, uma ferramenta que nos orientará passo a passo por meio do acrônimo representado pelas suas palavras-chave, conforme apresentado na tabela a seguir:
| Letra | Objetivo |
|---|---|
| D: | Definir os objetivos gerais da avaliação e entender por que esses objetivos são significativos. |
| E: | Explorar as questões que precisam ser respondidas por meio da avaliação. |
| C: | Escolher os métodos de avaliação apropriados. |
| I: | Gerenciar as questões práticas relacionadas à avaliação. |
| D: | Tomar decisões éticas que envolvem a avaliação. |
| E: | Avaliar, interpretar e apresentar os dados coletados. |
Tabela 01 - Especificação do framework DECIDE. (Fonte: LELIS,Caio)
Planejamento da avaliação
Objetivos Gerais (D):
A avaliação de storyboards é crucial para garantir a congruência entre as representações visuais propostas e os objetivos gerais do projeto. O objetivo primordial da avaliação é validar uma versão final dos storyboards a fim de achar possíveis problemas na interação e na interface que posteriormente serão trabalhados pelo grupo.
Exploração de Questões (E):
Com base nos objetivos da avaliação, foram elaboradas perguntas orientadas para atingir os seguintes pontos:
- Conformidade com um padrão estabelecido
- Comparação de ideias e alternativas de design:
- Identificação de problemas na interação e interface:
Essas questões foram estruturadas para avaliar a congruência, o potencial de melhorias e a fidelidade aos cenários pré-estabelecidos, alinhando-se aos objetivos gerais da avaliação de storyboards.
Métodos de Avaliação (C):
A estratégia de avaliação empregará uma abordagem adaptada do método de investigação, utilizando entrevistas guiadas por um questionário roteirizado. Os usuários serão convidados a analisar cenários hipotéticos apresentados nos storyboards e a correlacionar esses contextos fictícios com suas experiências pessoais.
Questões Práticas da Avaliação (I):
Recrutamento:
O recrutamento de entrevistados será flexível, baseado nos perfis de usuários pré-determinados. As entrevistas poderão ser conduzidas tanto de forma online quanto presencial, oferecendo essa escolha aos entrevistadores para garantir o máximo conforto e adesão.
Preparação:
Os entrevistadores seguirão um roteiro de perguntas estruturadas. Podem ser designados um ou dois entrevistadores, cada um responsável por uma função específica, seja a realização das perguntas ou a coleta de respostas. Caso a avaliação seja sozinha, cabe ao entrevistador fazer as duas funções.
Custos:
A avaliação não implicará custos para os usuários envolvidos ou para a equipe executora.
Prazos:
| Ordem | Data | Horário de início e fim | Local | Entrevistador(es) | Entrevistado |
|---|---|---|---|---|---|
| 1° | 07/11/2023 | xx:xx - xx:xx | Plataforma Microsoft Teams (Online) | Caio Lelis | Amanda Alves Campos |
| 2° | xx/11/2023 | xx:xx - xx:xx | Plataforma Microsoft Teams (Online) | --- | |
| 3° | xx/11/2023 | xx:xx - xx:xx | Plataforma Microsoft Teams (Online) | --- | |
| 4° | xx/11/2023 | xx:xx - xx:xx | Plataforma Microsoft Teams (Online) | --- | |
| 5° | xx/11/2023 | xx:xx - xx:xx | Plataforma Microsoft Teams (Online) | --- |
Tabela 2: Prazos das entrevistas (Fonte: Autores, 2023).
Roteiro de Perguntas:
Elaboração do roteiro de perguntas
Abaixo a Tabela 1 com as perguntas.
| Nº | Pergunta | Resposta |
|---|---|---|
| 1 | Os usuários envolvidos no storyboard condizem com a realidade? | [ ] Sim [ ] Não |
| 2 | Por quê você acha que este storyboard não condiz com a realidade? | Resposta aberta |
| 3 | Você teria alguma sugestão de melhoria ou alteração no storyboard apresentado? | [ ] Sim [ ] Não |
| 4 | O Storyboard possui conexão com a realidade da tarefa proposta nele? | [ ] Sim [ ] Não |
| 5 | O Storyboard segue uma ordem cronológica dos seus acontecimentos? | [ ] Sim [ ] Não |
| 6 | Existe alguma discrepância entre as representações nos storyboards e o que seria esperado na prática? | [ ] Sim [ ] Não |
| 7 | Os storyboards demandam modificações para validação ou para atender às expectativas dos usuários? | [ ] Sim [ ] Não |
| 8 | Há espaço para aprimoramento nos storyboards, especialmente em termos de facilidade de compreensão ou representação visual? | [ ] Sim [ ] Não |
| 9 | Há aspectos na interação representada nos storyboards que podem ser melhorados para oferecer uma experiência mais fluida aos usuários? | [ ] Sim [ ] Não |
| 10 | Os elementos no storyboard refletem as necessidades e desafios dos usuários? | [ ] Sim [ ] Não |
| 11 | O fluxo de interação no storyboard parece natural e intuitivo para os usuários? | [ ] Sim [ ] Não |
| 12 | As ações dos usuários no storyboard são coerentes com suas possíveis atitudes na situação representada? | [ ] Sim [ ] Não |
| 13 | Outras observações ou sugestões para melhorar os storyboards? | Resposta aberta |
Execução do Roteiro:
Durante a entrevista, o entrevistado seguirá o roteiro respondendo de acordo com sua percepção. Em caso de respostas afirmativas, as perguntas subsequentes serão seguidas conforme indicado. Para respostas negativas, serão exploradas sugestões de melhoria, e as respostas discursivas serão registradas para análise posterior.
Aspectos éticos (D):
É necessário garantir o respeito pelos direitos dos participantes, obtendo consentimento informado, protegendo sua privacidade e confidencialidade, e assegurando que nenhum dano seja causado durante o processo de avaliação. Para isso, as avaliações e entrevistas com o usuário serão feitas somente após o preenchimento do nosso termo de consentimento, disponível no documento de aspectos éticos
Avaliar, interpretar e apresentar os dados(E):
Para finalizar o planejamento da avaliação do Storyboard com base no framework DECIDE, é necessário determinar o que será feito com os dados obtidos durante a avaliação.
Após a conclusão da avaliação, os dados coletados passarão por um processo de documentação e análise detalhada, sempre considerando o contexto em que foram gerados. A confiabilidade dos dados será cuidadosamente avaliada para determinar se eles podem ser generalizados e representativos para todos os usuários do site.
Nesse processo, os problemas e dificuldades encontrados durante a interação dos usuários com o sistema serão registrados minuciosamente. Isso pode abranger questões de usabilidade, funcionalidades ausentes e problemas de desempenho que tenham sido identificados. Cada problema será descrito em detalhes, classificado quanto à sua gravidade e impacto e acompanhado de sugestões de melhoria.
A coleta de feedback direto dos usuários é uma parte fundamental da avaliação. Suas opiniões e observações sobre a experiência de interação serão cuidadosamente registradas para entender suas perspectivas e necessidades. Ao final das entrevistas ou sessões de avaliação, observações gerais também serão documentadas para fornecer uma visão holística do processo. Uma vez que todos os dados tenham sido devidamente documentados e analisados, eles serão servirão para orientar o processo de desenvolvimento do projeto.
Planejamento do teste-piloto
O teste-piloto consiste em avaliar o planejamento em si e determinar se a avaliação, conforme inicialmente concebida, gera os dados necessários para abordar as questões e objetivos do estudo. Durante o teste-piloto, o avaliador conduzirá a avaliação como se fosse uma sessão normal, oferecendo assim a oportunidade de verificar a clareza e a objetividade da linguagem nas explicações e materiais fornecidos (roteiro de perguntas), bem como a presença de informações suficientes para guiar o participante ao longo do processo de avaliação. Além disso, o teste-piloto possibilita ao avaliador verificar se o sistema a ser avaliado, os equipamentos e os softwares para a coleta de dados funcionam corretamente, e se o tempo necessário para a execução das tarefas propostas é adequado.
Se qualquer problema for identificado durante o teste-piloto, é fundamental que o planejamento da avaliação e os materiais de apoio sejam devidamente corrigidos. É importante ressaltar que os dados obtidos durante o teste-piloto devem ser descartados, uma vez que podem estar sujeitos a problemas que ocorreram durante a fase piloto ou podem não ser compatíveis nem válidos em relação ao planejamento revisado da avaliação.
Dessa maneira, o teste-piloto será realizado no dia 03/11/2023 e contará com a presença dos integrantes Gabriel Barbosa e Guilherme Basilio, atuando como entrevistador e entrevistado, respectivamente.
Referências bibliográficas
[1] BARBOSA, Simone; DINIZ, Bruno. Interação Humano-Computador, Rio de Janeiro, 2021.
Bibliografia
[1] Planejamento da Avaliação do Storyboard. Repositório do Grupo Bilheteria Digital da disciplina de Interação Humano computador da Universidade de Brasília, 2023. Disponível em: https://interacao-humano-computador.github.io/2023.1-BilheteriaDigital/design-avaliacao-desenvolvimento/nivel-1/storyboard-dad/planejamento-avaliavao-sb/. Acesso em: 30 de outubro de 2023.
Histórico de versão
| Versão | Descrição | Autor | Data | Revisor | Data de revisão |
|---|---|---|---|---|---|
| 1.0 | Criação do documento | Guilherme Basilio | 27/10/2023 | Caio Lelis e Joel Soares | 27/10/2023 |
| 1.1 | Planejamento teste piloto e conclusão | Gabriel Barbosa | 29/10/2023 | Guilherme Basilio | 27/10/2023 |
| 1.2 | Alteração questões práticas | Caio Lelis e Joel Soares | 30/10/2023 | Gabriel Barbosa | 27/10/2023 |