Planejamento da Avaliação dos Storyboards

Introdução

Seguindo o processo de deisgn de Mayhew (1999), escolhido para o projeto, após concluídas as etapas de estabelecimento de requisitos é iniciado o desenvolvimento de design. Torna-se necessário, para dar continuidade ao papel do avaliador, a elaboração de protótipos dos cenários estabelecidos no projeto, tornando possível uma visualização mais direta e a verificação da ideia estabelecida pelo avaliador pelos próprios usuários do site avaliado.

Objetivo

Neste documento será apresentado o planejamento de avaliação dos protótipos, além de um planejamento referente ao relato dos resultados de tais avaliações. É esperado que, após realizadas as devidas verificações, o projeto possa prosseguir ao nível 2 de design estabelecido pelo processo de design anteriormente mencionado.

Metodologia

Será utilizada, para o propósito desta avaliação, uma abordagem planejada com base no framework DECIDE, proposto por Preece et al. (2002). Também será utilizado a interpretação de Barbosa et al. (2010) para o estabelecimento e acompanhamento das instruções do framework mencionado, sendo separado cada etapa pelas letras que nomeiam o mesmo.

A tabela 1 abaixo oferece uma lista de checagem do que será avaliado:

Tabela 1 - Lista de checagem do framework DECIDE.

Letra	Definição
D	Determinas os objetivos que a avaliação irá abordar
E	Explorar as perguntas da avaliação
C	Escolher os métodos de avaliação e técnicas para resposta de perguntas
I	Identificar as questões práticas da avaliação
D	Decidir como lidar com as questões éticas
E	Avaliar e administrar os dados da avaliação

Fonte: Design de Interação: Além da Interação Humano-Computador. Capítulo 11.3: DECIDE: um framework para orientar a avaliação⁷.

(D) Determinar o objetivo

• Apropriação da tecnologia pelos usuários (I)
• Problemas na interação e na interface (II)

(E) Explorar as perguntas da avaliação

Ao analisar o objetivo I temos as seguintes perguntas principais:

- Por que os usuários não incorporaram o sistema no seu cotidiano?
- Quais objetivos dos usuários podem ser alcançados através do sistema? Quais não podem? Quais necessidades e desejos foram ou não atendidos?
- Como o sistema interativo afeta o modo de as pessoas se comunicarem e relacionarem?

Já referente ao objetivo II:

- Que parte da interface e da interação o deixa insatisfeito?
- Ele entende o que significa e para que serve cada elemento de interface?
- Ele vai entender o que deve fazer em seguida?
- Quais barreiras o usuário encontra para atingir seus objetivos?

Ao final da simulação de uso o avaliador fará perguntas ao usuário sobre sua experiência com o protótipo durante a avaliação. A Tabela 2 descreve as perguntas a serem realizadas.

Tabela 2: Questões a serem tratadas nas entrevistas

Ordem das perguntas	Pergunta	Tipo de pergunta	Respostas possíveis
1°	Os usuários envolvidos no storyboard condizem com a realidade?	Fechada	Sim / Não
2°	O cenário que o storyboard está inserido condiz com a realidade?	Fechada	Sim / Não
3°	As ações realizadas pelo usuário no storyboard condizem com o esperado?	Fechada	Sim / Não
4°	Você compreendeu o storyboard aqui passado e as pessoas envolvidas?	Fechada	Sim / Não
5°	Foi possível compreender os passos realizados? Se não, por que?	Fechada / Aberta	Sim / Não e Discursiva
6°	Foi possível identificar a vantagem e a satisfação final do storyboard?	Fechada	Sim / Não
7°	O storyboard mostra como o produto resolve o problema ou a necessidade do usuário?	Fechada	Sim / Não
8°	O storyboard demonstra os benefícios e as vantagens da ferramenta?	Fechada	Sim / Não
9°	Dados os aspectos apresentados, você vê a possibilidade desse cenário ocorrer na cidade?	Fechada	Sim / Não
10°	Dados os aspectos apresentados, você vê a população criando uma cultura para utilizar a proposta aqui descrita? Explique	Aberta	Discursiva
11°	Dados os aspectos apresentados, você acha que é viável a utilização da ferramenta e que isso trará benefícios para as partes interessadas? Explique.	Aberta	Discursiva
12°	Há alguma alteração ou consideração que queira realizar para melhor trabalharmos o que foi proposto aqui? Se sim, por que?	Fechada / Aberta	Sim e Discursiva / Não

Fonte: FREITAS, Cainã. 2024.

(C) Escolher o(s) método(s) de avaliação

Dada uma divisão de objetivos principais a serem avaliados, o grupo irá realizar a avaliação de cada objetivo por métodos distintos, de forma que o primeiro objetivo, referente à apropriação de tecnologia (I), será trabalhado pelo método de investigação pelo intermédio de entrevistas com usuários do site. A respeito do objetivo referente aos problemas na interação e interface (II), será trabalhado pelo uso do método de inspeção con intermédio de avaliações heurísticas, baseadas nas propostas de Nielsen (1994), com enfoque nas seguintes heurísticas: visibilidade do estado do sistema, correspondência entre o sistema e o mundo real, prevenção de erros e consistência e padronização.

(I) Identificar as questões práticas da avaliação

Para o objetivo I, será necessário o contato com indivíduos do município de Lagoa da Prata que, por meio de entrevista, consigam julgar os protópipos realizados pela equipe e também fornecer feedback referente ao seu uso da plataforma com as funcionalidades retratadas. Baseado na proposta de Dumas & Redish (1999), serão entrevistados cinco usuários. Cada entrevista será realizada por um membro do grupo de IHC de modo online. As entrevistas serão realizadas via Microsoft Teams, plataforma gratuita para os estudantes da Universidade de Brasília que permite chamadas de voz ou vídeo e oferece gravações.

Já para a análise do objetivo II, devido ao método de inspeção, será necessário a verificação dos horários de cada membro encarregado por cada avaliação e de suas ferramentas em estado funcional, gerando um baixo custo em geral, além de simplicidade ao não envolver pessoas externas. Cada avaliador se responsabilizará por compreender o perfil que utilizará quando realizar a avaliação, listar os problemas encontrados com dados de local, gravidade, justificativa e recomendações de solução.

(D) Decidir como lidar com as questões éticas

Utilizaremos o Termo de Consentimento de Avaliação juntamente com Aspectos Éticos, para a obtenção da permissão e devida autorização dos dados coletados, uso de imagem e para que haja credibilidade, precisão e respeito durante e pós atividade.

(E) Avaliar e administrar os dados da avaliação

Para o recolhimento de dados da entrevista, o avaliador responsável deverá, inicialmente, registrar os dados do entrevistado de nome, idade, profissão. Em seguida, irá recolher as respostas do usuário a respeito da prototipação apresentada e seus comentários. Caberá ao entrevistador e ao revisor da equipe a interpretação do dado para estabelecer o feedback subjetivo em um conceito geral que possa ser verificado por outros stakeholders e, possivelmente, os desenvolvedores do site. Os dados deverão ser registrados conforme níveis de relevância no contexto de IHC e do usuário, com o site avaliado em pequena, mediana e alta, tendo como critério inicial de distinção, o quanto o feedback do usuário lhe promove um bom incentivo à utilização do site e da funcionalidade apresentada, além de sua recomendação a outras pessoas para a utilização da mesma funcionalidade.

Já para os dados provenientes da avaliação heurística, será seguido o modelo proposto por Barbosa (2021) quando se refere ao registro dos métodos de Nielsen (1994). O modelo é composto pelos itens: objetivos da avaliação, escopo da avaliação, descrição do método de heurística, conjunto de diretrizes, número e perfil dos avaliadores e listagem de problemas encontrados (sendo que cada problema deve conter, por sua vez, local, descrição, diretriz violada, severidade e sugestões de solução). Os resultados individuais de cada avaliador serão levados ao grupo como um todo e analisados novamente, realizando uma revisão dos problemas encontrados e conformidade com o planejamento, assim como se as soluções propostas estão de acordo com a realidade. |

Referencial Bibliográfico

1. Mayhew, Deborah J. (1999). The Usability Engineering Lifecycle: A Practitioner’s Handbook for User Interface Design. Morgan Kaufmann, 1st edition edition.

2. Preece, Jennifer, Rogers, Yvonne, e Sharp, Helen (2002). Interaction Design: Beyond Human-Computer Interaction. John Wiley & Sons.

3. Barbosa, S. D. J.; Silva, B. S. da; Silveira, M. S.; Gasparini, I.; Darin, T.; Barbosa, G. D. J. (2021) Interação Humano-Computador e Experiência do usuário. Autopublicação. ISBN: 978-65-00-19677-1.

4. Nielsen, Jakob (1994). Usability Engineering. Morgan Kaufmann Publishers Inc., San Francisco, CA, USA.

5. BRASIL. Resolução nº 466, de 12 de dezembro de 2012, que trata de pesquisas em seres humanos e atualiza a resolução 196. Brasília, DF: Diário Oficial da União, 2013. Disponível em: https://conselho.saude.gov.br/resolucoes/2012/Reso466.pdf Acesso em: 06/05/2024.

6. Dumas, Joseph S. e Redish, Janice C. (1999). A Practical Guide to Usability Testing. Intellect Books, GBR, 1st edition.

7. ROGERS, Yvonne. SHARP, Helen. PREECE, Jhennifer. Design de Interação: Além da Interação Humano-Computador. Capítulo 11.3: DECIDE: um framework para orientar a avaliação. Página 368.

Histórico de Versões

Data	Versão	Descrição	Autor(es)	Data de revisão	Revisor(es)
22/05/2024	1.0	Elaboração inicial do documento	Lucas Meireles	22/05/2024	Lucas Heler
03/06/2024	1.1	Adiciona tabela de perguntas para entrevista	Cainã Freitas	11/06/2024	Pedro Lucas
11/06/2024	2.0	Reestruturação no documento	Pedro Lucas	19/06/2024	Joyce Dionizio