Planejamento da Avaliação do Storyboard
Introdução
A avaliação de IHC é uma atividade fundamental em qualquer processo de desenvolvimento que busque produzir um sistema interativo com alta qualidade de uso. Ela orienta o avaliador a fazer um julgamento de valor sobre a qualidade de uso da solução de IHC e a identificar problemas na interação e na interface que prejudiquem a experiência particular do usuário durante o uso do sistema (Barbosa, 2021)1.
Metodologia
A metodologia adotada para a avaliação segue o modelo do framework DECIDE (Barbosa, 2021)2, uma abordagem estruturada que organiza o processo de avaliação em seis etapas principais: (D) determinar os objetivos da avaliação, (E) explorar perguntas a serem respondidas, (C) escolher os métodos de avaliação, (I) identificar e administrar questões práticas, (D) decidir como lidar com questões éticas, e, por fim, (E) avaliar, interpretar e apresentar os dados. Essa metodologia permite um planejamento claro e detalhado, garantindo que a avaliação aborde tanto os aspectos de apropriação da tecnologia quanto a identificação de problemas de interação humano computador.
D - Determinar os objetivos da avaliação de IHC
Os objetivos desta avaliação são voltados para compreender como os usuários interagem com os storyboards e identificar pontos de melhoria. Em relação à apropriação da tecnologia, busca-se verificar se os usuários compreendem as interações propostas e conseguem imaginar como as tarefas seriam realizadas no sistema. Já na identificação de problemas de interação e interface, o foco está em detectar dificuldades nos fluxos representados, incluindo inconsistências, ambiguidades ou elementos que possam causar confusão, com o intuito de aprimorar a experiência do usuário.
E - Explorar perguntas a serem respondidas com a avaliação
As perguntas a serem exploradas nesta avaliação foram adaptadas a partir da tabela de exemplos de perguntas que uma avaliação de IHC pode responder (Barbosa, 2021)3, visando o contexto específico da avaliação de storyboards. O objetivo é compreender como os usuários percebem os fluxos de interação que possam afetar a experiência de uso. As questões foram elaboradas para investigar tanto a apropriação da tecnologia quanto a identificação de problemas de IHC, considerando as interações apresentadas nos storyboards.
Tabela 1 - Roteiro de perguntas para Avaliação de Storyboard
| Objetivo | Pergunta | Resposta |
|---|---|---|
| Apropriação da Tecnologia | 1. Os usuários compreendem o objetivo de cada interação representada no storyboard? | |
| Apropriação da Tecnologia | 2. Os fluxos propostos são claros e intuitivos? | |
| Apropriação da Tecnologia | 3. Há evidências de que os usuários conseguiriam utilizar o sistema com base no que foi apresentado? | |
| Apropriação da Tecnologia | 4. Quais aspectos dos fluxos apresentados no storyboard podem impedir os usuários de adotarem o sistema em suas rotinas diárias? | |
| Identificação de Problemas de Interação e Interface | 5. Existem elementos confusos ou difíceis de interpretar nos storyboards? | |
| Identificação de Problemas de Interação e Interface | 6. Quais barreiras de interação podem surgir para os usuários ao realizarem as tarefas propostas? | |
| Identificação de Problemas de Interação e Interface | 7. A sequência de interações está clara, ou os usuários têm dificuldades em entender o que fazer a seguir? | |
| Identificação de Problemas de Interação e Interface | 8. Os usuários têm acesso a todas as informações necessárias para concluir as tarefas ou há falta de clareza nas instruções? |
Autor(es): Paulo Henrique, Weverton Rodrigues
C - Escolher os métodos de avaliação a serem utilizados
O método escolhido para esta avaliação é a entrevista semiestruturada, uma técnica comum para coleta de dados e levantamento de requisitos em IHC. Segundo Simone Barbosa (adaptado de Seidman, 2019), trata-se de uma conversa guiada por um roteiro de perguntas ou tópicos, permitindo ao entrevistador explorar em profundidade as respostas dos participantes.
Neste contexto, a entrevista semiestruturada será usada para coletar feedback sobre os storyboards. O objetivo é obter opiniões, reações e sugestões dos usuários sobre as interações apresentadas, com perguntas abertas que possibilitam uma compreensão detalhada das experiências e percepções. O entrevistador poderá adaptar as perguntas conforme a conversa, garantindo que todos os aspectos relevantes sejam abordados.
Essa abordagem facilita a exploração de pontos específicos, mantendo o foco nos objetivos de avaliar a apropriação da tecnologia e identificar problemas de IHC.
I - Identificar e administrar as questões práticas da avaliação
A identificação e administração das questões práticas asseguram que a avaliação ocorra de forma eficiente, dentro das limitações de recursos, tempo e logística. A seguir, as questões são detalhadas em subtópicos.
Recrutamento
Os 5 participantes serão selecionados conforme o perfil de usuário definido durante a análise de requisitos, priorizando usuários que representem os principais públicos do site. Será utilizado um processo de recrutamento com convites diretos, priorizando voluntários que se encaixem nos requisitos.
Preparação
A preparação envolve a organização de todos os materiais e recursos necessários para a condução da entrevista semiestruturada:
- Ferramentas: Celular para gravação de áudio e vídeo;
- Materiais: Storyboard impresso, roteiro de avaliação, formulário de feedback;
- Ambiente: A entrevista ocorrerá presencialmente em local combinado com os participantes ou, em último caso, de forma remota;
Custos
Os principais custos estão relacionados ao transporte, impressão de materiais e eventuais equipamentos para gravação. A equipe buscará otimizar os recursos disponíveis para minimizar despesas.
Prazos
A avaliação será realizada conforme a tabela abaixo, com a definição dos responsáveis, participantes, horários e locais:
Tabela 2 - Cronograma da Entrevista
| Entrevistador | Entrevistado(a) | Horário Início | Horário Fim | Data | Local |
|---|---|---|---|---|---|
| Necivaldo Amaral | 17:00 | 17:10 | Lago Sul | 31/12/2024 | Presencialmente |
| Paulo Henrique | Igor Abreu | 10:00 | 10:10 | 19/12/2024 | Campus UnB Gama |
| Pedro Luiz | A definir | A definir | A definir | 17/12/2024 - 09/01/2025 | Presencialmente |
| Rodrigo Ferreira | Moyses Carvalho | 13:00 | 13:30 | 03/01/2025 | Biblioteca Nacional de Brasília |
| Weverton Rodrigues | Vanessa Oliveira | 13:30 | 13:40 | 27/12/2024 | Casa da entrevistada |
Autor: Weverton Rodrigues
Os entrevistadores deverão garantir que todos os materiais estejam prontos com antecedência e que os participantes sejam contatados para confirmar o horário agendado.
D - Decidir como lidar com as questões éticas
Baseado no termo de consentimento geral, os participantes serão informados sobre a natureza da avaliação, os objetivos da pesquisa, os procedimentos envolvidos, os riscos e benefícios, a garantia de anonimato e confidencialidade, e a liberdade de retirar o consentimento a qualquer momento. Dessa forma, o termo de consentimento será lido pelo entrevistador no início da gravação da entrevista. Além disso, será assegurado que os dados coletados serão utilizados apenas para fins de pesquisa e que a gravação dos participantes serão utilizadas apenas para propósito da pesquisa.
Termo de Consentimento (Adaptado)
Somos o Grupo 06 da que está participando do projeto do site da Prefeitura Municipal de Nova Iorque para a disciplina de Interação Humano-Computador, ministrada pelo Prof. André Barros de Sales na Faculdade de Ciências e Tecnologias em Engenharia da Universidade de Brasília (FCTE - UnB) no período de 2024.2. Nessa etapa do projeto, buscamos avaliar a qualidade de uso dos storyboards desenvolvidos para o site. Para decidir sobre o seu consentimento, é importante que você conheça as seguintes informações sobre a pesquisa:
- Os dados coletados durante a entrevista destinam-se estritamente a atividades de análise e desenvolvimento do site da Prefeitura Municiapl de Nova Iorque.
- Nossa equipe tem o compromisso de divulgar os resultados de nossas pesquisas para o entrevistado. A divulgação desses resultados pauta-se no respeito à sua privacidade, e o anonimato dos participantes será preservado em quaisquer documentos que elaborarmos.
- O consentimento para a entrevista é uma escolha livre, feita mediante a prestação de todos os esclarecimentos necessários sobre a pesquisa.
- A entrevista pode ser interrompida a qualquer momento, segundo a sua disponibilidade e vontade.
- Nossa equipe encontra-se disponível para contato através do e-mail: melopaulo210@gmail.com.
De posse dessas informações, gostaríamos que você se pronunciasse acerca da entrevista:
( ) Dou meu consentimento para a sua realização. ( ) Não consinto com a sua realização.
E - Avaliar, interpretar e apresentar os dados
A avaliação dos dados coletados será conduzida de acordo com as etapas descritas no documento Planejamento do Relato do Storyboard.
Essa análise incluirá a organização, codificação e interpretação dos feedbacks obtidos, com foco em identificar padrões, dificuldades e oportunidades de melhoria nos storyboards. Os resultados serão apresentados de forma estruturada, destacando os problemas encontrados, as recomendações de melhoria e as lições aprendidas, conforme descrito no planejamento do relato.
Planejamento do Teste Piloto
O teste piloto consiste em uma execução prévia da avaliação, com o objetivo de validar o planejamento e identificar possíveis problemas nos métodos, materiais e equipamentos utilizados. Essa etapa garante que ajustes possam ser feitos antes da aplicação final, assegurando a qualidade e a eficácia dos dados coletados.
Detalhes:
- Data: 17/12/2024
- Horário: 11:00 às 11:20
- Integrantes responsáveis: Paulo Henrique, Pedro Luiz, Necivaldo Amaral, Rodrigo Ferreira, Weverton Rodrigues
- Local: Campus UnB Gama (presencialmente)
Resultado do Teste Piloto
O teste piloto foi realizado com sucesso, permitindo validar o planejamento da avaliação e identificar possíveis ajustes necessários. Para uma melhor dinamicidade e organização, considerando o tempo do entrevistado, os membros decidiram por realizar a entrevista da avaliação do storyboard e, logo em seguida, a avaliação do diagrama da análise de tarefas em um único vídeo. Segue o teste piloto da análise de tarefas.
Da parte da avaliação do storyboard, a entrevista foi conduzida de forma clara e objetiva, porém, foi identificado uma pequena falta de preparo com relação ao termo de consentimento, que não estava disponível na forma impressa para o entrevistado. Além disso, ainda sobre o termo de consentimento, o teste piloto evidenciou a necessidade de uma maior clareza e objetividade no que será feito durante a realização da entrevista no termo de consentimento.
Feita essas reflexões, os erros identificados serão corrigidos para que a entrevista seja realizada de forma mais eficiente e eficaz.
Referências Bibliográficas
- BARBOSA, Simone Diniz Junqueira et al. Interação humano-computador e experiência do usuário. 1. ed. Rio de Janeiro: Simone Diniz Junqueira Barbosa, 2021. Capítulo 11: Planejamento da Avaliação de IHC. Página 261. Autopublicação. ISBN: 978-65-00-19677-1.
- BARBOSA, Simone Diniz Junqueira et al. Interação humano-computador e experiência do usuário. 1. ed. Rio de Janeiro: Simone Diniz Junqueira Barbosa, 2021. Capítulo 11: Planejamento da Avaliação de IHC. Páginas 279-280. Autopublicação. ISBN: 978-65-00-19677-1.
- BARBOSA, Simone Diniz Junqueira et al. Interação humano-computador e experiência do usuário. 1. ed. Rio de Janeiro: Simone Diniz Junqueira Barbosa, 2021. Capítulo 11: Planejamento da Avaliação de IHC. Páginas 266-267. Autopublicação. ISBN: 978-65-00-19677-1.
Histórico de Versão
| Versão | Data | Autor(es) | Descrição | Data de Revisão | Revisor(es) |
|---|---|---|---|---|---|
| 1.0 | 09/12/2024 | Paulo Henrique, Weverton Rodrigues | Criação do documento | 09/12/2024 | Necivaldo Amaral |
| 1.1 | 15/12/2024 | Weverton Rodrigues | Correção dos tópicos 'I - Identificar e administrar as questões práticas da avaliação' e 'Planejamento do Teste Piloto' | 16/12/2024 | Paulo Henrique |
| 1.2 | 18/12/2024 | Paulo Henrique | Adição do teste piloto | 18/12/2024 | Rodrigo Wendrel |
| 1.3 | 18/12/2024 | Weverton Rodrigues | Correção textual pós teste piloto | 18/12/2024 | Paulo Henrique |