Planejamento da Avaliação - Protótipo de Alta Fidelidade
Introdução
Conforme destacado por Barbosa e Silva1, a avaliação desempenha um papel fundamental no desenvolvimento de sistemas interativos de alta qualidade. Ela implica julgar a qualidade de uso da solução e identificar problemas na interação e na interface. Métodos de investigação permitem acessar e analisar concepções dos usuários, com o objetivo de obter detalhes mais profundos sobre as tarefas no contexto do aplicação. Optamos pelo método de investigação, especificamente entrevistas com usuários reais da Plataforma Lattes.
Planejamento
O framework DECIDE, desenvolvido por Sharp, Rogers e Preece 2, oferece um guia abrangente para o planejamento, execução e análise de avaliações de Interação Humano-Computador (IHC). Este modelo envolve as seguintes etapas interconectadas:
Definir Objetivos da Avaliação: Estabelecer os objetivos gerais da avaliação e sua relevância.
Explorar Questões a Serem Respondidas: Formular perguntas específicas para direcionar a investigação.
Escolher Métodos de Avaliação: Selecionar métodos adequados considerando recursos e experiência.
Abordar Questões Práticas: Considerar questões práticas, como seleção de usuários e gerenciamento de recursos.
Deliberar Questões Éticas: Garantir respeito e bem-estar dos envolvidos.
Avaliar, Interpretar e Apresentar Dados: Analisar dados, interpretar e apresentar resultados com foco na validade do estudo.
Para o planejamento, cada letra do framework representa uma etapa fundamental. Mais detalhes podem ser encontrados na Tabela 1 abaixo.
| Letra | Definição |
|---|---|
| D | Determinar os objetivos da avaliação. |
| E | Explorar perguntas a serem respondidas com a avaliação. |
| C | Escolher os métodos de avaliação a serem utilizados. |
| I | Identificar e administrar as questões práticas da avaliação. |
| D | Decidir como lidar com as questões éticas. |
| E | Avaliar, interpretar e apresentar os dados |
Tabela 1: Framework DECIDE (Fonte: Simone Barbosa e Bruno Diniz 1 , 2023).
D - Determinar os objetivos
O objetivo de realizar uma avaliação de um protótipo de alta fidelidade é avaliar a usabilidade de um sistema interativo a partir de experiências de uso dos seus usuários-alvo [1] para então obter um feedback do mesmo, seja por observações de um avaliador ou diretamente do usuário, sobre o sistema planejado. Tendo em mente que esse protótipo tem o objetivo de ser fidedigno ao proposto pelas partes interessadas, a avaliação visa identificar problemas, avaliar a eficácia do design e ajustar, caso necessário, antes da implementação de uma versão final.
E - Explorar perguntas
Nas tabelas a seguir, são listadas as questões a serem abordadas durante as avaliações. Essas perguntas foram elaboradas com base em diretrizes sugeridas no trabalho de Simone Barbosa e Bruno Diniz 1 e desempenharão um papel fundamental na avaliação da compreensão dos participantes em relação aos procedimentos das tarefas em análise:
Perguntas ao usuário
| ID | Enunciado | Resposta | Justificativa |
|---|---|---|---|
| 1 | A interface apresentada foi de fácil utilização? | Fechada | Justifique |
| 2 | A realização da tarefa solicitada trouxe algum contratempo? | Fechada | Justifique |
| 3 | A dispozição dos elementos da tela foi agradável? | Fechada | Justifique |
| 4 | A realização da tarefa solicitada corresponde a expectativa que foi criada ao ser concedida a ideia? | Fechada | Justifique |
| 5 | Foi encontrada algum erro ou inconsistência durante o uso da interface? | Fechada | Justifique |
Tabela 2: tabela de perguntas ao Usuário (Fonte: Miguel de Frias e Joel Soares, 2023).
Perguntas de Diretriz
| ID | Enunciado | Resposta |
|---|---|---|
| 1 | Foi possível por parte do usuário operar o sistema? | Fechada |
| 2 | O usuário atinge seu objetivo? Com quanta eficiência? Em quanto tempo? Ele cometeu erros? Quantos? | Aberta |
| 3 | Ele entendeu a funcionalidade a ser testada? | Fechada |
| 4 | Quais foram os principais problemas notados para o usuário atingir seu objetivo? | Aberta |
| 5 | O usuário consultou ajuda online ou o manual de usuário? | Fechada |
Tabela 3: tabela de perguntas de Diretriz. (Fonte: Miguel de Frias e Joel Soares, 2023).
C - Escolher os métodos
Diversos métodos estão disponíveis para avaliação da Interação Humano-Computador (IHC). Contudo, o método escolhido, considerado mais apropriado, é o teste de usabilidade. Nessa etapa, a participação do usuário torna-se crucial para avaliação e teste, ocorrendo em um ambiente controlado e geralmente utilizando uma versão específica do sistema em questão. O teste de usabilidade possibilita uma análise direta com o usuário, visando extrair informações relevantes sobre a usabilidade do sistema.
I - Identificar questões práticas
Recrutamento
Para a escolha dos participantes, optaremos por selecionar usuários que se encaixem no Perfil de Usuário e nas Personas previamente estabelecidas. Essa abordagem também facilitará a distribuição equitativa de entrevistas entre os membros da equipe de pesquisa, proporcionando uma oportunidade valiosa para cada um interagir diretamente com os usuários e coletar insights diversificados para o estudo.
Preparação
Cada integrante da equipe é responsável por planejar e coordenar os recursos necessários para a sua própria avaliação. Isso envolve a decisão sobre o local da avaliação (se será presencial ou remota), a definição dos horários das entrevistas, a preparação dos materiais e equipamentos necessários, bem como a elaboração do termo de consentimento. Essa distribuição de responsabilidades assegura que cada avaliação seja conduzida de maneira apropriada e eficiente, garantindo a disponibilidade de todos os recursos essenciais para uma análise completa e detalhada do protótipo.
Prazos
Os prazos da avaliação estão detalhados na Tabela 4, na qual cada sessão de avaliação é identificada pela ordem, data, horário de início e término da entrevista, local onde ocorreu, nome do avaliador (membro da equipe) e nome do entrevistado.
| Ordem | Data | Horário de início e fim | Local | Entrevistadores | Entrevistado |
|---|---|---|---|---|---|
| 1° | 22/11/2023 | 18:00 - 18:15 | Plataforma Microsoft Teams (Online) | Joel Soares | --- |
| 2° | 22/11/2023 | 18:20 - 18:35 | Plataforma Microsoft Teams (Online) | Guilherme Basilio | --- |
| 3° | 22/11/2023 | 18:40 - 18:55 | Plataforma Microsoft Teams (Online) | Caio Lelis | Amanda Campos |
| 4° | 22/11/2023 | 19:00 - 19:15 | Plataforma Microsoft Teams (Online) | Miguel de Frias | --- |
| 5° | 22/11/2023 | 19:20 - 19:35 | Plataforma Microsoft Teams (Online) | Caio Braga | Pedro Vitor |
| 6° | 22/11/2023 | 19:35 - 19:40 | Plataforma Microsoft Teams (Online) | Doan FIlho | Daniel Nunes |
| 7° | 22/11/2023 | 19:40 - 19:45 | Plataforma Microsoft Teams (Online) | Gabriel Barbosa | --- |
Tabela 4: tabela de prazos. (Fonte: Miguel de Frias e Joel Soares, 2023).
D - Decidir as questões éticas
A fim de garantir a condução ética e responsável da pesquisa, adotaremos os princípios éticos estabelecidos no documento de Aspectos Éticos. Utilizaremos o termo de consentimento desenvolvido na seção de aspectos éticos, que permitirá aos participantes conceder autorização para as atividades necessárias à criação deste artefato. Isso assegura que os participantes sejam respeitados tanto durante quanto após a atividade. Os detalhes sobre o processo de consentimento podem ser encontrados no documento do termo de consentimento relacionado à entrevista, onde os participantes poderão se informar sobre todos os procedimentos.
E - Avaliar, interpretar e apresentar os dados
Após a avaliação, os dados coletados serão tratados com consideração ao contexto de sua produção, verificando o grau de confiabilidade e a possibilidade de generalização para representar a população de usuários do site. Isso incluirá o registro de problemas, dificuldades de interação, questões de usabilidade, funcionalidades ausentes e problemas de desempenho. Serão registradas descrições detalhadas dos problemas, sua classificação, sugestões de melhoria e o feedback dos usuários.
Ao concluir as avaliações, também documentaremos observações gerais relacionadas à avaliação. Após essa etapa, os dados serão compartilhados com a equipe de desenvolvimento para fornecer informações valiosas que possam contribuir para o avanço do projeto. Isso assegura que os resultados sejam cuidadosamente analisados e utilizados de maneira eficaz, levando em consideração a relevância do estudo para o progresso do projeto.
Planejamento do Teste-Piloto
Antes de realizar as entrevistas com os usuários, planejamos conduzir um teste piloto com dois avaliadores. Essa etapa tem como finalidade simular uma sessão de avaliação regular para garantir que todas as ferramentas funcionem adequadamente, verificar a eficácia do nosso planejamento e assegurar que a avaliação forneça os dados necessários para o estudo. Além disso, o teste piloto servirá para avaliar a clareza e a objetividade da linguagem utilizada nas entrevistas, certificando-se de que as perguntas sejam compreendidas de maneira adequada pelos participantes.
De acordo com Barbosa e Silva (2021, p.276) 1, o objetivo desse teste é avaliar o próprio planejamento e garantir que a avaliação planejada produza os dados necessários para responder às questões e objetivos do estudo. Durante o teste-piloto, os avaliadores conduzirão a simulação de uma sessão de avaliação normal, permitindo verificar se a linguagem utilizada nas explicações e nos materiais é clara e objetiva, além de garantir que esses materiais contenham informações apropriadas e suficientes para orientar os participantes durante a avaliação.
Referências bibliográficas
[1] BARBOSA, Simone Diniz Junqueira et al. Interação humano-computador e experiência do usuário. 1. ed. Rio de Janeiro: Simone Diniz Junqueira Barbosa, 2021.
[2] HARP, H.; ROGERS, Y.; PREECE, J. Interaction Design: Beyond Human-Computer Interaction. Wiley, 2007.
[3] Dumas, Joseph S. e Redish, Janice C. (1999). A Practical Guide to Usability Testing. Intellect Books, GBR, 1st edition.
Bibliografia
MACIEL, Geovanna; HENRIQUE, Matheus; Planejamento da avaliação da análise de tarefas. Repositório do grupo Bilheteria Digital da disciplina de Interação Humano-Computador, 2023. Disponível em: https://interacao-humano-computador.github.io/2023.1-BilheteriaDigital/design-avaliacao-desenvolvimento/nivel-1/analise-de-tarefas-dad/planejamento-avaliavao-at/#bibliografia. Acesso em: 30 outubro 2023.
Histórico de Versões
| Versão | Descrição | Autor | Data | Revisor | Data de revisão |
|---|---|---|---|---|---|
| 1.0 | Criação do artefato com textos introdutórios | Miguel de Frias e Joel Soares | 22/11/2023 | Miguel de Frias | 22/11/2023 |
| 1.1 | Adição dos textos restantes | Miguel de Frias | 22/11/2023 | Joel Soares | 22/11/2023 |