Planejamento da Avaliação da Análise de Tarefas
Introdução
Conforme destacado por Barbosa e Silva1, a avaliação desempenha um papel fundamental no desenvolvimento de sistemas interativos de alta qualidade. Ela implica julgar a qualidade de uso da solução e identificar problemas na interação e na interface. Métodos de investigação permitem acessar e analisar concepções dos usuários, com o objetivo de obter detalhes mais profundos sobre as tarefas no contexto do aplicação. Optamos pelo método de investigação, especificamente entrevistas com usuários reais da Plataforma Lattes.
Planejamento
O framework DECIDE, desenvolvido por Sharp, Rogers e Preece 2, oferece um guia abrangente para o planejamento, execução e análise de avaliações de Interação Humano-Computador (IHC). Este modelo envolve as seguintes etapas interconectadas:
Definir Objetivos da Avaliação: Estabeleça os objetivos gerais da avaliação e sua relevância.
Explorar Questões a Serem Respondidas: Formule perguntas específicas para direcionar a investigação.
Escolher Métodos de Avaliação: Selecione métodos adequados considerando recursos e experiência.
bordar Questões Práticas: Considere questões práticas, como seleção de usuários e gerenciamento de recursos.
Deliberar Questões Éticas: Garanta respeito e bem-estar dos envolvidos.
Avaliar, Interpretar e Apresentar Dados: Analise dados, interprete-os e apresente resultados com foco na validade do estudo.
Para o planejamento, cada letra do framework representa uma etapa fundamental. Mais detalhes podem ser encontrados na Tabela 1 abaixo.
| Letra | Definição |
|---|---|
| D | Determinar os objetivos da avaliação. |
| E | Explorar perguntas a serem respondidas com a avaliação. |
| C | Escolher os métodos de avaliação a serem utilizados. |
| I | Identificar e administrar as questões práticas da avaliação. |
| D | Decidir como lidar com as questões éticas. |
| E | Avaliar, interpretar e apresentar os dados |
Tabela 1: Framework DECIDE (Fonte: Autores, 2023).
D - Determinar os objetivos
O propósito desta avaliação consiste em adquirir insights dos stakeholders, em particular dos usuários, acerca das suas interações com as tarefas e identificar possíveis problemas nos fluxos de atividades que possam prejudicar a experiência de utilização. Serão avaliados critérios de excelência, incluindo usabilidade, experiência do usuário, acessibilidade e comunicabilidade. O planejamento desempenha um papel crucial neste processo, uma vez que uma avaliação adequada da qualidade de utilização pode evitar o gasto de tempo e recursos financeiros. Neste processo de avaliação, serão abordados tópicos relacionados com os seguintes aspetos:
- (1) Apropriação da tecnologia pelos usuários
- (2) Comparar ideias e alternativas de design
E - Explorar perguntas
Na tabela a seguir, são listadas as questões a serem abordadas durante as entrevistas. Essas perguntas foram elaboradas com base em diretrizes sugeridas no trabalho de Simone Barbosa e Bruno Diniz 1 e desempenharão um papel fundamental na avaliação da compreensão dos participantes em relação aos procedimentos das tarefas em análise:
| Número | Pergunta | Resposta Possíveis |
|---|---|---|
| 1 | Qual o seu nome? | Resposta Discursiva |
| 2 | Qual seu grau de experiência com tecnologias? | Resposta Discursiva |
| 3 | Você já utilizou uma plataforma acadêmica anteriormente? | Resposta Discursiva |
| 4 | Como você buscaria um currículo? | Resposta Discursiva Outra opçao? Como? |
| 4.1 | Considerando a tarefa "Buscar currículo", a sucessão de procedimentos é eficiente? Se não, poderia dizer o motivo? | Resposta Discursiva ⚠️ Mostrar a tarefa ao usuário e explicá-la. Pular para a pergunta 9, 10 ou 11 |
| 5 | Como você buscaria uma instituição? | Resposta Discursiva Outra opçao? Como? |
| 5.1 | Considerando a tarefa "Buscar instituição", a sucessão de procedimentos é eficiente? Se não, poderia dizer o motivo? | Resposta Discursiva ⚠️ Mostrar a tarefa ao usuário e explicá-la. |
| 6 | Como você catalogaria uma nova instituição? | Resposta Discursiva Outra opçao? Como? |
| 6.1 | Considerando a tarefa "Depositar instituição", a sucessão de procedimentos é eficiente? Se não, poderia dizer o motivo? | Resposta Discursiva ⚠️ Mostrar a tarefa ao usuário e explicá-la. Pular para a pergunta 9, 10 ou 11 |
| 7 | Como você buscaria dados de uma pesquisa? | Resposta Discursiva Outra opçao? Como? |
| 7.1 | Considerando a tarefa "Buscar dados de pesquisa", a sucessão de procedimentos é eficiente? Se não, poderia dizer o motivo? | Resposta Discursiva ⚠️ Mostrar a tarefa ao usuário e explicá-la. Pular para a pergunta 9, 10 ou 11 |
| 8 | Como você acessaria o Painel Lattes? | Resposta Discursiva Outra opçao? Como? |
| 8.1 | Considerando a tarefa "Acessar Painel Lattes", a sucessão de procedimentos é eficiente? Se não, poderia dizer o motivo? | Resposta Discursiva ⚠️ Mostrar a tarefa ao usuário e explicá-la. Pular para a pergunta 9, 10 ou 11 |
| 9 | O diagrama da Análise Hierárquica de Tarefas de "Atualizar currículo" realmente coerente com o mundo real? Se não, poderia descrever o motivo? | Resposta Discursiva Pular para a pergunta 12 |
| 10 | O diagrama da Análise Hierárquica de Tarefas de "Buscar currículo" realmente coerente com o mundo real? Se não, poderia descrever o motivo? | Resposta Discursiva Pular para a pergunta 12 |
| 11 | O diagrama da Análise Hierárquica de Tarefas de "Acessar Painel Lattes" realmente coerente com o mundo real? Se não, poderia descrever o motivo? | Resposta Discursiva Pular para a pergunta 12 |
| 12 | Você teria alguma sugestão para melhorar o diagrama? | Resposta Discursiva |
| 13 | E sobre a tarefa, você teria alguma sugestão para melhorá-la? | Resposta Discursiva |
Tabela 2: Roteiro de Perguntas (Fonte: Autores, 2023).
C - Escolher os métodos
A abordagem utilizada escolhida foi o método investigativo, no qual consistirá na realização de entrevistas, que envolvem a condução de diálogos estruturados com base em um roteiro de perguntas. Nesse método, o entrevistador busca adquirir informações valiosas por meio da interação com o entrevistado. Essa escolha se deve à capacidade desse método de permitir ao avaliador acessar, interpretar e analisar as percepções, opiniões, expectativas e comportamentos dos usuários. Durante as entrevistas, as perguntas foram categorizadas como abertas e fechadas, as quais proporcionaram um enfoque exploratório e a oferta de opções de resposta para os entrevistados. Optamos por adotar um modelo de entrevista estruturada, no qual o entrevistador segue um roteiro predefinido. Essa decisão se justifica em virtude da limitada experiência dos entrevistadores nesse contexto.
I - Identificar questões práticas
Recrutamento
Para a escolha dos participantes da avaliação, optaremos por selecionar 6 usuários que se encaixem no Perfil de Usuário e nas Personas previamente estabelecidas. Essa decisão é baseada na recomendação de Dumas e Redish 3, especialistas em Interação Humano-Computador (IHC), que sugerem que um grupo composto por 5 a 12 usuários é adequado para avaliações desse tipo, com ênfase na eficácia de identificar a maioria dos problemas. Portanto, com esse número, buscamos obter uma amostra representativa que nos permita abordar diversas perspectivas e experiências, enriquecendo nossa análise. Essa abordagem também facilitará a distribuição equitativa de entrevistas entre os membros da equipe de pesquisa, proporcionando uma oportunidade valiosa para cada um interagir diretamente com os usuários e coletar insights diversificados para o estudo.
Preparação
A condução da entrevista envolverá membros da equipe de IHC, preferencialmente em dupla, onde um conduzirá a entrevista e o outro registrará as informações relevantes. Caso apenas um membro esteja disponível, ele desempenhará ambos os papéis. Para facilitar a entrevista e permitir a observação do usuário, solicitaremos que o participante compartilhe a tela. Utilizaremos a plataforma Microsoft Teams, disponível gratuitamente para estudantes da Universidade de Brasília, o que evitará custos adicionais e possibilitará a gravação das entrevistas, se autorizado pelos participantes.
Custos
As entrevistas serão realizadas de forma online, visando evitar custos para a equipe e os participantes. Utilizaremos as seguintes plataformas de comunicação: Microsoft Teams, Discord e Google Meet. Além disso, preparamos uma lista de perguntas a serem respondidas durante a avaliação, bem como perguntas específicas para a entrevista. Cada participante será solicitado a assinar um Termo de Consentimento. Antes da avaliação completa, realizaremos um teste-piloto. Também elaboraremos um Diagrama HTA para cada tarefa selecionada.
Prazos
| Ordem | Data | Horário de início e fim | Local | Entrevistadores | Entrevistado |
|---|---|---|---|---|---|
| 1° | 05/11/2023 | 18:00 - 18:15 | Plataforma Microsoft Teams (Online) | Caio Braga e Doan Filho | --- |
| 2° | 05/11/2023 | 18:20 - 18:35 | Plataforma Microsoft Teams (Online) | Miguel de Frias e Caio Braga | --- |
| 3° | 05/11/2023 | 18:40 - 18:55 | Plataforma Microsoft Teams (Online) | Doan Filho e Miguel de Frias | --- |
| 4° | 05/11/2023 | 19:00 - 19:15 | Plataforma Microsoft Teams (Online) | Caio Braga e Miguel de Frias | --- |
| 5° | 05/11/2023 | 19:20 - 19:35 | Plataforma Microsoft Teams (Online) | Caio Braga e Doan FIlho | --- |
Tabela 3: Prazos das entrevistas (Fonte: Autores, 2023).
Importante mencionar que os requisitos para participação incluem acesso à internet, a aplicativos de comunicação e a um navegador web em qualquer dispositivo que os participantes possuam. Isso garantirá a facilidade de participação.
D - Decidir as questões éticas
A fim de garantir a condução ética e responsável da pesquisa, adotaremos os princípios éticos estabelecidos no documento de Aspectos Éticos. Utilizaremos o termo de consentimento desenvolvido na seção de aspectos éticos, que permitirá aos participantes conceder autorização para as atividades necessárias à criação deste artefato. Isso assegura que os participantes sejam respeitados tanto durante quanto após a atividade. Os detalhes sobre o processo de consentimento podem ser encontrados no documento do termo de consentimento relacionado à entrevista, onde os participantes poderão se informar sobre todos os procedimentos.
E - Avaliar, interpretar e apresentar os dados
Após a avaliação, os dados coletados serão tratados com consideração ao contexto de sua produção, verificando o grau de confiabilidade e a possibilidade de generalização para representar a população de usuários do site. Isso incluirá o registro de problemas, dificuldades de interação, questões de usabilidade, funcionalidades ausentes e problemas de desempenho. Serão registradas descrições detalhadas dos problemas, sua classificação, sugestões de melhoria e o feedback dos usuários.
Ao concluir as entrevistas, também documentaremos observações gerais relacionadas à avaliação. Após essa etapa, os dados serão compartilhados com a equipe de desenvolvimento para fornecer informações valiosas que possam contribuir para o avanço do projeto.
Isso assegura que os resultados sejam cuidadosamente analisados e utilizados de maneira eficaz, levando em consideração a relevância do estudo para o progresso do projeto.
Planejamento do Teste-Piloto
Antes de realizar as entrevistas com os usuários, planejamos conduzir um teste piloto com dois avaliadores. Essa etapa tem como finalidade simular uma sessão de avaliação regular para garantir que todas as ferramentas funcionem adequadamente, verificar a eficácia do nosso planejamento e assegurar que a avaliação forneça os dados necessários para o estudo. Além disso, o teste piloto servirá para avaliar a clareza e a objetividade da linguagem utilizada nas entrevistas, certificando-se de que as perguntas sejam compreendidas de maneira adequada pelos participantes.
De acordo com Barbosa e Silva (2021, p.276) 1, o objetivo desse teste é avaliar o próprio planejamento e garantir que a avaliação planejada produza os dados necessários para responder às questões e objetivos do estudo. Durante o teste-piloto, os avaliadores conduzirão a simulação de uma sessão de avaliação normal, permitindo verificar se a linguagem utilizada nas explicações e nos materiais é clara e objetiva, além de garantir que esses materiais contenham informações apropriadas e suficientes para orientar os participantes durante a avaliação.
Referência bibliográfica
[1] BARBOSA, Simone Diniz Junqueira et al. Interação humano-computador e experiência do usuário. 1. ed. Rio de Janeiro: Simone Diniz Junqueira Barbosa, 2021.
[2] HARP, H.; ROGERS, Y.; PREECE, J. Interaction Design: Beyond Human-Computer Interaction. Wiley, 2007.
[3] Dumas, Joseph S. e Redish, Janice C. (1999). A Practical Guide to Usability Testing. Intellect Books, GBR, 1st edition.
Bibliografia
MACIEL, Geovanna; HENRIQUE, Matheus; Planejamento da avaliação da análise de tarefas. Repositório do grupo Bilheteria Digital da disciplina de Interação Humano-Computador, 2023. Disponível em: https://interacao-humano-computador.github.io/2023.1-BilheteriaDigital/design-avaliacao-desenvolvimento/nivel-1/analise-de-tarefas-dad/planejamento-avaliavao-at/#bibliografia. Acesso em: 30 outubro 2023.
Histórico de Versões
| Versão | Descrição | Autor | Data | Revisor | Data de revisão |
|---|---|---|---|---|---|
| 1.0 | Criação do artefato com textos introdutórios | Miguel de Frias | 30/10/2023 | Doan Filho e Caio Braga | 30/10/2023 |
| 1.1 | Adição dos textos restantes e planejamento do teste-piloto | Caio Braga | 30/10/2023 | Doan Filho e Miguel de Frias | 30/10/2023 |
| 1.1 | Adição do teste-piloto | Caio Braga | 06/11/2023 | Doan Filho | 07/11/2023 |