Planejamento da Avaliação da Análise de Tarefas

Introdução

A avaliação é essencial em qualquer processo de desenvolvimento que visa criar um sistema interativo com alta qualidade de uso. Esse processo guia o avaliador na análise de usabilidade do sistema, ajudando a identificar problemas na interação e na interface que possam comprometer a experiência do usuário ao utilizar o sistema. Para isso, serão realizadas entrevistas com usuários, baseado no Perfil do usuário, que utilizam o produto.

Planejamento

Foi utilizado o Framework DECIDE com intuito de orientar o planejamento, a execução e a análise da avaliação de IHC. Esse Framework é representado por uma sigla onde cada letra representa uma etapa do planejamento, conforme a Tabela 1 a seguir:

Letra	Significado
D	Determinar os objetivos gerais da avaliação
E	Explorar perguntas a serem feitas na avaliação
C	Choose (Escolher) os métodos de avaliação
I	Identificar e administrar as questões práticas da avaliação
D	Decidir como lidar com as questões éticas
E	Evaluate (Avaliar), interpretar e apresentar os dados

Tabela 1: Descrição do Framework DECIDE.

Determinar os objetivos gerais da avaliação

Objetivo

Os principais aspectos comumente avaliados em uma avaliação de IHC incluem:

Apropriação de tecnologia pelos usuários, incluindo o sistema computacional a ser avaliado mas não se limitando a ele;
Ideias e alternativas de design;
Conformidade com um padrão;
Problemas na interação e na interface.

Entre eles será avaliado "Problemas na interação e na interface".

Explorar perguntas a serem feitas na avaliação

Para a realização dessa etapa, foi utilizado como referência o livro de Barbosa e Silva (2010). Nesta fase, é fundamental explorar e definir as perguntas específicas que a avaliação de IHC deve responder. Essas perguntas guiarão o processo de avaliação, focando em aspectos essenciais da experiência do usuário. As perguntas a serem consideradas são:

O usuário vai entender o que deve fazer em seguida?
Quais barreiras o usuário encontra para atingir seus objetivos?
Que parte da interface e da interação o deixa insatisfeito?

Choose (Escolher) os métodos de avaliação

O método escolhido é o de investigação por possibilitar coletas de dados sobre o design, problemas frequentes e expectativas para atualizações futuras. Para tal, serão realizadas entrevistas que serão gravadas, com o uso de questionário como roteiro.

Identificar e administrar as questões práticas da avaliação

A elaboração da análise de tarefas foi realizada anteriormente usando dois métodos HTA e GOMS, o foco desta avaliação são aquelas realizadas com HTA disponíveis em Análise de Tarefas.

Para realização da entrevista serão necessários:

Análise de Tarefa da Funcionalidade;
Recrutamento do participante com base no Perfil do Usuário;
Termo de consentimento livre e esclarecido (TCLE);
Aparelho eletrônico para filmagem;
Sala para realização da entrevista.

Está planejado realizar seis entrevistas presenciais, que serão conduzidas na Faculdade do Gama da Universidade de Brasília. Cada entrevista contará com a participação de um único membro do grupo de Interação Humano-Computador (IHC) responsável por conduzir a entrevista e por registrar as informações coletadas. Não haverá custos associados a essas entrevistas, uma vez que tanto os avaliadores quanto os entrevistados são estudantes da universidade.

Na Tabela 1 estão as perguntas e na Tabela 2 está o cronograma:

Tabela 1: Questões para entrevistas.

Pergunta	Tipo de Resposta	Justificativa	Fonte	Captura de Tela
Qual o seu nome?	Discursiva	Reafirmar o perfil do usuário	Item 8.1, página 166, SIMONE DINIZ JUNQUEIRO BARBOSA, BRUNO SANTANA DA SILVA, Interação Humano-Computador, 1a. Edição.	página 166
Quanto anos você tem?	Discursiva	Reafirmar o perfil do usuário	Item 8.1, página 166, SIMONE DINIZ JUNQUEIRO BARBOSA, BRUNO SANTANA DA SILVA, Interação Humano-Computador, 1a. Edição.	página 166
Qual sua ocupação ?	Discursiva	Reafirmar o perfil do usuário	Item 8.1, página 166, SIMONE DINIZ JUNQUEIRO BARBOSA, BRUNO SANTANA DA SILVA, Interação Humano-Computador, 1a. Edição.	página 166
Qual seu grau de experiência com tecnologias?	Discursiva	Reafirmar o perfil do usuário	Item 8.1, página 166, SIMONE DINIZ JUNQUEIRO BARBOSA, BRUNO SANTANA DA SILVA, Interação Humano-Computador, 1a. Edição.	página 166
Com qual frequência você utiliza o site Central Expresso?	Discursiva	Reafirmar o perfil do usuário	Item 8.1, página 166, SIMONE DINIZ JUNQUEIRO BARBOSA, BRUNO SANTANA DA SILVA, Interação Humano-Computador, 1a. Edição.	página 166
O fluxo apresentado é coerente para você? Caso não, descreva o motivo.	Discursiva	Identificar problemas de interação	Item 8.4.1, página 178, SIMONE DINIZ JUNQUEIRO BARBOSA, BRUNO SANTANA DA SILVA, Interação Humano-Computador, 1a. Edição.	página 178
Você mudaria alguma coisa do fluxo? Caso sim, descreva o motivo.	Discursiva	Identificar problemas de interação	Item 8.4.1, página 178, SIMONE DINIZ JUNQUEIRO BARBOSA, BRUNO SANTANA DA SILVA, Interação Humano-Computador, 1a. Edição.	página 178
O fluxo atinge o seu objetivo? Caso não, descreva o motivo.	Discursiva	Identificar problemas de interação	Item 8.4.1, página 179, SIMONE DINIZ JUNQUEIRO BARBOSA, BRUNO SANTANA DA SILVA, Interação Humano-Computador, 1a. Edição.	página 179

Fonte: Alana Gabriele e Gustavo Alves

Tabela 2 - Cronograma de Entrevistas

Entrevistadores	Data	Horário de início e fim	Local
Alana Gabriele e Gustavo Alves	27/05/2024	17:00 até 17:10	Faculdade do Gama
Renan Araújo e Pedro Henrique	27/05/2024	17:10 até 17:20	Faculdade do Gama
Gustavo Alves e Yasmin Rosa	28/05/2024	10:00 até 10:10	Faculdade do Gama
Yasmin Rosa e Alana Gabriele	29/05/2024	17:00 até 17:10	Faculdade do Gama
Pedro Henrique e Marco Tulio	30/05/2024	12:00 até 12:10	Faculdade do Gama
Marco Tulio e Renan Araújo	30/05/2024	17:00 até 17:10	Faculdade do Gama

Fonte: Alana Gabriele e Gustavo Alves

Decidir como lidar com as questões éticas

Antes de iniciar as entrevistas, serão abordadas as questões éticas envolvidas, garantindo que todos os participantes assinem o termo de consentimento informado, encontrado na seção Aspectos éticos. Este documento é importante para estabelecer uma relação de confiança e transparência com o entrevistado.

Evaluate (Avaliar), interpretar e apresentar os dados

Após a avaliação do site Central Expresso, é crucial analisar e apresentar os dados com atenção aos aspectos fundamentais que garantem a integridade do estudo. Será avaliado a confiabilidade dos dados, assegurando que os resultados se mantenham consistentes em repetidas aplicações do mesmo método sob as mesmas condições. Em seguida, a validação interna do estudo é avaliada para confirmar se o método realmente mede o que se propõe, mantendo os dados livres de distorções. Além disso, a validade externa é considerada para determinar até que ponto os resultados são generalizáveis para contextos semelhantes. Por fim, a validade ecológica é examinada, verificando o quão próximo o ambiente e métodos de estudo estão nas condições reais de uso. Com isso, os seguintes tópicos serão utilizado para avaliar, interpretrar e apresentar os dados:

Propósito e alcance da avaliação
Método de avaliação
Escolha dos participantes
Questões identificadas
Sugestões para melhorias
Feedback dos usuários
Análise e interpretação das respostas dos usuários
Resumo das principais conclusões
Plano de aprimoramento do projeto

Planejamento do teste piloto

O teste piloto será conduzido por cada um dos avaliadores e tem como objetivo simular a entrevista real. Essa simulação ajudará a verificar se as ferramentas utilizadas estão em conformidade com o planejado e se os dados coletados serão relevantes para alcançar os objetivos da entrevista.

Como dito por Barbosa e Silva (2011), a realização do teste-piloto em casos em que se tem um número reduzido de participantes pode ser realizado com pessoass próximas ao avaliador.

Tabela 3 - Cronograma dos testes-piloto