Pular para conteúdo

Planejamento da Avaliação do Protótipo de Alta Fidelidade

Introdução

Para garantir que os artefatos elaborados estejam de acordo com os critérios que se esperam, a verificação de artefatos é essencial, assegurando que as interfaces e interações previstas atendem às necessidades dos usuários e seguem os princípios de usabilidade, acessibilidade e design centrado no usuário. Assim, esse documento visa planejar a avaliação dos protótipos de alta fidelidade produzidos pelo presente grupo.

Objetivo

O objetivo deste documento é documentar o planejamento da avaliação do protótipo de alta fidelidade, para inspeção por parte dos avaliadores dos protótipos produzidos. E assim, verificar se estão em conformidade com os requisitos especificados e atendem aos critérios de qualidade estabelecidos para o projeto.

Metodologia

A metodologia utilizada é o framework DECIDE, onde cada letra se refere a uma atividade. A tabela 1 descreve essa metodologia. Mais especificamente a letra E traça uma lista de perguntas que será utilizada como apoio à verificação dos protótipos.

Tabela 1: framework DECIDE
Letra Descrição
D Determinar os objetivos da avaliação.
E Explorar perguntas a serem respondidas com a avaliação.
C Escolher os métodos de avaliação a serem utilizados.
I Identificar e administrar as questões práticas da avaliação.
D Decidir como lidar com as questões éticas.
E Avaliar, interpretar e apresentar os dados.
Fonte - BARBOSA e SILVA (2010).

Planejamento da Avaliação do Prototipo de Alta Fidelidade

D - Determinar os objetivos da avaliação.

Os objetivos da avaliação foram determinados através do livro BARBOSA e SILVA (2010) e são descritos a seguir na tabela 2.

Tabela 2: objetivos da avaliação
Número Objetivo Descrição
1 Identificar problemas na interação e interface Detectar elementos da interface que dificultam a interação do usuário ou que são mal compreendidos.
Avaliar a eficácia dos componentes de navegação e dos widgets da interface.
2 Obter Feedback dos Usuários Coletar opiniões e sugestões dos usuários sobre a interface, permitindo ajustes e melhorias baseados em suas experiências.

Fonte - BARBOSA e SILVA (2010).

E - Explorar perguntas a serem respondidas com a avaliação.

De acordo com os objetivos determinados, a seguir, na tabela 3 são descritas as perguntas para cada objetivo inspirados em BARBOSA e SILVA (2010).

Tabela 3: perguntas a serem respondidas com a avaliação
Número Objetivo Perguntas
1 Identificar problemas na interação e interface 1 - O usuário consegue operar o sistema?
2 - Ele atinge seu objetivo? Com quanta eficiência? Em quanto tempo? Após cometer quantos erros?
3 - Que parte da interface e da interação o deixa insatisfeito?
4 - Ele entende o que significa e para que serve cada elemento de interface?
5 - Quais barreiras o usuário encontra para atingir seus objetivos?
2 Obter Feedback dos Usuários 1 - Onde esses problemas se manifestam? Com que frequência tendem a ocorrer? Qual é a gravidade desses problemas?
2 - O que é possível modificar no sistema interativo para adequá-lo melhor ao ambiente de trabalho?
3 -Quais objetivos dos usuários podem ser alcançados através do sistema? E quais não podem?

Fonte - BARBOSA e SILVA (2010).

C - Escolher os métodos de avaliação a serem utilizados.

Para a metodologia, utilizaremos o teste de usabilidade, uma técnica da interação humano-computador (IHC) que avalia a usabilidade de produtos e sistemas observando os usuários durante a interação. Conforme descrito por BARBOSA e SILVA (2010), os testes de usabilidade devem seguir metas definidas para o projeto, permitindo a coleta de informações detalhadas e flexíveis, e as entrevistas devem ser gravadas e documentadas. Elas são listadas na tabela 4.

Entre os diversos métodos de avaliação em IHC, escolhemos o teste de usabilidade por ser o mais adequado nesta etapa, onde a presença do usuário é essencial. Este método permite realizar a avaliação em um ambiente controlado sobre uma versão específica do sistema, extraindo informações valiosas de usabilidade. 

Tabela 4: teste de usabilidade
Atividade Tarefa
Preparação Definir tarefas para os participantes executarem.
Definir o perfil dos participantes e recrutá-los.
Preparar material para observar e registrar o uso.
Executar um teste-piloto.
Coleta de dados Observar e registar a performance e a opinião dos participantes durante sessões de uso controladas.
Interpretação /
Consolidação dos resultados		 Reunir, contabilizar e sumarizar os dados coletados dos participantes
Relato dos resultados Relatar a performance e a opinião dos participantes

Fonte - BARBOSA e SILVA (2010).

Preparação

Definir tarefas para os participantes executarem

As tarefas são definidas conforme a tabela 5:

    Tabela 5: artefatos a serem avaliados

Fonte - Renata Quadros.

1 - Denúncia On-line

Nesta tarefa o participante tem o objetivo fazer uma denuncia online

Para fazer essa tarefas, o usuário deve ir sem serviços na página inicial do site da Polícia Civíl do Distrito Federal, e selecionar a opção de "Denúncia Online- 197" , assim irá ser levado para página em que deve escolher o tipo de denúncia, após a aescolha, o usuário deve responder um formulário da sua localização e descrever a denúncia

2 - Pesquisar Procurados

Procurados: serviço onde o usuário pode, sem precisar se identificar no sistema, buscar por um nome específico de algum indivíduo para obter mais informações sobre ele, por exemplo se está foragido, qual região de atuação ou crime cometido. Também é possível realizar uma denúncia rápida e anônima caso a pessoa tenha visto algum indivíduo foragido ou tenha presenciado algum crime

3 -Carteira de identidade

Nessa tarefa, o usuário tem o propósito de solicitar a carteira de identidade. Para realizar essa tarefa, o usuário deve ir a página inicial da PCDF, buscar por "serviços", clicar em solicitar carteira de identidade e na proxima página, deverá solicitar CIN, haverá instruções de como prosseguir. Agora aparecerá serviços e locais de atendimento desejado, depois uma confirmação, e colocar os dados da pessoa que está solicitando o serviço, outra confirmação novamente e por último um código de confirmação que chegará pelo e-mail.

4 - Registrar Ocorrência

Nesta Tarefa o usuário tem como objetivo registrar uma ocorrência na delegacia online

Para completar essa tarefa na página inicial o usúario deve encontrar o serviço de registro de ocorrência que acompanha a delegacio eletrônica. Ao selecionar será levado para escolher a natureza do crime, assim é redirecionado para aceitar os termos pra depois selecionar os dados do ocorrido e dos envolvidos até está completo o registro. Dessa forma o usuário receberá um email e um comprovante com código e QRcode da ocorrência realizada.

5 - Solicitar Antecedentes Criminais

Nesta tarefa o participante tem o objetivo de solicitar seus antecedentes criminais.

Para executar essa tarefa, o usuário deve ir em serviços, na página inicial do site da Polícia Civíl do Distrito Federal, e selecionar a opção de "Antecedentes Criminais", assim, deve informar seu e-mail e digitar o código de confirmação. Logo, o formulário será aberto e o usuário deve preencher de acordo com suas informações pessoais. Após enviar o formulário, o usuário deve receber uma mensagem de confirmação e um código de acompanhamento.

6 - Retrato Falado On-line

Nesta tarefa o participante tem o objetivo de fazer um retrato falado de maneira on-line.

Para a execução o usuário deve abrir a página inicial do PCDF, ir em serviços e selecionar a opção de "Retrato Falado On-line". Logo, deve fornecer as minímas informações pessoais, tais quais: nome, cpf e endereço e seguir com a descrição do ocorrido. Após isso, deve forncecer uma descrição detalhada sobre o suspeito e criar o avatar. Após selecionar um avatar e fazer os ajustes necessários, o usuário descreve o retrato de acordo com sua fidelidade a sua lembrança e finalmente, envia o formulário recebendo uma mensagem de confirmação ao final com todas as informações necessárias do retorno da PCDF.

Definir o perfil dos participantes e recrutá-los.

O perfil dos participantes escolhidos foram baseados no artefato Perfil de Usuário e são descritos na tabela 6 juntamente com os prazos estabelecidos.

Tabela 6: cronograma
Integrante responsável Data Local Horário Artefato Entrevistado
Giovana Silva 23/06/2024 Presencial 19:00 Denuncia Online Adriana,
Débora,
Breno
Raissa Andrade 23/06/2024 Presencial 19:00 Carteira de identidade Juio,
Lucas,
Ana Sofia
Rayene Almeida 23/06/2024 Presencial 19:00 Registra Ocorrência Raíra,
Breno,
Bethania
Renata Quadros 23/06/2024 Presencial 19:00 Solicitar Antecedentes Graziele,
Lara Geovanna,
Maria Eliza
Renata Quadros 23/06/2024 Presencial 19:00 Retrato Falado Graziele,
Lara Geovanna,
Maria Eliza

Fonte - Renata Quadros.

Preparar material para observar e registrar o uso.

Cada integrante foi responsável por criar seu protótipo de alta fidelidade na ferramenta Figma, de acordo com sua funcionalidade. Os protótipos são encontrados no artefato Protótipo de Alta Fidelidade. Além disso fizemos o Termo de consentimento, que se encontra no artefato Aspectos Éticos, preparamos o roteiro das perguntas e o teste piloto

Executar um teste-piloto

O teste piloto é uma etapa crucial destinado a validar suas funcionalidades e a usabilidade geral antes da implementação final da avaliação. Este processo visa identificar e corrigir potenciais problemas de design e interação, garantindo que o produto final, que no nosso caso é o protótipo, atenda às expectativas dos usuários. O teste piloto é encontrado logo abaixo:

Vídeo do teste piloto - Solicitar Antecedentes - Renata

I - Identificar e administrar as questões práticas da avaliação

  • Recrutamento

    Os participantes entrevistados foram definidos com base no Perfil de Usuário. São ao total seis participantes sendo que cada integrante do grupo ficará responsável por uma entrevista, com exceção da integrante Renata que está avaliando duas funcionalidades.

  • Custos e Ferramentas

    A avaliação não exige nenhum tipo de custo e deve ser feita utilizando as seguintes ferramentas:

  • Processo de Avaliação

    Após a realização do teste piloto, os integrantes poderão iniciar suas avaliações. Estas serão realizadas preferencialmente por dois membros da equipe e presencialmente. Um será responsável por conduzir e orientar o usuário na utilização do sistema, enquanto o outro registrará as informações relevantes. Se apenas um membro estiver disponível, ele deverá desempenhar ambas as funções.

    Após o convidado aceitar o termo de consentimento, o entrevistador explicará ao usuário a tarefa a ser executada, esclarecendo o funcionamento da entrevista. O entrevistador deve enfatizar que o usuário deve pensar em voz alta enquanto realiza as ações e fazer todas as observações possíveis.

    Após o teste de usabilidade, o usuário responderá a algumas perguntas conforme o roteiro estabelecido. O avaliador será responsável por anotar todas as considerações, expressões e opiniões do usuário, além de incentivá-lo a fornecer detalhes adicionais.

Roteiro das Perguntas

O roteiro das perguntas que deve ser seguido nas entrevistas está descrito na tabela 7.

Tabela 7: roteiro da entrevista
Número Pergunta Resposta
1 Qual seu nome completo? Aberta
2 Qual sua idade? Aberta
3 Qual a sua ocupação? Aberta
4 Qual seu grau de experiência com tecnologias? [] Baixo
[] Médio
[]Alto
5 Você já utilizou o site da PCDF? [] Sim
[] Não
[] Não sei responder
6 Quais elementos da interface você achou confusos ou difíceis de usar? Aberta
7 Houve alguma parte da interface que você não entendeu imediatamente? Se sim, qual? Aberta
8 Qual elemento da interface causou maior dificuldade na interação? Aberta
9 A navegação pelo sistema foi intuitiva? [] Sim
[] Não
[] Não sei responder
10 Você encontrou dificuldades em entender ou usar os menus, botões ou outros widgets? Aberta
11 Quanto tempo, em média, você acha que levou para encontrar as informações que precisava? Aberta
12 O que você mais gostou na interface? Aberta
13 O que você menos gostou ou achou mais difícil na interface? Aberta
14 Que sugestões você tem para melhorar a interface? Aberta
15 Quanto tempo você levou para completar cada tarefa? Aberta
16 Quais tarefas você encontrou mais difíceis de completar? Aberta
17 Houve alguma tarefa que você não conseguiu completar? Se sim, por quê? Aberta
18 Qual problema você achou mais frustrante ou difícil de superar? Aberta
19 Que aspectos da interface precisam de melhorias urgentes? Aberta
20 Se você pudesse mudar uma coisa na interface, o que seria? Aberta

Fonte - Renata Quadros.

D - Decidir como lidar com as questões éticas.

Assegurar a observância de questões éticas na avaliação é essencial. Para garantir o respeito e a proteção dos participantes, seguimos as diretrizes estabelecidas em Aspectos Éticos, que orientam a condução da pesquisa. Os participantes devem ser informados e conscientizados sobre todos os detalhes da pesquisa por meio do termo de consentimento, disponível na mesma seção de Aspectos Éticos.

E - Avaliar, interpretar e apresentar os dados

Após concluir todas as etapas, chegamos à fase de avaliar, analisar e apresentar os dados. É fundamental que o avaliador esteja atento a vários aspectos antes de tirar conclusões e divulgar os resultados. Essa é a fase de Coleta de dados, Interpretação e Relato dos resultados. Após essa análise, os dados serão compartilhados com a equipe. A apresentação dos resultados incluirá uma lista detalhada dos problemas de usabilidade identificados, categorizados por prioridade, juntamente com propostas de soluções e feedback dos usuários.

Referências Bibliográficas

BARBOSA, S.D.J.; SILVA, B.S. Interação Humano-Computador. Editora Campus-Elsevier, 2010.

Histórico de Versões

  Tabela que descreve o Histórico de Versões
Versão Descrição Autor(es) Data Revisor(es) Data de revisão
1.0 Planejamento da avaliação do protótipo de alta fidelidade Renata Quadros e Lara Giuliana 13/06 Rayene Almeida , Raissa Andrade 15/06