Relato dos resultados

Introdução

O relato dos resultados e sua devida interpretação se trata de conceber os dados técnicamente e endendê-los de modo a acrescentar soluções e opiniões vindas do usuário nos protótipos e nas funcionalidades

Metodologia

A metodologia terá como base o planejamento do relato dos resultados do protótipo de papel, levando em conta abordar os objetivos, seleção dos participantes e a metodologia de avaliação foi teste de usabilidade por prototipação de papel e entrevistas. O método escolhido foi o de avaliação por teste de usabilidade em prototipação em papel e por entrevistas, sendo essa escolha justificada por levantar os possíveis defeitos, impedindo que perdurem nas próximas etapas do projeto. Por uma questão de praticidade, foi possível realizar a avaliação por prototipação em papel mais a entrevista abordando duas funcionalidades para cada um dos entrevistados.

Objetivos e Escopo

Os objetivos são identificar problemas de usabilidade e melhorar as funcionalidades. O escopo inclui todas as interações relacionadas a essas funcionalidades, como navegação, acesso e obtenção de informações.

Seleção de participantes

A seleção dos participantes teve como base o perfil do usuário. No geral, e de preferência, eles precisam atender aos seguintes requisitos por ordem de prioridade descentente:

idade entre 18 e 24 anos
morar no centro oeste ou sudeste
possuir familiaridade com a tecnologia
escolaridade: ensino médio
gênero predominantemente feminino

Cronograma executado de entrevistas

Segue abaixo na tabela 1, o cronograma das entrevistas feitas:

Entrevistador(es)	Entrevistado(s)	Horário do Início	Horário do Fim	Data	Tarefa(s)	Local
Mariana Letícia e Bruna Lima	João Victor	14:00	14:20	19/06/2024	Solicitar declaração de registro de ocorrência e Solicitação de Ficha de Atendimento	FGA
Daniela Alarcão e Lucas Avelar	Cainã Freitas	10:00	10:20	18/06/2024	Agendamento de atendimento presencial e CB Cursos 1	FGA
Pedro Henrique e Genilson	Rafael	10:00	10:20	18/06/2024	CB Cursos 2 e Checar e Gerar Certificado	FGA

Tabela 1: Cronograma executado de avaliações

Fonte: Mariana Letícia

Avaliações

Avaliação 1 Checar e Gerar Certificado

Link para o vídeo da apresentação

Vídeo 1: Avaliação 1 - funcionalidade checar e gerar certificado

Fonte: Genilson Junior.

Coleta de dados: Para a entrevista, foram preparadas uma série de perguntas gerais visando respostas condizentes para validação e posterior implementação correta da funcionalidade, presente na tabela 2, viabilizando assim uma coleta de dados bem direcionada, com perguntas discussivas para o entrevistado.

Número	Pergunta	Respostas
1	Você conseguiu operar o sistema com tranquilidade?	Sim, porém tive uma dúvida no ícone de acessibilidade.
2	Ao final, você conseguiu atingir o seu objetivo?	Sim.
3	Você conseguiu entender o que acontecia de um passo para o outro?	Sim, está bem detalhado.
4	Com o passar dos passos, você se sentiu motivado para continuar o processo?	Sim, bem convencional.
5	As instruções e informações foram claras?	Sim.
6	Em algum momento, você se sentiu confuso?	Na segunda tela mostra muito conteúdo, poderia ser mais resumido.
7	Sugestão de melhoria?	Mudar ícone de acessibilidade.
8	A sequência é coerente e funcional?	Sim.

Fonte - Bruna Lima, Daniela Alarcão, Genilson Junior, Lucas Avelar, Mariana Letícia e Pedro Henrique.

Tabela 2 - Roteiro de perguntas da entrevista.

Interpretação dos dados:
- O participante se mostrou interessado e participativo, entendendo todos os processos e oferecendo respostas e feedbacks condizentes com a funcionalidade, como melhorias e alterações a serem feitas;
- Foram encontrados poucos problemas na funcionalidade, sendo eles um ícone da tela inicial já presente no site do CBMRJ que causou confusão no entrevistado e a quantidade de informações na segunda tela, também provenientes do CBMRJ.
- Foi sugerido que vídeos seriam uma forma mais adequada para aprender e o ideal de tempo para conclusão desse curso seria entre 3 semanas;
- Por fim, a sequência de passos seguidos e a conclusão da tarefa proposta ao entrevistado foi concluida.
  
  Conclusão: Portando, é possível concluir que, apesar de uns ajustes iniciais na questão visual e quantidade de informações, a tarefa é dada de forma convencional, tendo sido de fácil entendimento e rápida realização, sem maiores problemas.
Lista de problemas encontrados:
- O fluxo da entrevista foi conduzido de forma que não apresentasse muitos problemas em relação ao entedimento do entrevistado.
- Os problemas encontrados dizem respeito a elementos presentes no site, no processo para alcance da funcionalidade, mas que se encontram em seu caminho.
Sugestões de melhoria:
- Foi sugerido a alteração de local ou do ícone de acessibilidade, pois causou estranhamento e confusão ao usuário e diminuir o excesso de informações em uma só página, buscando dividir em outros subtópicos ou outros setores.

Avaliação 2 Agendar atendimento presencial

Link para o vídeo da apresentação

Vídeo 2: Avaliação 2 - funcionalidade de agendar atendimento presencial

Fonte: Daniela Alarcão.

Coleta de dados: Para a coleta de dados, uma entrevista foi realizada com o participante Cainã Freitas, estudante de engenharia de software. Durante a entrevista foi realizada uma série de perguntas de modo a direcionar o diálogo para que dados relevantes pudessem ser coletados. As perguntas e suas respectivas respostas estão presentes na tabela 3 abaixo.

Número	Pergunta	Respostas
1	Você conseguiu operar o sistema com tranquilidade?	Sim, tranquilamente.
2	Ao final, você conseguiu atingir o seu objetivo?	Sim.
3	Você conseguiu entender o que acontecia de um passo para o outro?	Sim.
4	Com o passar dos passos, você se sentiu motivado para continuar o processo?	Sim.
5	As instruções e informações foram claras?	Sim.
6	Em algum momento, você se sentiu confuso?	Não.
7	Sugestão de melhoria?	Não, nenhuma.

Fonte - Bruna Lima, Daniela Alarcão, Genilson Junior, Lucas Avelar, Mariana Letícia e Pedro Henrique.

Tabela 3 - Roteiro de perguntas da entrevista.

Interpretação dos dados:
- Ao utilizar a técnica de "Think Aloud" de forma espontânea, o entrevistado transmite a sensação de estar confiante e confortável com o processo, expressando uma transparência cognitiva.
- O protótipo de papel foi satisfatório para o entrevistado.
- O participante não se mostrou surpreso com os passos do protótipo de papel.
- O participante não apresentou sugestões ou melhorias. As razões que possam ter motivado essa atitude podem ser tanto positivas quanto negativas. Ou o participante ficou bastante satisfeito com o protótipo, tendo suas expectativas bem atendidas ou o participante não estava engajado o suficiente, tendo uma relutância ao dar feedback.
  
  Conclusão: A entrevista fluiu bem, atendendo às necessidades da resposável pelo protótipo (Daniela Alarcão).
Lista de problemas encontrados:
- Por apresentar colagens de papéis, as folhas estavam um pouco amassadas. Este detalhe pode ter dificultado o manuseio do protótipo. Ter passado ou prensado as folhas antes da entrevista teria sido uma boa ideia.
Sugestões de melhoria:
- Não foram sugeridas melhorias por parte do entrevistado.

Avaliação 3 Cursos [Acidentes Domiciliares]

Link para o vídeo da apresentação

Vídeo 3: Entrevista 3 - Cursos [Acidentes Domiciliares)

Fonte: Pedro Henrique.

Coleta de dados: Nesta etapa, para a avaliação da funcionalidade Cursos - Acidentes domiciliares, foi apresentado pelo integrante Pedro Henrique, responsável por ser o facilitador e máquina, um contexto de processo que seria realizada em um protótipo de papel ao participante Rafael que, desta maneira, realizou interações em telas de interface que simulavam o processo de inscrição e de acesso ao conteúdo de algum módulo do curso. Além disso, foi utilizado a técnica recomendada de "Loud Thinking" e, posteriormente, conduzido série de perguntas gerais pelo integrante Genilson que ficou responsável por observar e fazer anotações durante todo o processo. As perguntas realizadas, assim como suas respostas obtidas podem ser encontradas abaixo na tabela 4:

Número	Pergunta	Respostas
1	Você conseguiu operar o sistema com tranquila	Sim, bem tranquilo.
2	Ao final do processo, você conseguiu atingir o seu objetivo final?	Consegui. Alcancei a página de vídeo-aulas e o acesso as informações que buscava.
3	Você conseguiu entender o que acontecia de um passo para o outro?	Consegue. Bem claro o processo de como as páginas mudam e conteúdo de cada tela.
4	Com o passar dos passos, você se sentiu motivado para continuar o processo?	Foi um processo normal. Não muito diferente de um processo de inscrição em um site qualquer. Bem convencional.
5	As instruções e informações, sem a ajuda do facilitador, foram claras?	Foi bem claro.
6	Em algum momento, você se sentiu pelo menos um pouco confuso?	Não. Todas as telas são bem claras, sucintas nos assuntos que elas trazem, bem objetivas.
7	No geral, você tem alguma sugestão de melhoria?	Acho que não. O processo está bem enxuto, não sinto falta de nada assim de um processo convecional de login e acesso à um site. Parece na medida.

Fonte - Bruna Lima, Daniela Alarcão, Genilson Junior, Lucas Avelar, Mariana Letícia e Pedro Henrique.

Tabela 4 - Roteiro de perguntas da entrevista.

Interpretação dos dados:
- A avaliação orientada e conduzida pelo processo de "Loud Thinking" pelo participante, auxiliou no entedimento e seguimento dos seus passos durante as interações.
- A condução da avaliação do protótipo de papel foi realizada de forma tranquila, de modo em que o participante alcançasse o seu objetivo sem nenhum problema ou dificuldade;
- O participante não precisou do auxílio do facilitador no geral, tendo conseguido executar as operações e interações somente a partir de um contexto incial entregue para que pudesse se situar e compreender o seu objetivo final;
- As telas pareceram claras, bem compreensíveis e o processo não foi confuso para o participante.
  
  Conclusão: A avaliação seguiu de forma clara e sem confusão para o participante que conseguiu se situar no processo e realizar o seu objetivo com êxito de forma tranquila.
Lista de problemas encontrados:
- Em relação a avaliação, não foi identificado nenhum grande problema durante o encontro, nem após uma revisão por parte do vídeo. Uma única observação que foi levantada por parte do condutor que simulava a máquina, seria que talvez poderia ter organizado as folhas mais ao lado do participante.
Sugestões de melhoria:
- Conforme, pode ser analisado, o entrevistado acredita que o processo esteja adequado e claro o suficiente para seu entendimento e, desta forma, não foram levantadas nenhuma sugestão de melhoria por sua parte.

Avaliação 4 Solicitar ficha de atendimento

A Bruna Lima foi a responsável por conduzir a avaliação, enquanto a Mariana Letícia desempenhou o papel de avaliadora observadora. Durante o processo, seguimos o roteiro de avaliação detalhado no planejamento, que consistiu em:

Apresentar os termos de consentimento e explicar como os dados coletados serão utilizados;
Breve explicação dos objetivos da entrevista para contextualização do participante;
Simulação da funcionalidade a ser availiada com o protótipo em papel;
Avaliação explorando as perguntas definidas previamente.

Link para o vídeo da apresentação

Vídeo 4: Avaliação 4 - Funcionalidade de Solicitar ficha de atendimento

Fonte: Bruna Lima e Mariana Letícia.

Coleta de dados: Durante a avaliação, a avaliadora observadora fez anotações. E após a simulação com protótipo de baixa fidelidade, conduzimos uma entrevista com as perguntas que estão listadas na Tabela 5.

Número	Pergunta	Respostas
1	Você conseguiu operar o sistema com tranquilidade?	Sim, porém tive uma dúvida no ícone de acessibilidade.
2	Ao final, você conseguiu atingir o seu objetivo?	Sim.
3	Você conseguiu entender o que acontecia de um passo para o outro?	Sim, ficou bem vísivel e fácil de se orientar.
4	Com o passar dos passos, você se sentiu motivado para continuar o processo?	Sim.
5	As instruções e informações foram claras?	Sim, foram claras, ao "clicar" fui direcionado para a opção que desejava e não houve nenhuma impedimento.
6	Em algum momento, você se sentiu confuso?	Sim, no momento de selecionar o tipo de requerimento. Fiquei confuso com as opções de "Vistoria a pedido" e "Vistoria - recurso".
7	Sugestão de melhoria?	Acho que não ter tantas abas para serem abertas e no lugar disso, utilizar pop-up.

Fonte - Dinis, S., & Santana, B. (2021). Interação Humano-Computador (1ª ed.). [Capítulo 11, p. 266] e Lucas Avelar, Mariana Letícia ..

Tabela 5 - Roteiro de perguntas da entrevista da avaliação 4.

Interpretação dos dados:
- Durante a avaliação, o participante utilizou a técnica do think aloud, o que facilitou a compreensão de que ele entendeu os passos necessários para executar a funcionalidade;
- O participante não teve dificuldades em concluir a tarefa;
- O participante destacou pontos que poderiam ser melhorados, esse feedback é importante para identificar as oportunidade no protótipo.
  
  Conclusão: A avaliação mostrou que o protótipo não apresenta problemas significativos, mas ainda há áreas que podem ser melhoradas.
Lista de problemas encontrados:
- Grande quantidade de novas abas abertas;
- Confusão ao tentar compreender os textos; opções com descrições parecidas.
Sugestões de melhoria:
- Diminuir a quantidade de abas abertas durante o processo;
- Melhorar a descrição dos textos apresentados.

Avaliação 5 Obter declaração do registro de ocorrência

Vídeo 5: Avaliação 5 - Funcionalidade Obter declaração do reistro de Ocorrência

Fonte: Bruna Lima e Mariana Letícia.

Coleta de dados: foram adicionadas perguntas gerais sobre o entrevistado e sobre o protótipo de papel daquela funcionalidade em específico. A pessoa escolhida foi o João Victor, um estudante de engenharia Aeroespacial de 21 anos, o qual possui experiência com a tecnologia.

As perguntas e respostas representando a coleta de dados da entrevista 1 estão explícitas abaixo na tabela 6:

Número	Pergunta	Respostas
1	você conseguiu operar o sistema com tranquilidade?	sim
2	ao final, você conseguiu atingir o seu objetivo?	sim
3	você conseguiu entender o que acontecia de um passo para o outro?	sim
4	com o passar dos passos, você se sentiu motivado para continuar o processo?	sim
5	as instruções e informações foram claras? Explique sua resposta	sim, foram claras
6	em algum momento, você se sentiu confuso? Explique sua resposta	só tive dúvida sobre o cmbrj
7	sugestão de melhoria? Explique sua resposta	login e cadastro único para não precisar inserir todas as informaçoes mais de uma vez

Fonte - Dinis, S., & Santana, B. (2021). Interação Humano-Computador (1ª ed.). [Capítulo 11, p. 266] e Lucas Avelar, Mariana Letícia .

Tabela 6 - Roteiro de perguntas da entrevista.

Interpretação dos dados:
- O participante conseguiu compreender os passos de como executar a funcionalidade com maestria.
- O participante em alguns momentos se encontrou confuso dado a complexidade de executar a funcionalidade de obter declaração do registro de ocorrência.
- O participante conseguiu criticar o sistema de forma clara, conseuindo fornecer aos avaliadores feedbacks interessantes e práticos a serem aplicados.
- Conclusão: O participante executou o protótipo de papel e a entrevista tendo clareza nas suas ações e respostas além de conseuir demonstrar falhas e possíveis melhorias a serem aplicaddas na funcionalidade.
Lista de problemas encontrados:
- Durante a eecução do método de avaliação por protótipo de papel, não foram encontrados problemas na funcionalidade e na maneira como foi posta. Apenas sugestões de melhorias.
Sugestões de melhoria:
- A sugestão de melhoria do entrevistado é pertinente e algo que realmente será mudado na implementação dela. A sugestão em questão é a não necessidade de cadastrar dados pessoais dentro da funcionalidade em si, deixando apenas isso a ser cadastrado no cadastro da conta, e deixando essa funcionalidade uma a qual os usuários podem ter acesso ao fazerem o login na conta.

Conclusão

Conforme o que foi observado nas entrevistas, há elementos a serem reconsiderados em cada uma delas, visando uma melhor qualidade de uso sobre as funcionalidades e o bom proveitamento por parte delas pelo o usuário.

Alguns dos elementos são melhorias relacionados a reestruturação das funcionalidades, enquanto outros estão relacionados a disposição da interface.

Bibliografia

Barbosa, S. D. J.; Silva, B. S. da; Silveira, M. S.; Gasparini, I.; Darin, T.; Barbosa, G. D. J. Interação Humano-Computador e Experiência do usuário. (2021). Acesso em: 17 de maio de 2024.

Referências Bibliográficas

Dinis, S., & Santana, B. (2021). Interação Humano-Computador (1ª ed.). [Capítulo 11, p. 266]

Histórico de Versões

Versão	Data	Descrição	Autor(es)	Revisor(es)
`1.0`	13/06/2024	Criação da página	Bruna Lima	Genilson Silva
`2.0`	18/06/2024	Adição da entrevista 1	Genilson Silva	Lucas Avelar
`3.0`	19/06/2024	Adição da entrevista 2	Daniela Alarcão	Lucas Avelar
`4.0`	19/06/2024	Adição da entrevista 3	Pedro Henrique	Genilson Silva
`5.0`	19/06/2024	Adição da entrevista 4	Bruna Lima	Genilson Silva
`6.0`	19/06/2024	Adição da entrevista 5	Mariana Letícia	Genilson Silva