Relato dos resultados da avaliação do protótipo de alta fidelidade

Introdução

Com a realização da avaliação do protótipo de alta fidelidade faz-se necessário a criação do artefato com a finalidade de relatar os resultados dessa avaliação, conforme o planejado, tanto nos artefatos de planejamento da avaliação quanto no planejamento do relato dos resultados. Por isso, esse documento tem por finalidade o relato dos resultados da avaliação do protótipo de alta fidelidade, passando pelos pontos importantes descritos nos planejamentos e relatando e analisando os dados coletados durante essa avaliação.

Objetivos

Alinhado com o planejamento realizado, essa avaliação tem por objetivo, através de interações dos usuários reais do site da Caesb com o protótipo de alta fidelidade elaborado, obter opiniões e feedbacks dos entrevistados sobre a usabilidade e a interface proposta nesse protótipo. Além disso, com a realização das entrevistas esse projeto tem como objetivos efetivamente identificar problemas na interação e Interface, verificar a conformidade com um padrão e comparar ideias e alternativas de design, e baseado nisso, abaixo estão retomadas as perguntas elaboradas no planejamento para verificar se esses objetivos foram atingidos:

Objetivo: Identificar problemas na interação e Interface

Que parte da interface e da interação do protótipo de alta fidelidade deixa o usuário insatisfeito?
Foi possível identificar problemas de usabilidade preliminares?

Objetivo: Verificar a conformidade com um padrão

O protótipo de alta fidelidade segue um padrão entre seus elementos e interfaces?
Os termos na interface seguem convenções estabelecidas no domínio?
A interface segue o padrão do sistema operacional?

Objetivo: comparar ideias e alternativas de design

Foi observado alguma sugestão de melhoria para o protótipo proposto?
Foi possível identificar ideias principais de design?

Aplicação dos Testes de Usabilidade

Método de Avaliação

Para realizar essa avaliação foi utilizada a metologia de investigação por meio de entrevistas com usuários que se encaixem no perfil de usuário definido no projeto. Para a entrevista da avaliação do protótipo foram utilizados mecanismos de gravação onde o entrevistado realizava a avaliação por meio de um notebook que gravava a ações executadas pelo usuário e o áudio capturando informações relevantes. Também foi utilizado uma câmera exclusiva para gravação do usuário e entrevistador.

Tabela 1: Cronograma executado das entrevistas

Entrevistadores	Usuário	Data	Início-Fim	Local
Jeferson	João	28/11	13:00-13:05	Faculdade do Gama - FGA
Tiago	Juan	28/11	13:20-13:25	Faculdade do Gama - FGA
Rodrigo	José	28/11	13:10-13:15	Faculdade do Gama - FGA
Leandro	Kelvin	27/11	15:00-15:20	Faculdade do Gama - FGA
Mateus	Gabriel	27/11	18:30-18:50	Residência do usuário
Oscar	Carolina	27/11	15:50-16:00	Faculdade do Gama - FGA
Pedro	Eric	27/11	15:30-15:40	Faculdade do Gama - FGA

Fonte: Grupo 06. 2023

A seguir é apresentado os protótipos de Alta Fidelidade utilizados nas entrevistas de acordo com cada funcionalidade.

Protótipo 1: Consultar Contas Pagas

Fonte: Jefferson Sena, 2023

Protótipo 2: Consultar falta de água

Fonte: Tiago Albuquerque, 2023

Protótipo 3: Revisão de Contas

Fonte:Rodrigo Fonseca, 2023

Protótipo 4: Emitir Segunda Via de Conta

Fonte: Leandro de Almeida, 2023

Protótipo 5: Informar vazamento na rua

Fonte: Pedro Henrique, 2023

Protótipo 6: Situação de Débitos

Fonte: Oscar de Brito, 2023

Protótipo 7: Consultar Qualidade da Água

Fonte: Mateus Levy , 2023

Perfil dos Participantes

Os usuários escolhidos se enquadram no perfil de usuário definido nesse projeto, se encaixando na faixa etária que representa a maioria dos usuários do site da Caesb, possui familiaridade com tecnologia e já utilizou a funcionalidade em questão. Foram realizadas três entrevistas de teste de usabilidade para cada funcionalidade, com usuário diferentes. De acordo com Krug(2006), com três ou quatro usuários a maioria dos problemas é detectado, tornando possível fazer a análise no mesmo dia.

Sumário dos Dados Coletados

A tabela 2 contém as respostas das perguntas feitas aos usuários durante o teste de usabilidade, as perguntas foram definidas no planejamento da avaliação do protótipo de alta fidelidade

Tabela 2: Perguntas feitas aos usuários

Ordem	Pergunta	Entrevista 1	Entrevista 2	Entrevista 3	Entrevista 4	Entrevista 5	Entrevista 6	Entrevista 7
1º	A interface apresentada foi de fácil utilização?	Sim	Sim	Sim	Sim	Sim	Sim	Sim
2º	Você acredita que as tarefas solicitadas correspondem com ações reais?	Sim	Sim	Sim	Sim	Sim	Sim	Sim
3º	Alguma sugestão com relação à disposição dos elementos na tela?	Não	Não	Sim	Não	Sim	Não	Sim
4º	Você encontrou alguma dificuldade ao realizar as tarefas designadas durante o teste?	Não	Não	Não	Não	Não	Não	Não
5º	Você encontrou alguma inconsistência ou erro durante o uso da interface?	Não	Não	Não	Não	Não	Não	Não

Fonte: Tiago Albuquerque, 2023

Video 1 - Entrevista 1

Fonte: Jefferson, 2023

Video 2 - Entrevista 2

Fonte: Tiago Albuquerque, 2023

Video 3 - Entrevista 3

Fonte: Rodrigo Fonseca, 2023

Video 4 - Entrevista 4

Fonte: Leandro de Almeida, 2023

Video 5 - Entrevista 5

Fonte: Pedro Henrique, 2023

Video 6 - Entrevista 6

Fonte: Oscar de Brito, 2023

Consultar Contas Pagas

Interpretação e análise de dados

O design alternativo do protótipo de alta fidelidade que mescla a página inicial com a página subsequente do portal de autoatendimento torna a usabilidade mais intuitiva, uma vez que facilita o usuário encontrar determinadas funcionalidades. A partir disso, o usuário consegue entrar no site e encontrar a funcionalidade de consultar as contas pagas sem a necessidade de ir à outra página. Outro fator a ser considerado é que a partir da realização do login o usuário é redirecionado para as contas pagas de sua inscrição cadastrada tornando a execução da tarefa menos redundante.

Que parte da interface e da interação do protótipo de alta fidelidade deixa o usuário insatisfeito?

Durante a realização das entrevistas, não foi abordado pontos que deixam os usuários insatisfeitos.

Foi possível identificar problemas de usabilidade preliminares?

Durante a realização das entrevistas, não foi identificado problemas de usabilidade premilinares.

O protótipo de alta fidelidade segue um padrão entre seus elementos e interfaces?

Sim, os elementos estão em conformidade com a interface seguindo um padrão como um todo tornando a usabilidade intuitiva para o usuário executar as tarefas.

Os termos na interface seguem convenções estabelecidas no domínio?

Sim, baseado na avaliação do protótipo de alta fidelidade, os termos da interface seguem convenções estabelecidas no domínio.

Foi observado alguma sugestão de melhoria para o protótipo proposto?

Foi feita a sugestão referente aos ícones das funcionalidades serem mais diferentes garantindo que não sejam confundidos.

Foi possível identificar ideias principais de design?

Sim, utilizar as opções do portal de autoatendimento na tela inicial e direcionar o usuário para as contas pagas após a realização de login demonstrou melhorar a usabilidade tornando a execução da tarefa mais intuitiva.

Problemas encontrados

Durante a execução da avaliação, uma dificuldade encontrada que prejudica os usuários durante a realização da funcionalidade são os ícones do portal de autoatendimento que pode confundir para encontrar a funcionalidade determinada.

Feedback dos usuários

O design alternativo do protótipo de alta fidelidade obteve feedback positivo por partes dos usuários mesmo com o problema identificado referente aos ícones que podem confunfir em encontrar as funcionalidades.

Consultar falta de água

Interpretação e análise de dados

Baseado nos dados coletados durante a avaliação do protótipo de alta fidelidade, percebe-se que os problemas relatados no protótipo de baixa fidelidade foram resolvidos, afinal todos os participantes conseguiram realizar as tarefas sem os problemas anteriormente encontrados. Para a funcionalidade de "consultar falta de água", apenas algumas das perguntas realizadas aos usuário não foram avaliadas como "sim", conforme a tabela 2.

Que parte da interface e da interação do protótipo de alta fidelidade deixa o usuário insatisfeito?

Um dos usuários relatou a dificuldade de encontrar a funcionalidade "Consultar falta de água" a partir da tela inicial por conta de seu ícone, o qual não é muito representativo para a funcionalidade. Outro usuário relatou uma dificuldade quanto ao preenchimento dos campos da funcionalidade, pois não sabia se existia algum campo obrigatório ou não.

Foi possível identificar problemas de usabilidade preliminares?

Sim, os usuários relataram alguns problemas existentes no protótipo de alta fidelidade, sendo assim possível identificar problemas de usabilidade preliminares.

O protótipo de alta fidelidade segue um padrão entre seus elementos e interfaces?

Sim, com base na avaliação realizada com os usuários, os elementos e interfaces do protótipo de alta fidelidade seguem um padrão

Os termos na interface seguem convenções estabelecidas no domínio?

Sim, com base na avaliação do protótipo de alta fidelidade, todos os termos da interface seguem convenções estabelecidas no domínio.

Foi observado alguma sugestão de melhoria para o protótipo proposto?

Sim, realizar mudança do ícone do botão de "consultar falta de água" para algo mais sugestivo à funcionalidade.

Foi possível identificar ideias principais de design?

Sim, a ideia apresentada por meio do protótipo de alta fidelidade foi considerada satisfatório para os usuários, apesar de necessitar alterações.

Problemas Encontrados

Durante a avaliação do protótipo de alta fidelidade foi possível encontrar alguns problemas, sendo estes:

Em geral os usuários conseguiram realizar a tarefa proposta sem grandes dificuldades e não relataram problemas graves na usabilidade do protótipo de alta fidelidade.

Revisão de Conta

Interpretação e análise de dados

Com base nos dados coletados dessa avaliação de protótipo de alta fidelidade, torna-se claros que os problemas encontrados no protótipo de baixa fidelidade, foram corrigidos e tornando assim a execução da tarefa do usuário mais simples e facíl de entender e executar.

Que parte da interface e da interação do protótipo de alta fidelidade deixa o usuário insatisfeito?

Durante a realização das entrevistas, não foi abordado pontos que deixam os usuários insatisfeitos.

Foi possível identificar problemas de usabilidade preliminares?

Durante a realização das entrevistas, não foi identificado problemas de usabilidade premilinares.

O protótipo de alta fidelidade segue um padrão entre seus elementos e interfaces?

Sim, os componentes seguem uma conformidade com a interface, mantendo um padrão consistente que, tornando a usabilidade intuitiva para que o usuário possa executar suas tarefas.

Os termos na interface seguem convenções estabelecidas no domínio?

Sim, baseado na avaliação do protótipo de alta fidelidade, os termos da interface seguem convenções estabelecidas no domínio.

Foi observado alguma sugestão de melhoria para o protótipo proposto?

Foi recomendado que os ícones das funcionalidades fossem tornados mais diferentes, garantindo a eliminação de possíveis confusões entre eles..

Foi possível identificar ideias principais de design?

Sim, A concepção apresentada no protótipo de alta fidelidade foi avaliada como satisfatória pelos usuários, embora ainda demande ajustes. .

Problemas encontrados

Durante essa avaliação os usuário conseguiram fazer as sua atividade de forma correta e não foram encontrados problemas muitos graves.

Feedback dos usuários

O design alternativo do protótipo de alta fidelidade recebeu feedback positivo por parte dos usuários, mesmo diante dos problemas identificados ou das dificuldades que possam prejudicar a execução da tarefa.

Emitir Segunda Via de Conta

Interpretação e análise de dados

A substituição do botão de download por um novo botão chamado "Conta Completa" e a adição de um dropdown para selecionar o ano foram as alterações implementadas com base nos feedbacks fornecidos pelos participantes durante a avaliação do protótipo de baixa fidelidade. Essas modificações contribuíram significativamente para melhorar a usabilidade do site, uma vez que tornaram a função de emitir uma segunda via mais intuitiva e menos confusa. Todos os usuários conseguiram utilizar corretamente a função Emitir Segunda Via de Conta.

Que parte da interface e da interação do protótipo de alta fidelidade deixa o usuário insatisfeito?

As cores dos botões e a proximidade dos elementos na tela.

Foi possível identificar problemas de usabilidade preliminares?

Não foram identificados problemas de usabilidade pelos usuários.

O protótipo de alta fidelidade segue um padrão entre seus elementos e interfaces?

Sim, segundo os usuários os elementos estão em conformidade com a interface.

Os termos na interface seguem convenções estabelecidas no domínio?

Sim, os termos da interface seguem convenções estabelecidas no site sem fugir muito do padrão.

Foi observado alguma sugestão de melhoria para o protótipo proposto?

Aumentar a distância entree os elementos na interface e mudar a cor dos botões.

Foi possível identificar ideias principais de design?

Sim, os usuários conseguiram identificar fácilmente.

Problemas encontrados

Durante essa avaliação os usuários conseguiram realizar as atividades de forma correta e não foram encontrados problemas.

Feedback dos usuários

Os usuários elogiaram a intuitividade das interfaces, porém não gostaram da proximidade dos elementos na interface e das cores dos botões.

Informar vazamento na rua

Interpretação e análise dos dados

Com a realização da avaliação, ficou claro que as correções e melhorias realizadas a partir do protótipo de papel para o protótipo de alta fidelidade atenderam às expectativas e permitiram aos usuários realizarem as tarefas com eficiência. Para a funcionalidade de informar vazamento, a implementação de um formulário para preencher o endereço do vazamento a ser reportado no site permitiu mais dinamismo e eficiência na realização dessa tarefa, além disso as mudanças para realizar confirmações nos dados através de um pop up, favoreceram também a prevenção de erros dos usuários. Dessa forma, com base na avaliação e nos resultados das entrevistas, conclui-se que o design alternativo melhorou efetivamente a usabilidade e eficiência do site, tornando a realização das tarefas mais fáceis e satisfatórias. Abaixo estão respondidas as perguntas relacionadas aos objetivos planejados:

Que parte da interface e da interação do protótipo de alta fidelidade deixa o usuário insatisfeito?

Através da realização das entrevistas e da avaliação, alguns usuários relataram um certo desconforto com os itens muito "apertados" na tela inicial, mas além disso os usuários se mostraram bastante satisfeitos com a interface com a interação.

Foi possível identificar problemas de usabilidade preliminares?

Não foram identificados mais problemas de usabilidade a partir da avaliação do protótipo de alta fidelidade, uma vez que espera-se que a maioria desses problemas tenham sido identificados e corrigidos a partir da avaliação do protótipo de papel.

O protótipo de alta fidelidade segue um padrão entre seus elementos e interfaces?

Sim, o protótipo de alta fidelidade segue um padrão claro entre seus elementos e interfaces, de forma a facilitar a realização das tarefas por meio da padronização, aumentando a familiaridade e intuitividade do usuário com o sistema.

Os termos na interface seguem convenções estabelecidas no domínio?

Sim, os termos da interface do protótipo de alta fidelidade seguem as convenções estabelecidas no domínio, atendendo aos convenções dos sites governamentais e às padronizações necessárias.

Foi observado alguma sugestão de melhoria para o protótipo proposto?

Foram feitas algumas sugestões referentes à página inicial do site, sobre o agrupamento das funcionalidades, dizendo que essas podiam estar mais espaçadas e referente aos icones da tela inicial serem mais sugestivos. Essas sugestões foram levadas em conta com relação às metas do projeto e analisadas nesse sentido. Alguns usuários também sugeriram alteração da cor dos botões da tela inicial, alterando de gradientes para cores sólidas.

Foi possível identificar ideias principais de design?

Sim, as principais ideias do design foram identificadas. Com as funcionalidades mais utilizadas direto na tela inicial e a implementação de um pop up de confirmação dos dados do vazamento o design se tornou mais agradável e eficiente para a realização das funcionalidades.

Problemas encontrados

De uma forma geral não foram encontrados problemas que impedissem os usuários de realizarem as tarefas propostas, todos os entrevistados conseguiram realizar a tarefa com sucesso, e houveram apenas algumas sugestões com relação ao protótipo.

Feedback dos usuários

Os usuários se mostraram satisfeitos com a interface e com as mudanças propostas, utilizando o site e realizando suas atividades sem impedimentos, os feedbacks fornecidos foram com relação à tela inicial, onde alguns usuários informaram que os itens estão muito agrupados e com relação a alguns ícones não serem tão claros, além disso houveram feedbacks com relação a.coloração de alguns botões da tela inicial, sugerindo que nesses possuissem cores sólidas ao invés de gradiente.Esses feedbacks foram analisados e levados em conta com base nas metas definidas no projeto.

Situação de débitos

Interpretação e análise dos dados

Com as mudanças realizadas para as atividades foi possível observar um resultado satisfatório na realização da avaliação do protótipo de alta fidelidade, de forma que as principais funcionalidades estarem disponíveis na tela inicial auxilou os usuários na eficiência para realização das tarefas, melhorando a usabilidade do site e familiaridade com o sistema. Dessa foi possível concluir que o design alternativo proposto contribuiu para o site e facilitou a realização da tarefa de situação de débitos, tornando-a mais fácil e intuitiva de ser realizada. Após isso, abaixo estão definidas as perguntas relacionadas aos objetivos propostos no documento de planejamento desse artefato:

Que parte da interface e da interação do protótipo de alta fidelidade deixa o usuário insatisfeito?

Os usuários não relataram nenhuma insatisfação durante a avaliação.

Foi possível identificar problemas de usabilidade preliminares?

Não, uma vez que não foram encontrados pelos usuários problemas durante a realização das entrevistas relacionadas a funcionalidade de situação de débitos.

O protótipo de alta fidelidade segue um padrão entre seus elementos e interfaces?

Todos os elementos do protótipo seguem um padrão.

Os termos na interface seguem convenções estabelecidas no domínio?

Sim, o protótipo de alta fidelidade proposto segue as convenções estabelecidas no domínio, com as cores e elementos padronizados dentro do protótipo seguindo as convenções do site.

Foi observado alguma sugestão de melhoria para o protótipo proposto?

Sim, Mudar as cores dos botões para cores sólidas, substituindo o gradiente proposto no protótipo de alta fidelidade. E houveram algumas sugestões com relação ao agrupamento dos elementos na tela inicial, propondo que esses fossem mais espaçados para facilitar a visualização.

Foi possível identificar ideias principais de design?

Sim, de uma forma geral, os usuários conseguiram identificar as principais ideias de design, percebendo as padronizações dos elementos e as novas ideias propostas no protótipo de alta fidelidade.

Problemas encontrados

Não foram encontrados problemas, todoso os usuários que participaram da avaliação do protótipo de alta fidelidade e utilizaram a funcionalidade de situação de débitos conseguiram realizar essa tarefa facilmente e sem grandes problemas, apenas algumas sugestões foram feitas com relação ao design do protótipo. Dessa forma demonstrando a eficiência do protótipo proposto.

Feedback dos usuários

Diante da realização efetiva das tarefas propostas aos usuários durante as entrevistas, foram foram fornecidos alguns feedbacks com relação ao design do protótipo, como o agrupamento dos elementos da tela inicial, onde foi proposto que esses estivessem mais espaçados, e além disso, a coloração dos botões que ao invés de cores gradientes deveria ser um cor sólida.

Qualidade da Água

Interpretação e análise de dados

Com base nos dados coletados dessa avaliação de protótipo de alta fidelidade, torna-se claros que os problemas encontrados no protótipo de baixa fidelidade, foram corrigidos e tornando assim a execução da tarefa do usuário mais simples e facíl de entender e executar.

Que parte da interface e da interação do protótipo de alta fidelidade deixa o usuário insatisfeito?

Bem, ao explorar o protótipo de alta fidelidade da CAESB foi percebido que a navegação não é tão intuitiva quanto o usuário gostaria, e o usuário pode achou difícil encontrar as opções desejadas para realizar a tarefa.

Foi possível identificar problemas de usabilidade preliminares?

Sim, durante a interação com o protótipo de alta fidelidade da CAESB, foram identificado salguns problemas de usabilidade preliminares. Um dos principais problemas está relacionado à organização da informação na seção do submenu de Água. A estrutura de menus e a disposição dos elementos podem ser melhoradas para tornar a navegação mais intuitiva.

O protótipo de alta fidelidade segue um padrão entre seus elementos e interfaces?

Sim, em geral, o protótipo de alta fidelidade segue um padrão consistente em seus elementos e interfaces. Os elementos de design, como cores, tipografia e ícones, mantêm uma uniformidade em todo o protótipo.

Os termos na interface seguem convenções estabelecidas no domínio?

Sim, os termos da interface seguem as convenções estabelecidas no domínio de serviços de água e saneamento. Por exemplo, termos como "faturas", "consumo", "conta" são utilizados de maneira consistente .

Foi observado alguma sugestão de melhoria para o protótipo proposto?

Foi recomendado reforçar a consistência na terminologia usada em diferentes partes da interface. Isso contribuirá para uma compreensão mais fácil e rápida por parte dos usuários, especialmente ao navegar por diferentes seções do sistema.

Foi possível identificar ideias principais de design?

Sim, os usuários avaliaram positivamente a concepção apresentada no protótipo de alta fidelidade, embora ainda seja necessário realizar alguns ajustes.

Problemas encontrados

Na análise, os usuários executaram suas tarefas com precisão, sem identificação de problemas significativos.

Feedback dos usuários

O feedback dos usuários em relação ao design alternativo do protótipo de alta fidelidade foi positivo, apesar dos problemas identificados ou das dificuldades que possam impactar a realização da tarefa.

Referências

1. BARBOSA, S. D. J.; SILVA, B. S. Interação Humano-Computador. Rio de Janeiro: Elsevier, 2010.

2. KRUG, Steve. Não Me Faça Pensar. Rio de Janeiro: Alta Books, 2006.

Bibliografia

1. Bilheteria Digital. Repositório do Grupo Bilheteria Digital da disciplina de Interação Humano Computador da Universidade de Brasília, 2023. Disponível em: https://interacao-humano-computador.github.io/2023.1-BilheteriaDigital/analise-de-requisitos/guia-de-estilo/. Acesso em: 28 de out. 2023.

3. SIMONE DINIZ JUNQUEIRO BARBOSA, BRUNO SANTANA DA SILVA, Interação Humano-Computador, 1a. Edição, Elsevier, 2010.

Histórico de versão

Versão	Data	Descrição	Autor(es)	Revisor(es)
1.0	28/11/2023	Iniciando relato dos resultados do protótipo de alta fidelidade	Pedro Henrique e Rodrigo Fonseca	Leandro
1.1	28/11/2023	Inserindo Entrevista 1 e Consultar Contas Pagas	Jefferson	Mateus
1.2	28/11/2023	Inserindo Entrevista 2 e Consultar Falta Dágua	Tiago	Leandro
1.3	28/11/2023	Inserindo Entrevista 3 e Revisão de Conta	Rodrigo	Mateus
1.4	28/11/2023	Inserindo Entrevista 4 e Emitir segunda via	Leandro	oscar
1.5	28/11/2023	Qualidade da Água	Mateus	Pedro
1.6	28/11/2023	Inserindo Entrevista 5 e Informar Vazamento	Pedro	Leandro
1.7	28/11/2023	Inserindo Entrevista 6 e Consular Débitos	Oscar	Pedro
1.8	28/11/2023	Corrigindo Datas	Leandro	Oscar