Relato dos Resultados da Avaliação dos Protótipos de Alta Fidelidade
Introdução
O presente documento tem como objetivo relatar os resultados obtidos durante a avaliação dos Prot ótipos de Alta Fidelidade do sistema proposto. A avaliação foi conduzida com o intuito de identificar as alternativas de design, verificar a conformidade com os padrões estabelecidos e apontar problemas na interação e na interface do usuário. A análise foi realizada com base no Planejamento da Avaliação dos Protótipos de Alta Fidelidade, que descreve as abordagens e métodos adotados para a avaliação, e a organização dos dados segue as diretrizes descritas no Planejamento do Relato dos Protótipos de Alta Fidelidade.
Cronograma Executado
Tabela 1 - Cronograma Executado
| Entrevistador(es) | Entrevistado(s) | Horário de Início | Horário de Fim | Data Executada | Tarefa | Local |
|---|---|---|---|---|---|---|
| Paulo Henrique | João | 10:20 | 10:32 | 24/01/2025 | Fazer um pedido no e-SIC | Campus UnB Gama, sala I3 |
| Paulo Henrique | Danilo | 13:15 | 13:30 | 24/01/2025 | Fazer um pedido no e-SIC | Campus UnB Gama, sala I2 |
| Paulo Henrique | Arthur | 13:45 | 14:00 | 24/01/2025 | Fazer um pedido no e-SIC | Campus UnB Gama, conteiner LAPPIS |
| Weverton Rodrigues | João | 10:20 | 10:32 | 24/01/2025 | Agendamento de Consulta Médica | Campus UnB Gama, sala I3 |
| Weverton Rodrigues | Danilo | 13:15 | 13:30 | 24/01/2025 | Agendamento de Consulta Médica | Campus UnB Gama, sala I2 |
| Weverton Rodrigues | Arthur | 13:45 | 14:00 | 24/01/2025 | Agendamento de Consulta Médica | Campus UnB Gama, conteiner LAPPIS |
| Rodrigo Wendrel | Luis | 14:50 | 15:00 | 24/01/2025 | Busca por licitação fracassada | Campus UnB Gama, conteiner EJ |
| Rodrigo Wendrel | Willian | 15:00 | 15:10 | 24/01/2025 | Busca por licitação fracassada | Campus UnB Gama, conteiner EJ |
| Rodrigo Wendrel | Rafael | 15:10 | 15:20 | 24/01/2025 | Busca por licitação fracassada | Campus UnB Gama, conteiner EJ |
| Necivaldo Amaral | Lucas | 16:10 | 16:20 | 04/02/2025 | Envio de Nota Fiscal de Serviço | Residência do entrevistado |
| Necivaldo Amaral | Layner | 16:10 | 16:20 | 04/02/2025 | Envio de Nota Fiscal de Serviço | Residência do entrevistado |
Autor: Weverton Rodrigues
Resultado da Avaliação - Fazer um pedido no e-SIC
Seleção dos participantes
Os participantes selecionados para a avaliação do protótipo de alta fidelidade da funcionalidade de fazer um pedido no e-SIC foram escolhidos com base no perfil de usuário conforme descrito no Planejamento da Avaliação dos Protótipos de Alta Fidelidade. Foram entrevistados 3 participantes, número recomendado por Krug1, com experiência intermediária/avançada em tecnologia. A seguir o roteiro utilizado durante a avaliação.
Roteiro - Fazer um pedido no e-SIC
- Passo 1: Acessar a página do e-SIC pela tela inicial;
- Passo 2: Na página do e-SIC, realize um pedido anônimo;
- Passo 3: Nos campos de preenchimento do formulário, insira as seguintes informações
Reside no município: Sim
Sexo: Não Informar
Escolaridade: Ensino superior
Faixa etária: De 18 a 24 anos
Resumo: Licitações escolares
Detalhamento: Quero ter acesso aos valores das licitações feitas para a escola do município entre os anos de 2020 até 2023.
Unidade desejada: secretarias - Passo 4: Cadastrar o pedido;
- Passo 5: Clicar em continuar.
A tabela a seguir apresenta as perguntas, e suas respectivas respostas, utilizadas pós-entrevista para avaliar a tarefa definida nesse escopo do protótipo de alta fidelidade com base nos objetivos de ideias e alternativas de design, conformidade com um padrão e problemas na interação e interface.
Tabela 2 - Respostas para Avaliação do Protótipo de Alta Fidelidade (Fazer um pedido no e-SIC)
| Objetivo | Pergunta | Resposta |
|---|---|---|
| Ideias e Alternativas de Design | 1. Qual das alternativas de design do protótipo de alta fidelidade é mais eficiente e fácil de aprender? | Todos os participantes optaram por acessar a página do e-SIC pelo componente "Mais Acessados" presente na tela inicial, visto que ela é a opção que menos exige esforço para ser aprendida. |
| Ideias e Alternativas de Design | 2. Qual alternativa de design os usuários preferem? Por quê? | Navegar pelo componente "Mais Acessados" e, na página do e-SIC, fazer um "Pedido Anônimo". O componente "Mais Acessados" por ser mais eficiente e intuitivo e "Pedido Anônimo" por trazer uma maior segurança, visto que não exige nenhum passo extra para realizar o pedido de transparência. |
| Ideias e Alternativas de Design | 3. Qual alternativa de design se espera que tenha um impacto negativo menor ao ser adotada? | A seção "Mais Acessados". |
| Conformidade com um padrão | 4. O site está de acordo com os padrões de acessibilidade do W3C? | Sim. |
| Conformidade com um padrão | 5. Os termos na interface seguem convenções estabelecidas no domínio? | Sim. |
| Conformidade com um padrão | 6. A interface segue algum padrão pré-estabelecido? | Sim, o protótipo segue as diretrizes do guia de estilo e os padrões de design pré-estabelecidos. |
| Problemas na Interação e Interface | 7. Os usuários conseguem operar o protótipo de alta fidelidade? Eles atingem seus objetivos de maneira eficiente? Com que frequência cometem erros? | Todos os participantes conseguiram operar a tarefa designada no protótipo de alta fidelidade com eficiência e sem erros. |
| Problemas na Interação e Interface | 8. Que parte da interface do protótipo de alta fidelidade deixa os usuários insatisfeitos ou causa confusão? | Não houveram partes na tarefa que deixaram os usuários insatisfeitos ou confusos. |
| Problemas na Interação e Interface | 9. Os usuários entendem claramente o que cada elemento do protótipo de alta fidelidade significa e o que devem fazer em seguida? | Sim, todos os participantes entenderam claramente os elementos presentes no protótipo. |
Autor: Paulo Henrique
Avaliação Heurística
Objetivo e método
A avaliação heurística teve como objetivo identificar problemas de usabilidade na realização da tarefa de fazer um pedido no e-SIC, usando como base as heurísticas propostas por Nielsen3. As heurísticas avaliadas foram selecionadas considerando a relevância para o contexto do protótipo e incluíram:
- Controle do usuário e liberdade: para avaliar se os usuários podem corrigir facilmente erros ou desfazer ações indesejadas;
- Prevenção de erros: para identificar possíveis problemas que possam levar a erros durante a interação;
- Reconhecimento em vez de memorização: para garantir que elementos da interface sejam intuitivos e não exijam esforço desnecessário de memória por parte dos usuários.
- Design estético e minimalista: para avaliar a clareza e simplicidade da interface, evitando elementos desnecessários ou confusos.
Resultados
Controle do usuário e liberdade: durante a avaliação não foram identificados problemas significativos. A formulário utilizado para enviar o pedido no e-SIC permite que os usuários corrijam facilmente erros e desfaçam ações indesejadas, garantindo uma experiência de uso satisfatória.
Prevenção de erros: a interface do protótipo apresentou um bom desempenho. A execução da tarefa não apresenta riscos significativos de erros, e os usuários conseguem completar a ação de forma eficiente e sem dificuldades.
Reconhecimento em vez de memorização: os elementos da interface são fáceis e intuitivos de serem compreendidos, não exigindo esforço desnecessário de memória por parte dos usuários. A navegação pelo protótipo é clara e direta, facilitando a interação e a conclusão da tarefa.
Design estético e minimalista: a interface do protótipo apresentou um design limpo e organizado, evitando elementos desnecessários ou confusos. A disposição dos elementos e a clareza das informações contribuem para uma experiência de uso agradável e eficiente.
Teste de Usabilidade
Métricas de Desempenho e Observações Qualitativas
Tabela 3 - Comparação de desempenho por usuário
| Entrevistado(s) | Tempo de execução (s) | Taxa de sucesso (%) | Taxa de erro (%) | Observações Qualitativas |
|---|---|---|---|---|
| João | 64s | 100% | 0% | Simples, tarefa bem direcionada, definida e clara para o usuário. |
| Danilo | 67s | 100% | 0% | Tarefa bem direcionada e fluída. |
| Arthur | 125s | 100% | 0% | Tarefa bem explícita visualmente. |
Autor: Paulo Henrique
Registro da avaliação
A seguir, são apresentados os registros em vídeo dos testes de usabilidade realizados com os três participantes. Cada vídeo captura a interação do usuário com o protótipo de alta fidelidade, permitindo uma análise mais detalhada do comportamento durante o processo de uso.
Entrevista 01: João
Entrevista 02: Danilo
Entrevista 03: Arthur
Resultado da Avaliação - Agendamento de Consulta Médica
Seleção dos participantes
Para a avaliação do protótipo de alta fidelidade da funcionalidade de Agendamento de Consulta Médica, foram convidados 6 participantes, incluindo alguns que já haviam contribuído em etapas anteriores do projeto. Destes, 3 estavam disponíveis, o que foi considerado suficiente, conforme previsto no Planejamento da Avaliação dos Protótipos de Alta Fidelidade, que recomendava um grupo reduzido para identificar problemas principais, alinhado à abordagem de Krug1.
Todos os participantes possuíam experiência intermediária ou avançada com tecnologia, sendo dois classificados como usuários secundários. O terceiro participante, apesar de não ter utilizado sistemas similares anteriormente, foi incluído para ampliar a diversidade de perspectivas e avaliar possíveis barreiras enfrentadas por usuários com esse perfil.
A seguir, o roteiro utilizado durante a avaliação.
Roteiro - Agendamento de consulta médica
- Passo 1: Acessar a página de agendamento de consulta médica;
- Passo 2: Preencher o formulário de agendamento
Nome: Felipe Paula Martins Silva
CPF: 482.937.643-09
nºCNS: 217.1234.5678.9102
CEP: 65600-000
Cidade: Nova Iorque
UF: MA
Especialidade: Cardiologia
Horário: 10:30
Data Desejada> 24 de janeiro de 2025 - Passo 3: Salvar o agendamento
A tabela a seguir apresenta as perguntas feitas pós entrevista e avaliação do rotótipo de alta fidelidade, abordando alternativas de design, conformidade com padrões e usabilidade.
Tabela 4 - Respostas para Avaliação do Protótipo de Alta Fidelidade
| Objetivo | Pergunta | Respostas |
|---|---|---|
| Ideias e Alternativas de Design | 1. Qual das alternativas de design do protótipo de alta fidelidade é mais eficiente e fácil de aprender? | Todos os participantes preferiram a navegação pela seção "Mais Acessados", considerando-a prática e fácil de aprender. |
| Ideias e Alternativas de Design | 2. Qual alternativa de design os usuários preferem? Por quê? | A navegação direta pela seção "Mais Acessados" foi considerada a mais eficiente e intuitiva. |
| Ideias e Alternativas de Design | 3. Qual alternativa de design se espera que tenha um impacto negativo menor ao ser adotada? | A solução de navegação direta pela seção "Mais Acessados" tem menor potencial de causar frustração. |
| Conformidade com um padrão | 4. O site está de acordo com os padrões de acessibilidade do W3C? | O protótipo está em conformidade com os padrões de acessibilidade do W3C. |
| Conformidade com um padrão | 5. Os termos na interface seguem convenções estabelecidas no domínio? | A terminologia utilizada segue as convenções estabelecidas no domínio e está clara para os usuários. |
| Conformidade com um padrão | 6. A interface segue algum padrão pré-estabelecido? | O protótipo segue as diretrizes do guia de estilo e os padrões de design pré-estabelecidos (exemplo: ePWG). |
| Problemas na Interação e Interface | 7. Os usuários conseguem operar o protótipo de alta fidelidade? Eles atingem seus objetivos de maneira eficiente? Com que frequência cometem erros? | Os participantes conseguiram operar o protótipo de forma eficiente, sem erros ou dificuldades. |
| Problemas na Interação e Interface | 8. Que parte da interface do protótipo de alta fidelidade deixa os usuários insatisfeitos ou causa confusão? | Danilo sugeriu melhorar a sinalização ou adicionar um campo de pesquisa na página de agendamento (especificamente na área de seleção da UBS mais próxima), pois ficou confuso ao selecionar a UBS no mapa. |
| Problemas na Interação e Interface. | 9. Os usuários entendem claramente o que cada elemento do protótipo de alta fidelidade significa e o que devem fazer em seguida? | Todos os participantes entenderam claramente os elementos da interface e as ações a serem realizadas. O feedback contínuo, como indicações no processo de agendamento, ajudou a manter os usuários informados e seguros sobre o andamento da tarefa. |
Autor: Weverton Rodrigues
Avaliação Heurística
Objetivo e método
A avaliação heurística teve como objetivo identificar problemas de usabilidade no protótipo de alta fidelidade da funcionalidade de Agendamento de Consulta Médica, com base nas heurísticas de Nielsen3. O foco principal foi verificar a aderência da interface a princípios fundamentais de usabilidade, assegurando uma experiência fluida e eficiente para os usuários.
As heurísticas avaliadas foram selecionadas considerando a relevância para o contexto do protótipo e incluíram:
- Visibilidade do estado do sistema: para verificar se o sistema fornece feedback adequado e em tempo real aos usuários durante a interação;
- Consistência e padronização: para assegurar que os elementos e interações seguem padrões previsíveis e consistentes;
- Controle e liberdade do usuário: para avaliar se os usuários podem corrigir facilmente erros ou desfazer ações indesejadas;
- Reconhecimento em vez de memorização: para garantir que elementos da interface sejam intuitivos e não exijam esforço desnecessário de memória por parte dos usuários;
A análise foi conduzida de forma individual, seguindo os passos recomendados para uma avaliação heurística. Cada aspecto da interface foi examinado em relação às heurísticas selecionadas, e os problemas identificados foram registrados e classificados quanto à severidade, natureza e impacto na experiência do usuário.
Resultados
Visibilidade do estado do sistema/Controle e liberdade do usuário: Durante a avaliação da heurística de Visibilidade do estado do sistema, não foram identificados problemas significativos. O protótipo proporciona feedback adequado durante a interação do usuário, permitindo que os usuários compreendam o status da tarefa sem dificuldades.
Consistência e padronização: A interface seguiu de maneira satisfatória os princípios de consistência e padronização, utilizando elementos e interações previsíveis, como botões de navegação, tipografia e cores consistentes ao longo de todo o protótipo.
Reconhecimento em vez de memorização: Em relação à heurística de Reconhecimento em vez de memorização, foi identificado um ponto de melhoria na área de seleção da UBS mais próxima, especificamente no mapa. Um entrevistado demonstrou confusão ao interagir com o mapa para escolher a UBS, o que pode ser considerado um obstáculo. O feedback sugeriu melhorar a sinalização ou incluir um campo de pesquisa para facilitar a localização.
Figura 1 - Tabela Reconhecimento em vez de Memorização
Autor: Weverton Rodrigues
Figura 2 - Imagem do Protótipo (Seleção de UBS no Mapa)
Autor: Weverton Rodrigues
Teste de Usabilidade
Métricas de Desempenho e Observações Qualitativas
A tabela a seguir apresenta o desempenho de cada entrevistado durante o teste de usabilidade, destacando o tempo de execução, a taxa de sucesso e a taxa de erro. Além disso, são registradas observações qualitativas que indicam áreas em que os usuários encontraram dificuldades ou pontos de confusão, como no caso do Danilo, que teve uma pequena dificuldade ao marcar a UBS no mapa, mas conseguiu completar a tarefa com sucesso.
Tabela 5 - Comparação de desempenho por usuário
| Entrevistado(s) | Tempo de execução (s) | Taxa de sucesso (%) | Taxa de erro (%) | Observações Qualitativas |
|---|---|---|---|---|
| João | 53s | 100% | 0% | - |
| Danilo | 59s | 100% | 0% | Encontrou dificuldade ao marcar a UBS no mapa, mas conseguiu completar a tarefa com sucesso. |
| Arthur | 62s | 100% | 0% | - |
Autor: Weverton Rodrigues
Registro da avaliação
A seguir, são apresentados os registros em vídeo dos testes de usabilidade realizados com os três participantes. Cada vídeo captura a interação do usuário com o protótipo de alta fidelidade, permitindo uma análise mais detalhada do comportamento durante o processo de uso.
Entrevista 01: João (Início no minuto 3:28)
Entrevista 02: Danilo (Início no minuto 2:30)
Entrevista 03: Arthur (Início no minuto 4:45)
Resultado da Avaliação - Busca por licitação fracassada
Seleção dos participantes
Os participantes selecionados para a avaliação do protótipo de alta fidelidade da funcionalidade de buscar por licitação fracassada foram escolhidos com base no perfil de usuário conforme descrito no Planejamento da Avaliação dos Protótipos de Alta Fidelidade. Foram entrevistados 3 participantes, número recomendado por Krug1, com experiência intermediária/avançada em tecnologia.
A seguir, o roteiro utilizado durante a avaliação.
Roteiro - Busca por licitação fracassada
- Passo 1: Acessar a página de licitações
- Passo 2: Filtrar os resultados
Ano: 2024
Modalidade: Pregão eletrônico Status: Fracassado Unidade: Secretaria Municipal de Educação - Passo 3: Escolher a licitação desejada
- Passo 4: Visualizar os detalhes da licitação
- Passo 5: Realizar o download no formato pdf
A tabela a seguir apresenta as perguntas, e suas respectivas respostas, utilizadas pós-entrevista para avaliar a tarefa definida nesse escopo do protótipo de alta fidelidade com base nos objetivos de ideias e alternativas de design, conformidade com um padrão e problemas na interação e interface.
Tabela 6 - Respostas para Avaliação do Protótipo de Alta Fidelidade
| Objetivo | Pergunta | Respostas |
|---|---|---|
| Ideias e Alternativas de Design | 1. Qual das alternativas de design do protótipo de alta fidelidade é mais eficiente e fácil de aprender? | Todos os participantes preferiram a navegação pela seção "Mais Acessados". |
| Ideias e Alternativas de Design | 2. Qual alternativa de design os usuários preferem? Por quê? | A seção "Mais Acessados" foi a mais intuitiva. |
| Ideias e Alternativas de Design | 3. Qual alternativa de design se espera que tenha um impacto negativo menor ao ser adotada? | A seção "Mais Acessados" se mostrou suficientemente boa para evitar frustrações por parte dos usuários. |
| Conformidade com um padrão | 4. O site está de acordo com os padrões de acessibilidade do W3C? | O protótipo está em conformidade com os padrões de acessibilidade do W3C. |
| Conformidade com um padrão | 5. Os termos na interface seguem convenções estabelecidas no domínio? | A terminologia utilizada segue as convenções estabelecidas no domínio e está clara para os usuários. |
| Conformidade com um padrão | 6. A interface segue algum padrão pré-estabelecido? | O protótipo segue as diretrizes do guia de estilo e os padrões de design pré-estabelecidos (exemplo: ePWG). |
| Problemas na Interação e Interface | 7. Os usuários conseguem operar o protótipo de alta fidelidade? Eles atingem seus objetivos de maneira eficiente? Com que frequência cometem erros? | Os participantes conseguiram operar o protótipo de forma eficiente sem erros mas com um ponto de dificuldade. |
| Problemas na Interação e Interface | 8. Que parte da interface do protótipo de alta fidelidade deixa os usuários insatisfeitos ou causa confusão? | Rafael identificou um problema na seleção de filtros |
| Problemas na Interação e Interface. | 9. Os usuários entendem claramente o que cada elemento do protótipo de alta fidelidade significa e o que devem fazer em seguida? | Todos os participantes entenderam claramente os elementos da interface e as ações a serem realizadas. |
Autor: Rodrigo Wendrel
Avaliação Heurística
Objetivo e método
A avaliação heurística teve como objetivo identificar problemas de usabilidade no protótipo de alta fidelidade da funcionalidade de Agendamento de Consulta Médica, com base nas heurísticas de Nielsen3. O foco principal foi verificar a aderência da interface a princípios fundamentais de usabilidade, assegurando uma experiência fluida e eficiente para os usuários.
As heurísticas avaliadas foram selecionadas considerando a relevância para o contexto do protótipo e incluíram:
- Visibilidade do estado do sistema: para verificar se o sistema fornece feedback adequado e em tempo real aos usuários durante a interação;
- Consistência e padronização: para assegurar que os elementos e interações seguem padrões previsíveis e consistentes;
- Controle e liberdade do usuário: para avaliar se os usuários podem corrigir facilmente erros ou desfazer ações indesejadas;
- Reconhecimento em vez de memorização: para garantir que elementos da interface sejam intuitivos e não exijam esforço desnecessário de memória por parte dos usuários;
A análise foi conduzida de forma individual, seguindo os passos recomendados para uma avaliação heurística. Cada aspecto da interface foi examinado em relação às heurísticas selecionadas, e os problemas identificados foram registrados e classificados quanto à severidade, natureza e impacto na experiência do usuário.
Resultados
Apenas a heurística de Consistência e Padronização foi violada por um erro de implementação mas que não impediu que os usuários concluíssem a tarefa.
Figura 3 - Tabela Consistência e padronização
Autor: Rodrigo Wendrel
Teste de Usabilidade
Métricas de Desempenho e Observações Qualitativas
Tabela 7 - Comparação de desempenho por usuário
| Entrevistado(s) | Tempo de execução (s) | Taxa de sucesso (%) | Taxa de erro (%) | Observações Qualitativas |
|---|---|---|---|---|
| luis | 98s | 100% | 0% | - |
| Willian | 118s | 100% | 0% | |
| Rafael | 60s | 100% | 0% | - Trouxe a questão dos filtros onde podem atrapalhar a experiência do usuário |
Autor: Rodrigo Wendrel
Registro da avaliação
A seguir, são apresentados os registros em vídeo dos testes de usabilidade realizados com os três participantes. Cada vídeo captura a interação do usuário com o protótipo de alta fidelidade, permitindo uma análise mais detalhada do comportamento durante o processo de uso.
Entrevista 01: Luis
Entrevista 02: Willian
Entrevista 03: Rafael
Resultado da Avaliação - Envio de Nota Fiscal
Seleção dos participantes
Os participantes selecionados para a avaliação do protótipo de alta fidelidade da funcionalidade de envio de nota fiscal foram escolhidos com base no perfil de usuário conforme descrito no Planejamento da Avaliação dos Protótipos de Alta Fidelidade. Foram entrevistados 2 participantes, número recomendado por Krug1, com experiência intermediária/avançada em tecnologia. A seguir o roteiro utilizado durante a avaliação.
Roteiro - Envio Nota Fiscal de Serviço
-
Passo 1: Acessar a página de Nota Fiscal
-
Passo 2: Realizar Login
-
Passo 3: Identificar os campos da nota fiscal
Prestador de serviço
Tomador de Serviço
Serviço Prestado
-
Passo 4: Realizar envio de nota fiscal
-
Passo 5: Receber confirmação com protocolo e opções para salvar, imprimir e retornar.
Tabela 7 - Respostas para Avaliação do Protótipo de Alta Fidelidade
| Objetivo | Pergunta | Respostas |
|---|---|---|
| Ideias e Alternativas de Design | 1. Qual das alternativas de design do protótipo de alta fidelidade é mais eficiente e fácil de aprender? | Todos os participantes preferiram a navegação pela seção "Mais Acessados". |
| Ideias e Alternativas de Design | 2. Qual alternativa de design os usuários preferem? Por quê? | A seção "Mais Acessados" foi a mais intuitiva. |
| Ideias e Alternativas de Design | 3. Qual alternativa de design se espera que tenha um impacto negativo menor ao ser adotada? | A seção "Mais Acessados" se mostrou suficientemente boa para evitar frustrações por parte dos usuários. |
| Conformidade com um padrão | 4. O site está de acordo com os padrões de acessibilidade do W3C? | O protótipo está em conformidade com os padrões de acessibilidade do W3C. |
| Conformidade com um padrão | 5. Os termos na interface seguem convenções estabelecidas no domínio? | A terminologia utilizada segue as convenções estabelecidas no domínio e está clara para os usuários. |
| Conformidade com um padrão | 6. A interface segue algum padrão pré-estabelecido? | O protótipo segue as diretrizes do guia de estilo e os padrões de design pré-estabelecidos (exemplo: ePWG). |
| Problemas na Interação e Interface | 7. Os usuários conseguem operar o protótipo de alta fidelidade? Eles atingem seus objetivos de maneira eficiente? Com que frequência cometem erros? | Os participantes conseguiram operar o protótipo de forma eficiente sem erros mas com um ponto de dificuldade. |
| Problemas na Interação e Interface | 8. Que parte da interface do protótipo de alta fidelidade deixa os usuários insatisfeitos ou causa confusão? | Lucas identificou um problema na visualização dos campos de formulário |
| Problemas na Interaç ão e Interface. | 9. Os usuários entendem claramente o que cada elemento do protótipo de alta fidelidade significa e o que devem fazer em seguida? | Todos os participantes entenderam claramente os elementos da interface e as ações a serem realizadas. |
Autor: Necivaldo Amaral
Avaliação Heurística
Objetivo e método
A avaliação heurística teve como objetivo identificar problemas de usabilidade no protótipo de alta fidelidade da funcionalidade de Envio de Nota Fiscal de Serviço, com base nas heurísticas de Nielsen3. O foco principal foi verificar a aderência da interface a princípios fundamentais de usabilidade, assegurando uma experiência fluida e eficiente para os usuários.
As heurísticas avaliadas foram selecionadas considerando a relevância para o contexto do protótipo e incluíram:
- Visibilidade do estado do sistema: para verificar se o sistema fornece feedback adequado e em tempo real aos usuários durante a interação;
- Consistência e padronização: para assegurar que os elementos e interações seguem padrões previsíveis e consistentes;
- Controle e liberdade do usuário: para avaliar se os usuários podem corrigir facilmente erros ou desfazer ações indesejadas;
- Reconhecimento em vez de memorização: para garantir que elementos da interface sejam intuitivos e não exijam esforço desnecessário de memória por parte dos usuários;
A análise foi conduzida de forma individual, seguindo os passos recomendados para uma avaliação heurística. Cada aspecto da interface foi examinado em relação às heurísticas selecionadas, e os problemas identificados foram registrados e classificados quanto à severidade, natureza e impacto na experiência do usuário.
Resultados
Apenas a heurística de Consistência e Padronização foi violada por um erro de implementação mas que não impediu que os usuários concluíssem a tarefa.
Figura 4 - Tabela Consistência e padronização
Autor: Necivaldo Amaral
Teste de Usabilidade
Métricas de Desempenho e Observações Qualitativas
Tabela 8 - Comparação de desempenho por usuário
| Entrevistado(s) | Tempo de execução (s) | Taxa de sucesso (%) | Taxa de erro (%) | Observações Qualitativas |
|---|---|---|---|---|
| lucas | 27s | 100% | 0% | Sugestão de melhoria: Aumentar contraste dos campos de formulário |
| layner | 25s | 100% | 0% |
Autor: Necivaldo Amaral
Registro da avaliação
A seguir, são apresentados os registros em vídeo dos testes de usabilidade realizados com os três participantes. Cada vídeo captura a interação do usuário com o protótipo de alta fidelidade, permitindo uma análise mais detalhada do comportamento durante o processo de uso.
Entrevista 01: Lucas
Entrevista 02: Layner
Análise dos Resultados
Neste tópico, apresentamos a análise dos resultados obtidos nas avaliações das funcionalidades testadas. As métricas analisadas incluem o tempo de execução, a taxa de sucesso e a taxa de erro. Para facilitar a compreensão, os resultados são ilustrados por meio de gráficos e tabelas, proporcionando uma visão clara do desempenho de cada funcionalidade, além de destacar possíveis áreas de melhoria para otimizar a experiência do usuário.
1. Tabela de Média e Desvio Padrão
A tabela complementa as informações apresentadas no gráfico, fornecendo um resumo detalhado dos dados de tempo de execução, taxa de sucesso e taxa de erro para cada funcionalidade. A análise dos resultados confirma que todas as funcionalidades tiveram um desempenho excelente em termos de taxa de sucesso e taxa de erro. Contudo, o tempo de execução e a variação de desempenho, especialmente para "Pedido e-SIC", sugerem que há oportunidades para otimizar o processo, tornando-o mais ágil e eficiente para os usuários.
Tabela 9 - Dados de Média e Desvio Padrão do Tempo de Execução, Taxa de Sucesso e Taxa de Erro
| Funcionalidade | Tempo de execução (s) - média | Tempo de execução (s) - desvio padrão | Taxa de sucesso (%) - média | Taxa de sucesso (%) - desvio padrão | Taxa de erros (%) - média | Taxa de erros (%) - desvio padrão |
|---|---|---|---|---|---|---|
| Fazer um pedido no e-SIC | 85.33 | 34.39 | 100 | 0 | 0 | 0 |
| Agendamento de consulta médica | 58 | 4.58 | 100 | 0 | 0 | 0 |
| Busca por licitação fracassada | 92 | 29.46 | 100 | 0 | 0 | 0 |
| Envio de Nota Fiscal de Serviçi | 26 | 1 | 100 | 0 | 0 | 0 |
Autor: Weverton Rodrigues
2. Tempo de Execução, Taxa de Sucesso e Taxa de Erro
Figura 4 - Gráfico de Comparação de Tempo de Execução, Taxa de Sucesso e Taxa de Erro
Autor: Weverton Rodrigues
O gráfico de barras apresenta a comparação entre o tempo de execução, a taxa de sucesso e a taxa de erro para as funcionalidades testadas. O "Agendamento de Consulta Médica" teve o menor tempo médio de execução (58 segundos), seguido por "Fazer um pedido no e-SIC" com 85,33 segundos e "Busca por Licitação Fracassada" com 92 segundos. A maior variação no tempo de execução foi observada em "Fazer um pedido no e-SIC", indicando que alguns usuários enfrentaram maior dificuldade para completar a tarefa. Todas as funcionalidades atingiram uma taxa de sucesso de 100%, evidenciando que os usuários conseguiram realizar as tarefas com êxito. Além disso, a taxa de erro foi de 0% para todas as funcionalidades, sugerindo que o protótipo foi intuitivo e sem falhas durante os testes.
Considerações finais
Os resultados obtidos indicam uma alta usabilidade das funcionalidades testadas. A taxa de sucesso de 100% e a taxa de erro de 0% para todas as tarefas demonstram que os usuários conseguiram realizar as ações propostas sem dificuldades. Contudo, o tempo de execução e a variação entre os participantes, especialmente para a funcionalidade "Fazer um pedido no e-SIC", sugerem que há oportunidades de melhoria na agilidade de algumas funcionalidades, em especial nas tarefas que exigem mais interações. O gráfico em radar também pode ser útil para ilustrar a comparação global entre as funcionalidades, facilitando a visualização das diferenças no desempenho.
Planejamento de reprojeto
Bibliografia
- BARBOSA, Simone Diniz Junqueira et al. Interação humano-computador e experiência do usuário. 1. ed. Rio de Janeiro: Simone Diniz Junqueira Barbosa, 2021. Capítulo 12: Métodos de Avaliação de IHC. Páginas 301-304. Autopublicação. ISBN: 978-65-00-19677-1.
- ROSA, José Guilherme Santa. Avaliação e Projeto No Deisng de Interfaces. 1. ed. Rio de Janeiro: Elsevier, 2010. Capítulo 8: Teste de Usabilidade.
- BARBOSA, Simone Diniz Junqueira et al. Interação humano-computador e experiência do usuário. 1. ed. Rio de Janeiro: Simone Diniz Junqueira Barbosa, 2021. Capítulo 12: Métodos de Avaliação de IHC, página 282. ISBN: 978-65-00-19677-1.
Referências Bibliográficas
Histórico de Versão
| Versão | Data | Autor(es) | Descrição | Data de Revisão | Revisor(es) |
|---|---|---|---|---|---|
| 1.0 | 24/01/2025 | Weverton Rodrigues | Criação do documento | 25/01/2025 | Paulo Henrique |
| 1.1 | 26/01/2025 | Paulo Henrique | Adicionando Resultado - Fazer um pedido no e-SIC | 26/01/2025 | Necivaldo Amaral |
| 1.2 | 26/01/2025 | Rodrigo Wendrel | Adicionando - Licitação Fracassada | 26/01/2025 | Weverton Rodrigues |
| 1.3 | 07/02/2025 | Necivaldo Amaral | Adicionando - Envio de nota fiscal | 07/02/2025 | Rodrigo Wendrel |