Planejamento da Avaliação
Introdução
O planejamento da avaliação, bem como seu processo é essencial para que com o desenvolvimento, seja possível alcançar um sistema e funcionalidades com maior grau de satisfação e alto desempenho. Com isso, para que as devidas Análises de Tarefas abordadas pelo grupo sejam corrigidas, se torna necessária a avaliação desse artefato. Como requisito do projeto e interações para recolhimento de dados do Corpo de Bombeiros Militar do Estado do Rio de Janeiro, serão realizadas entrevistas com usuários reais do produto, tendo como base os usuários que se enquadram no Perfil de Usuário, sendo assim possível avaliar sua perspectiva de forma dinâmica e direta.
Metodologia
No geral, o processo DECIDE foi aplicado para identificar e resolver problemas de usabilidade no CBMERJ, visando melhorar a experiência do usuário e atender às necessidades dos usuários de forma eficaz. Para realização do planejamento, será utilizado o framework DECIDE. A tabela 1 a seguir apresenta significado das respectivas letras.
Tabela 1 - Detalhando o DECIDE.
| Letra | Definição |
|---|---|
| D | Determinar os objetivos da avaliação. |
| E | Explorar perguntas a serem respondidas com a avaliação. |
| C | Escolher os métodos de avaliação a serem utilizados. |
| I | Identificar e administrar as questões práticas da avaliação. |
| D | Decidir como lidar com as questões éticas. |
| E | Avaliar, interpretar e apresentar os dados |
Fonte - BARBOSA e SILVA (2011).
D - Determine
Os objetivos desta avaliação são verificar se as funcionalidades desenvolvidas durante a Análise de Tarefas estão em conformidade com os padrões exigidos e identificar possíveis alternativas de design para a aplicação. Assim, a avaliação será utilizada para eliciar ideias e detectar problemas não identificados durante a análise de tarefas, que deverão ser implementados em uma nova versão das funcionalidades analisadas.
E - Explore
Dados os objetivos, foram elaboradas perguntas acerca do funcionamento e satisfação das funcinalidades, com foco em:
- Verificar a coerência e seguimento de um padrão
- comparar ideias e alternativas de design
Com a coleta de dados, as perguntas escolhidas devem ser respondidas pós avaliação e foram feitas com base no Captítulo 11 da literatura de Barbosa e Silva (2011, p.266)
São elas:
- Os diagramas HTA's possuem as notações corretas, legendas e a representação em tabela?
- Os diagramas representam tarefas condizentes com as funcionalidades esperadas para o site?
- As entrevistas permitem que sejam realizadas melhorias nas tarefas elucidadas pelo artefato de Análise de Tarefas?
C - Choose
Para realizar a avaliação, serão adaptados métodos de investigação, incluindo entrevistas e observação com usuários, utilizando um questionário como guia.
O questionário e observação se dão pelo fato de que, é possível que sejam coletadas diversas informações relevantes diretamente com o usuário, podendo buscar por questões mais específicas e objetivas. As entrevistas serão gravadas e documentadas para melhor tratamento de dados.
I - Identify
Recrutamento
Para o recrutamento das pessoas a serem entrevistadas, os usuários a serem escolhidos devem seguir as características do Perfil do Usuário e de personas. Serão 6 selecionados para as entrevistas, contendo a participação de todos os membros do grupo para alguma tarefa. É importante que todos do grupo tenham contato com o usuário real para melhor prosseguimento e resultado do projeto, sendo esse o motivo da quantidade de entrevistados.
Preparação
Os entrevistadores serão responsáveis por realizar as perguntas presentes no roteiro de perguntas a seguir e realizar as anotações sobre as respostas dos usuários. Essa entrevista deverá envolver alguma das atividades construída no artefato de análise de tarefas. Vale salientar que os papéis de entrevistador podem ser realizados por uma única pessoa ou por uma dupla onde cada um fica responsável por cada atividade (realizar as perguntas e coletar as respostas). O entrevistador deve requisitar do usuário que o mesmo compartilhe tela com o fim de poder realizar o método de observação do usuário.
Os entrevistadores deverão fazer as perguntas do roteiro a seguir e registrar as respostas dos usuários. Essa entrevista deve incluir uma das atividades descritas no artefato de Análise de Tarefas. É importante notar que o papel de entrevistador pode ser desempenhado por uma única pessoa ou por mais, onde uma pessoa faz as perguntas e a outra registra as respostas.
Custos
Sendo um projeto que não visa lucro ou custo direto, será realizada na própria universidade. Portanto, segue local, requisitos e as ferramentas que serão utilizadas:
- Faculdade do Gama UnB (FGA);
- Perguntas para serem respondidas com a avaliação;
- Perguntas para serem respondidas na entrevista;
- Termo de Consentimento;
- Teste Piloto;
- Diagrama HTA de cada Tarefa selecionada.
Os equipamentos utilizados devem ser dispositivos como aparelho celular e um notebook, para acesso ao site e gravação da entrevista, bem como recolhimento e anotação das informações coletadas.
Prazos
As datas, horários, entrevistadores e entrevistados estão listados abaixo na tabela 2, devidamente organizada conforme planejado.
- Entrevistador;
- Entrevistado;
- Horário de início e fim;
- Local e data que ocorreu a entrevista.
| Entrevistador(es) | Entrevistado(s) | Horário do Início | Horário do Fim | Data | Tarefa(s) | Local |
|---|---|---|---|---|---|---|
| Mariana Letícia | João Vitor Merlim | 12:00 | 12:30 | 28/05/2024 | Solicitar declaração de registro de ocorrência e | FGA |
| Daniela Alarcão | Bernardo Machado | 12:00 | 12:30 | 24/05/2024 | Agendamento de atendimento presencial | FGA |
| Pedro Henrique | Lucas Monteiro | 12:00 | 12:30 | 28/05/2024 | CB Cursos 2 | FGA |
| Lucas Avelar | Rafaella porto | 12:00 | 12:30 | 28/05/2024 | CB Cursos 1 | FGA |
| Bruna Lima | Liander Medeiros | 14:30 | 15:00 | 31/05/2024 | Solicitação de Ficha de Atendimento | FGA |
| Genilson | Marina Márcia | 15:10 | 15:50 | 31/05/2024 | Checar e Gerar Certificado de Vistoria | FGA |
Tabela 1: Cronograma planejado de entrevistas
Fonte: Mariana Letícia
Roteiro de Perguntas
Na entrevista será disponibilizado acesso ao site e uma forma de apresentar funcionalidades criadas e ainda não presentes no site. A tabela 3 a seguir mostra o roteiro de perguntas a serem realizadas na entrevista.
Tabela 3 - Roteiro de perguntas da entrevista.
| Número | Pergunta | Resposta Possíveis |
|---|---|---|
| 1 | Qual o seu nome? | Resposta Discursiva |
| 2 | Qual a sua idade? | Resposta Discursiva |
| 3 | Como avalia o seu grau de experiência tecnológica? | Resposta Discursiva |
| 5 | Já utilizou algum site similar ao CBMERJ? | Resposta Discursiva |
| 6 | Observando a tarefa de Solicitação de Ficha de Atendimento, a sequência de processos é coerente? Se não, poderia descrever o porquê? | Resposta Discursiva ⚠️ Mostrar a tarefa ao usuário e explicá-la. |
| 6.1 | Qual a sequência de passos que você realizaria para Solicitar a Ficha de Atendimento? | Resposta Discursiva ❗ Pular para pergunta 11. |
| 7 | O formulário de preenchimento de informações para obter a declaração do registro de ocorrencia tem uma organização de informações coerente? Por que? | Resposta Discursiva ⚠️ Mostrar a tarefa ao usuário e explicá-la. |
| 7.1 | A listagem e pesquisa de declarações é util ao usuário? Por que? | Resposta Discursiva ❗ Pular para pergunta 11. |
| 8 | Você acha interessante que, ao realizar um agendamento de atendimento presencial, o sistema apresente a rota do local em que será realizado o atendimento? | Resposta Discursiva ⚠️ Mostrar a tarefa ao usuário e explicá-la. ❗ Pular para pergunta 11. |
| 9 | Para você, o que deve conter em checar certificado no processo de espera? | Resposta Discursiva ❗ Pular para pergunta 11. |
| 10 | Você já fez algum curso on-line? | Resposta Discursiva ❗ Se Não, Pular para a pergunta 10.2. |
| 10.1 | Como foi sua experiência e ele teve a ver de ter segurança ou primeiros socorros? | Resposta Discursiva |
| 10.2 | O que você teria interesse de aprender no curso dos bombeiros? | Resposta Discursiva |
| 10.3 | Como você aprenderia melhor ou mais eficientemente? (videos, texto, slides, prática) | Resposta Discursiva |
| 10.4 | Em quanto tempo você gostaria de garantir o certificado? | Resposta Discursiva |
| 10.5 | Você tem alguma sugestão ou comentário sobre a funcionalidade de cursos online no site dos bombeiros? | Resposta Discursiva ⚠️ Mostrar a tarefa ao usuário e explicá-la. ❗ Pular para pergunta 11. |
| 11 | Você acha a funcionalidade interessante? | Resposta Discursiva |
| 12 | Você utilizaria tal funcionalidade? Porquê? | Resposta Discursiva |
| 13 | Sugestões/Melhorias | Resposta Discursiva |
| 14 | A sequência é coerente e funcional? | Resposta Discursiva |
Fonte - Bruna Lima, Daniela Alarcão, Genilson Junior, Lucas Avelar, Mariana Letícia e Pedro Henrique.
Execução do roteiro
As perguntas de 1 a 5 são perguntas iniciais que independem de alguma funcionalidade específica. De 6 a 10, estão divididas os questionamentos ditos necessários para cada funcionalidade específica entre os integrantes. As perguntas de 11 a 14 devem ser respondidas após a análise de cada funcionalidade, sendo respondidas para todas elas.
D - Decide
Utilizaremos o Termo de Consentimento juntamente com Aspectos Éticos, para a obtenção da permissão e devida autorização dos dados coletados, para que haja credibilidade, precisão e respeito durante e pós atividade.
E - Evaluate
Após a avaliação, os dados serão documentados e analisados, considerando o contexto em que foram coletados, e avaliando sua confiabilidade e representatividade para a população de usuários do site. Isso inclui registrar os problemas e dificuldades encontradas durante a interação, que podem envolver questões de usabilidade, funcionalidades ausentes e problemas de desempenho. Serão anotadas as descrições dos problemas, sua classificação, sugestões de melhoria, feedback dos usuários e, ao final das entrevistas, serão documentadas as observações gerais sobre a interação. Concluída essa etapa, os dados ficam disponíveis para serem trabalhados de melhor maneira, com o objetivo de fornecer o máximo de informações relevantes para o avanço do projeto.
Planejamento do Teste Piloto
De acordo com Barbosa e Silva (2011, p.276), a finalidade desse teste é examinar o próprio planejamento e determinar se a avaliação planejada gera os dados necessários para responder às questões e objetivos do estudo. O avaliador deve realizar o teste-piloto da mesma forma que uma sessão regular de avaliação. Isso permite ao avaliador verificar se a linguagem utilizada nas explicações e nos materiais fornecidos é clara e objetiva, bem como se esses materiais contêm informações adequadas e suficientes para guiar o participante durante a avaliação.
Um esclarecimento importante é que o teste piloto não será utilizado na coleta e interpretação de dados. Ele serve mais como um teste para valiar se a estruturação da entrevista é coerente ou não para obter dados e para entender sobre como tratar os entrevistados da melhor maneira possível.
A execução do teste-piloto será feito no dia 29/05/2024 às 12:00 e contará com a presença de todos os integrantes do grupo.
Resultado do Teste Piloto
O teste piloto, apesar de ser sido inicialmente marcado para o dia 29 de maio de 2024 às 12:00, pôde ser adiantado para o dia 25 de maio de 2024 às 09:30.
- O objetivo dessa teste foi verificar se a análise de tarefas está conforme com o que se espera da funcionalidade abordada.
- A metodologia para obter dados foi a de investigação por entrevista.
- Ele foi feito por Mariana Letícia, a entrevistadora e Genilson Junior, o entrevistado. O local da entrevista foi na FGA.
- Foram utilizados celular, computador, tripé para celular, folhas com o termo de concentimento e com o storyboard, lápis, papel e caneta. Ademais a entrevista foi gravada pelo Microsoft Teams.
Teste Piloto 1: Obter Declaração de Resgistro de Ocorrência - Mariana Letícia
Video 1: Teste Piloto de Obter Declaração de Resgistro de Ocorrência.
Fonte: Mariana Letícia, 2024.
Teste Piloto 2: Checar e Gerar Certificado - Genilson
Video 2: Teste Piloto de Checar e Gerar Certificado.
Fonte: Genlson Silva, 2024.
Referências Bibliográficas
1. BARBOSA, S. D. J.; SILVA, B. S. Interação Humano-Computador. Rio de Janeiro: Elsevier, 2011.
Histórico de Versões
| Versão | Data | Descrição | Autor(es) | Revisor(es) |
|---|---|---|---|---|
1.0 |
16/05/2024 | Criação da página | Mariana Letícia | Genilson Junior |
2.0 |
22/05/2024 | Adição do planejamento da avaliação | Genilson Junior | Daniela Alarcão |
3.0 |
25/05/2024 | Adição da gravação do teste piloto | Mariana Letícia | Bruna Lima |
4.0 |
07/07/2024 | Adição da gravação do teste piloto de Checar e Gerar Certificado | Genilson Silva | Mariana Letícia |