Ciclo de Avaliação
Overview
Avaliação é o processo de avaliar se o artefato produzido cumpre com seu propósito: se ajuda a resolver o problema, ou superar o desafio, que motivou o seu desenvolvimento.
O ciclo de Avaliação constitui-se de planejar o ciclo de avaliação de um ou mais artefato(s), considerando: método(s), amostra(s), instrumento(s), definição de indicadores, intervenções e interpretação e avaliação dos resultados.
No Mi9, o Ciclo de Desenvolvimento é composto por quatro atividades:
Planejar Intervenções
Definir Indicadores
Implementar Intervenções
Avaliar e Interpretar Resultados
No Quadro de Desenvolvimento, além das listas de atividades, há a lista de Ajuda, que contém materiais de apoio; e, a lista de Backlog, uma "lista de coisas a fazer", um repositório temporário das estórias homologadas do Ciclo de Desenvolvimento.
Neste quadro, os cartões surgem com natureza de estórias homologadas e, ao final do ciclo constituem-se em estórias avaliadas, em resposta a atender satisfatoriamente ou não ao problema ou desafio de origem.
E na prática, o Mi9 instanciado em uma ferramenta de gestão apresenta o ciclo de Avaliação em forma de Quadro composto por listas de cartões, e cada lista representa uma de suas atividades, que são detalhadas a seguir.
Fig. 1.1 - Fluxo do Processo de Avaliação
Planejar Intervenção (Planning Intervention)
Nesta atividade o time planeja a avaliação dos artefatos homologados considerando métodos, amostra e instrumentos, com a finalidade de verificar se o artefato atende satisfatoriamente ou não ao problema ou desafio de origem.
Entradas
Os artefatos homologados são revistos sob a reflexão: "o artefato resolve o problema ou ajuda a superar o desafio proposto?". Neste estágio, o time planeja "como avaliar" cada artefato em resposta à reflexão anterior.
Ferramentas e Técnicas
Neste estágio, benchmarking pode ser entendido como a pesquisa em outros ecossistemas ou projetos sobre quais intervenções poderão ser aplicadas para avaliar cada artefato homologado, como base de comparação para o ecossistema em questão. O time reflete sobre os resultados da pesquisa e define quais alternativas podem ser utilizadas ou adaptadas ao próprio contexto. Nesta reflexão, o time pode contar com a técnica de brainstorming (ou tempestade de ideias), em busca de outras alternativas após a pesquisa realizada em outros ecossistemas, considerando um tempo pré-fixado para cada membro pensar e expor suas ideias ao time, e, ao observar a lista de soluções, remover as duplicidades, é possível selecionar as mais adequadas ao contexto em questão.
A avaliação de artefatos pode contar com diversas técnicas, como entrevistas com as partes interessadas, aplicação de surveys (questionários) para a coleta estruturada de percepções sobre o artefato, observação do contexto organizacional, por exemplo.
Neste estágio é possível utilizar ferramentas e técnicas que auxiliem o time a estruturar e definir papéis e etapas da avaliação de cada artefato. O uso combinado da ferramenta 5W2H e da matriz RACI (confira o uso da matriz RACI também na atividade de desenvolvimento no ciclo de desenvolvimento), ajudam o time a descrever e documentar “o que será feito”, “por que será feito”, “quando será feito”, “onde será feito”, “quem fará” (aplicação da matriz RACI), “como será feito”, e “quanto irá gastar” na avaliação do artefato.
Saídas
O principal produto deste estágio é o planejamento das ações necessárias para avaliação do artefato homologado e a definição do papel de cada membro do time responsável pela avaliação.
Templates
Veja aqui o(s) template(s) recomendável(is) para esta atividade. Para aquele(s) que não possue(m) link de acesso, você pode buscar alternativas na internet. Posteriormente, poderemos incluí-lo(s) na seção.
Síntese
Entradas
Artefatos homologados.
Ferramentas e Técnicas
Benchmarking.
Brainstorming
Plano de Ação. Técnica 5W2H.
Matriz RACI.
Saídas
Plano de Intervenção para avaliar cada artefato homologado.
Definir Indicadores (Defining Indicators)
Para cada artefato que será avaliado, são definidas métricas e metas de referência que farão parte do ciclo e poderão ser reutilizados, para avaliação do artefato homologado.
Entradas
Com base no plano de intervenção para avaliar cada artefato do estágio anterior, o time busca definir indicadores que ajudarão a avaliar o artefato homologado com vistas a atender ao problema ou desafio que originou sua construção.
Ferramentas e Técnicas
Apesar de o plano de intervenção definir como a avaliação de um artefato será realizada pelo time, são necessárias técnicas focadas na definição das métricas e metas de referências. É possível que um mesmo plano de intervenção possa ser utilizado no ciclo de avaliação de artefatos distintos, porém as métricas e metas poderão ser distintas a cada artefato.
O time poderá buscar métricas e metas de referência em outros contextos, fazendo uso da técnica de benchmarking. Neste estágio, benchmarking pode ser entendido como a pesquisa em outros ecossistemas ou projetos sobre quais indicadores poderão ser utilizados como referência para avaliar cada artefato homologado, como base de comparação para o ecossistema em questão. Após esta comparação, o time pode contar com a técnica de brainstorming (ou tempestade de ideias), em busca de outras alternativas de métricas e metas, considerando um tempo pré-fixado para cada membro pensar e expor suas ideias ao time, e, ao observar a lista de soluções, remover as duplicidades, é possível selecionar as mais adequadas ao contexto em questão. Em seguida, o time define quais métricas e metas podem ser utilizadas ou adaptadas ao próprio contexto.
Saídas
O principal produto deste estágio é a definição de indicadores que permitirão a avaliação de um artefato haja vista a preocupação do time em saber se o mesmo atende ao problema ou desafio que originou a sua construção.
Templates
Veja aqui o(s) template(s) recomendável(is) para esta atividade. Para aquele(s) que não possui(em) link de acesso, você pode buscar alternativas na internet. Posteriormente, poderemos incluí-lo(s) na seção.
Síntese
Entradas
Plano de Intervenção para cada artefato homologado
Ferramentas e Técnicas
Benchmarking
Brainstorming
Saídas
Indicadores para avaliação do artefato homologado.
Implementar Intervenções (Intervening)
Neste estágio o time implementa intervenções que permitam a avaliação e interpretação dos resultados. O artefato pode ser submetido a diversas ferramentas e técnicas como um piloto, survey ou entrevistas, por exemplo. Portanto, este estágio trata-se da avaliação propriamente dita, conforme planejamento e com o uso de indicadores definidos no estágio anterior.
Entradas
A partir do planejamento e fazendo uso de indicadores, este estágio refere-se à avaliação de um artefato em resposta a atender ou não ao problema ou desafio que o originou. O planejamento orienta a aplicação das intervenções e os indicadores auxiliam na medição de referência sobre o artefato. Ambos permitem uma reflexão ao time de ações que podem ser aproveitadas ou não em outros contextos e artefatos.
Ferramentas e Técnicas
A avaliação de um artefato poderá ser realizada de diversas formas, como brainstorming, aplicação de piloto, survey e entrevistas, por exemplo.
Brainstorming: a partir de uma reunião do time com todos os atores envolvidos, é possível coletar opiniões sobre o artefato homologado.
Aplicação de Piloto: os stakeholders poderão utilizar o artefato na prática e expor suas percepções. O piloto pode acompanhar quaisquer das ferramentas de avaliação apresentadas.
Survey: um questionário pode captar percepções qualitativas e quantitativas de forma estruturada, é possível utilizar escalas numéricas, perguntas abertas e fechadas. Normalmente a coleta é realizada de forma individual.
Entrevistas: as entrevistas poderão ocorrer de forma estruturada (haja vista o uso de um protocolo de entrevistas com questões previamente estabelecidas) ou não estruturada, individual ou coletiva com as partes interessadas.
Grupo focal: um tipo de pesquisa que coleta opiniões sobre produtos e serviços. Costuma reunir em torno de 5 a 10 pessoas e um moderador que lidera a discussão apresentando tópicos sobre determinado assunto.
Saídas
O principal produto deste estágio é a avaliação de um artefato homologado, da qual o time reflete se o produto final resolve o problema ou ajuda a superar o desafio que o originou. Neste estágio o time captar percepções internas e de stakeholders sobre o quão eficiente o artefato é frente ao que se propõe resolver ou superar. Como este estágio enfatiza a aplicação da avaliação, o estágio a seguir trata-se então da interpretação dos resultados obtidos na avaliação.
Templates
Veja aqui o(s) template(s) recomendável(is) para esta atividade. Para aquele(s) que não possue(m) link de acesso, você pode buscar alternativas na internet. Posteriormente, poderemos incluí-lo(s) na seção.
Síntese
Entradas
Indicadores para avaliação do artefato homologado.
Plano de Intervenção para avaliar cada artefato homologado.
Ferramentas e Técnicas
Monitoramento e Controle do Plano de Intervenção
Aplicação de Piloto
Survey
Entrevistas
Grupo Focal
Saídas
Artefato avaliado.
Avaliar e Interpretar Resultados (Evaluating and Interpreting Results)
Este estágio se refere à avaliação, interpretação dos resultados e identificação de eventuais mudanças que poderão ser realizadas no modelo. O resultado do artefato avaliado deve responder se o mesmo atendeu satisfatoriamente ou não ao problema ou desafio de origem.
Para eventuais mudanças, o time pode contar com a elaboração de um Plano de Melhoria, para que outros artefatos recebam intervenções e possam atender de forma ágil ao seu propósito.
Entradas
A partir dos resultados da avaliação, o time busca compreender se o artefato atende satisfatoriamente o problema ou desafio que o originou. A discussão dos resultados poderá ser realizada pelo time em forma de reunião e, complementarmente poderá ser utilizada a técnica de brainstorming para que surjam alternativas de melhoria ao artefato ou ao alinhamento entre a definição do problema ou desafio e o artefato homologado para evitar que falte coerência entre o problema ou desafio e a solução, bem como retrabalho do time, em caso de produzir um artefato que não resolverá o problema ou não ajudará o time a superar o desafio proposto.
Ferramentas e Técnicas
O time se reúne para consolidar os resultados da avaliação do artefato e discuti-los. A discussão dos resultados poderá ser realizada em forma de reunião e, complementarmente poderá ser utilizada a técnica de brainstorming para que surjam alternativas de melhoria ao artefato ou ao alinhamento entre a definição do problema ou desafio e o artefato homologado para evitar que falte coerência entre o problema ou desafio e a solução, bem como retrabalho do time, no caso de produzir um artefato que não resolverá o problema ou não ajudará o time a superar o desafio proposto.
Outra técnica utilizada nesta atividade é o benchmarking. Após consolidar os resultados, o time pode compará-los a partir de uma pesquisa em outros ecossistemas ou projetos nos quais foram aplicadas intervenções semelhantes e foi possível inferir resultados satisfatórios para o contexto observado.
Além de coletar e consolidar os dados da avaliação de um ou mais artefatos homologados, o time reflete sobre a sua maturidade, em que e como pode melhorar o fluxo de trabalho nos próximos ciclos, bem como extrair as lições aprendidas de cada ciclo de trabalho.
Neste sentido, o plano de melhoria é o documento em que devem constar todas as percepções do time e, eventualmente dos stakeholders que participaram da avaliação, a fim de aprimorar o artefato e o ciclo avaliativo de um artefato.
Saídas
O principal produto deste estágio é o plano de melhoria visando a maturidade do time quanto às atividades do ciclo de avaliação. O time deve utilizar o plano de melhoria como um guia para implantar soluções para pontos críticos encontrados no presente estágio.
Templates
Veja aqui o(s) template(s) recomendável(is) para esta atividade. Para aquele(s) que não possue(m) link de acesso, você pode buscar alternativas na internet. Posteriormente, poderemos incluí-lo(s) na seção.
Plano de Melhoria
Síntese
Entradas
Artefato avaliado.
Ferramentas e Técnicas
Análise dos resultados.
Brainstorming.
Benchmarking.
Saídas
Plano de Melhoria.
Ficou com alguma dúvida?
Navegue pelas Perguntas Frequentes ou Envie-nos sua mensagem no Formulário de Contato.