Monitoramento, avaliação e aprendizagem no Painel do Rio Doce
Uma estratégia que avalia de forma abrangente influências diretas e indiretas das recomendações do Painel na reparação da bacia do Rio Doce
Monitorar as atividades de um projeto é essencial para acompanhar a performance de execução, identificar os resultados alcançados e eventuais pontos, em que há possibilidade de melhorá-los, e registrar as contribuições do projeto para alcançar sua missão. O Projeto Painel do Rio Doce tem uma estratégia de Monitoramento, Avaliação e Aprendizagem (MEL – Monitoring, Evaluation and Learning) consolidada que, além de estabelecer indicadores e metas de performance na execução de cada atividade, mensura sua efetividade e capta elementos que evidenciem a contribuição do Painel para a reparação da bacia do Rio Doce.
Por que ter uma estratégia de monitoramento, avaliação e aprendizagem?
Um projeto deve operar apoiado em uma estrutura lógica que permita descrever como um resultado esperado será alcançado por meio das atividades propostas. Apesar de parecer uma ideia bastante simples, a sequência atividade–resultado–impacto traz em si diversos pressupostos e apostas sobre como um projeto deve funcionar.
Os colaboradores do projeto realizam as atividades no tempo previsto e com a qualidade esperada? As atividades planejadas são capazes de alcançar o resultado esperado? Os resultados obtidos promovem a mudança esperada? Há outros atores envolvidos ou motores externos ao projeto que podem influenciar o resultado ou o impacto?
Com base em indicadores construídos especificamente para cada projeto, é possível acompanhar a execução das atividades previstas (por exemplo: a elaboração de um estudo) e seus resultados (como o alcance e a aceitação do estudo pelo público-alvo). Também se avalia o impacto dos resultados no projeto em relação à obtenção de metas e objetivos (por exemplo, como o estudo influencia as ações ou tomadas de decisão em políticas públicas).
O propósito do monitoramento constante é identificar eventuais pontos em que o projeto não está operando como previsto ou obtendo os resultados desejados, gerando uma oportunidade de gestão adaptativa para ele. Por exemplo, se os produtos e atividades não são entregues no tempo previsto, deve-se investigar o motivo dos atrasos e trabalhar para resolvê-los. Se as atividades estão sendo entregues, sem os resultados alcançados, o pressuposto de que elas são suficientes para atingi-los pode ser revisto. Se os resultados não estão gerando impactos concretos, além de rever as estimativas, é interessante verificar os motores externos que possivelmente alteraram o contexto para o qual o objetivo foi planejado.
Por esse motivo, o objetivo da estratégia é proporcionar a aprendizagem a todos os atores e colaboradores envolvidos, registrando as experiências construídas em conjunto e favorecendo a aprendizagem institucional, com elementos que podem ser aplicados em projetos futuros.
A estratégia de Monitoramento, Avaliação e Aprendizagem (MEL – sigla em inglês) do Painel do Rio Doce
O ponto de partida da estratégia de MEL do Painel do Rio Doce é a Teoria da Mudança (TdM), uma vez que ela descreve como o projeto traça as atividades executadas para gerar resultados, ou seja, como é esperado que esses resultados propiciem impactos concretos, e como esses impactos contribuem para a visão de longo prazo do Painel.
A TdM foi construída considerando o mapeamento dos atores envolvidos para alcançar os objetivos do projeto. Ela também identifica os pressupostos que o projeto assume quando descreve a forma por meio da qual pretende obter seus objetivos.
A TdM provê os elementos principais que norteiam a estratégia de monitoramento e a definição dos indicadores, que inclui:
- Produção e entrega dos produtos de conhecimento (estudos: Questões em Foco e Relatórios Temáticos) em relação aos planos de trabalho anuais acordados com a Fundação Renova.
- Atividades da União Internacional para a Conservação da Natureza (UICN) de suporte institucional, comunicação e monitoramento.
- Alcance dos produtos do conhecimento pelo público-alvo mapeado pelo Painel, como: dados de acesso ao site do Painel, por país; número de downloads dos estudos; menções ao trabalho do Painel em relatórios de organizações envolvidas na reparação; atas de reunião públicas; artigos da mídia; artigos científicos etc.
- Concordância e suporte dos atores às recomendações, por meio de interações e feedback direto da Fundação Renova e enquetes realizadas com os demais públicos com os quais o Painel interage.
- O uso das recomendações, identificadas nas interações diretas e no feedback da Fundação Renova, e também a investigação e a análise de informações secundárias, como relatórios de atividades de diversos atores, materiais de comunicação, atas de reunião e outros.
Além de monitorar como se dá a mudança da forma como é esperada, a estratégia de MEL utiliza ferramentas para avaliar influências não esperadas do trabalho em questão. O registro de influências pode ser preenchido por qualquer pessoa que atue no projeto quando percebe alguma evidência de que o trabalho do Painel tenha influência sobre qualquer ator.
Monitorando a execução, os resultados e os impactos do Projeto de acordo com os pontos anteriormente descritos, é possível fazer um acompanhamento estratégico do Projeto e da gestão adaptativa quando necessário. O acompanhamento contínuo do Projeto facilita a elaboração de relatórios necessários a vários níveis e evidencia os esforços realizados.
Com as informações obtidas com base nessa estratégia, é possível contar a história de influência do Projeto, registrando como as atividades executadas se desdobraram em resultados, a ponto de levarem ao alcance dos objetivos.
O que a estratégia de MEL nos apresentou sobre os resultados do Painel até agora?
- A Fundação Renova adotou e está implementando as recomendações do Painel sobre a construção de uma avaliação abrangente e sistemática dos impactos do rompimento.
- As publicações do Painel sobre a avaliação de impacto (Relatório Temático 1 e Questões em Foco 4) e sobre o clima (Relatório Temático 2) influenciaram e foram citadas no Plano de Recuperação da Bacia do Rio Paraopeba, em Brumadinho, atingida por um desastre semelhante.
- A comunidade acadêmica utiliza os trabalhos do Painel como referência para o desastre da barragem de Fundão: 18 citações em periódicos científicos desde 2019.
- O Painel contribuiu nas discussões para a elaboração de um Padrão Global de segurança para barragens de rejeitos, em especial em relação à necessidade de planos de ação pós-desastre.
- O site do Painel é amplamente acessado nacional e internacionalmente (de 10 a 12,6 mil acessos anuais) e os produtos do Painel em português e inglês já foram baixados por mais de 12 mil usuários.
Acesse os links para conferir o relatório de MEL de 2021(disponível em inglês) e dos anos anteriores.