Avaliando o que funciona e o que não funciona na construção da paz
Reflexões sobre monitoramento e avaliação de um “cara de M&A” que partiu
Por Andrew Blum, USIP
(Artigo original: USIP. 17 de junho de 2016)
Aqueles de nós que trabalham na construção da paz são constantemente lembrados de que os desafios que enfrentamos são grandes e os recursos que comandamos são pequenos. Portanto, há uma obrigação prática e ética de usar esses recursos com sabedoria e ter certeza de seu valor. Para isso, há pouco mais de quatro anos, o USIP me pediu para ser o primeiro diretor de aprendizagem e avaliação da organização. No fundo, minha descrição de trabalho era simples: ajudar o Instituto a usar evidências para fazer mais do que funciona e menos do que não funciona.
À medida que meu tempo na USIP termina e eu mudo para uma nova posição como diretora executiva do Instituto Joan B. Kroc para Paz e Justiça da Universidade de San Diego, gostaria de aproveitar a oportunidade para refletir sobre o que acertei, o que eu entendi de errado e o trabalho a fazer. Recentemente, a Fundação Ford publicou uma descrição de cargo para um diretor de estratégia, aprendizado e avaliação. Todos os dias vejo mais ofertas de emprego como esta, ilustrando o crescimento deste campo. Portanto, espero que essas reflexões rápidas de um futuro “cara de M&A” ajudem a todos aqueles que estão se movendo para essas novas posições, bem como aqueles que já estão trabalhando no desafio que assumi há quatro anos.
Três coisas que acertei
- Um foco na mudança organizacional: Melhorar a concepção, monitoramento, avaliação e aprendizagem do projeto requer fundamentalmente uma mudança organizacional profunda; não é apenas um desafio técnico. Por exemplo, uma das primeiras coisas que fizemos foi desenvolver um modelo para uma estrutura de monitoramento e avaliação. Mas muito poucas pessoas o usaram. Percebemos muito em breve que fornecer esse tipo de suporte técnico não funciona a menos que você trate de questões mais fundamentais. Por exemplo, se fornecermos recursos, existem mecanismos de responsabilização para garantir que sejam usados? Concentrar-se em questões organizacionais mais profundas significa, às vezes, que o progresso que fizemos parece lento, mas tem sido sustentado. Em contraste, algumas organizações tentam fazer mudanças abrangentes rapidamente na maneira como monitoram e avaliam os programas. Esses esforços frequentemente fracassam sob seu próprio peso, deixando a organização em pior situação do que quando começaram.
- Engajando Financiadores: Há uma tendência entre os implementadores de culpar os doadores pelos desafios na melhoria do monitoramento e avaliação, dizendo que eles são muito rígidos em seus requisitos e muito intolerantes ao fracasso para permitir monitoramento e avaliação (M&A) flexível, criativo e eficaz. Desde o início no USIP, nos comprometemos com a estratégia de envolver parceiros de financiamento, como agências governamentais, em questões de M&A. Os financiadores viram isso como positivo, e isso se provou crucial na criação de estratégias de M&A que atendam às necessidades de todos, permitindo o tipo de relatório honesto sobre os programas que leva ao verdadeiro aprendizado.
- Mais M, menos E: Desde o início, focamos mais no monitoramento do que na avaliação, por dois motivos. Em primeiro lugar, todos os esforços de avaliação requerem monitoramento rigoroso do projeto, o que, por sua vez, requer um design de projeto sólido e bem pensado. Em segundo lugar, uma vez que as equipes de projeto são responsáveis por elaborar e monitorar seus programas, elas também se tornam responsáveis por seu próprio M&A. Se tivéssemos feito avaliações no final do projeto, as equipes de origem poderiam ter mais facilmente descartado a tarefa como responsabilidade de outra pessoa, ou seja, minha equipe ou os consultores de avaliação externos.
Três coisas que eu gostaria de ter conhecido
- Priorize no início: Como o primeiro diretor de aprendizagem e avaliação da USIP, eu estava perfeitamente ciente de que precisava demonstrar meu valor aos meus colegas em programas, ajudando-os a resolver seus problemas. Uma métrica chave de sucesso que minha equipe e eu sempre usamos foi a demanda por nossos serviços. Mas isso torna muito difícil dizer não. E não dizer não leva a ser disperso e sempre reativo diante dos pedidos. Eu gostaria de ter trabalhado mais desde o início para priorizar e comunicar claramente um conjunto de prioridades estratégicas para a organização. Ao longo das linhas de, “isto é o que determinamos serem as áreas de foco mais estratégicas para melhorar o M&A no USIP, essas são as coisas em que podemos ajudá-lo, esses são os tipos de coisas que não faremos”.
- O problema da última milha: Subestimamos a importância e a dificuldade de coletar dados em nível local - para o USIP, isso geralmente significa em zonas de conflito. Repetidamente, vimos como fortes designs de projetos e estratégias de monitoramento foram prejudicados pelos desafios de coletar dados confiáveis e rigorosos de maneira contínua e econômica. Embora recentemente tenhamos priorizado a solução do que agora chamo de “problema da última milha”, deveríamos ter nos concentrado nisso antes, como parte de todas as nossas iniciativas de monitoramento de projeto.
- Estamos fazendo bem em relação ao que devemos fazer? Sempre considerei importante saber responder a dois tipos de perguntas. Primeiro, os programas do USIP estão causando impacto? Em segundo lugar, que tipo de programas devemos implementar? No início, presumi que ambas as perguntas poderiam ser respondidas com estratégias semelhantes. Acontece, entretanto, que a pergunta “o que devemos fazer” é ordens de magnitude mais difícil de responder e requer estratégias diferentes para responder. A avaliação em nível de projeto é importante, mas não suficiente para responder se, por exemplo, você deve investir mais em programas de diálogo comunitário ou reforma do setor de segurança. Além disso, o desafio da mudança organizacional também é diferente para a questão “o que devemos fazer”. Por exemplo, um especialista em diálogo comunitário está quase sempre disposto a trabalhar para tornar sua programação melhor. Esse especialista responde de maneira muito diferente se você estiver argumentando que a organização deveria estar fazendo menos diálogo com a comunidade - um argumento que ameaça sua identidade e seu sustento.
Três coisas a fazer
- Aproveitando os dados: Já disse várias vezes que a construção da paz é um empreendimento com escassez de dados. Coletar dados em ambientes de conflito politizados e perigosos é sempre difícil. Mas, como resultado dos esforços do USIP em monitoramento e avaliação, há muito mais dados fluindo por toda a organização. O próximo desafio é fazer um trabalho melhor de agregar, compartilhar, apresentar e alavancar essas informações em todo o Instituto. O USIP recentemente renovou seu compromisso de enfrentar esses desafios de gestão do conhecimento, mas para uma organização grande, complexa e madura como o USIP, a tarefa é um tanto assustadora e levará tempo.
- Programação Adaptativa: Há uma onda de discussões dentro da comunidade de construção da paz - e no campo do desenvolvimento de forma mais ampla - sobre como tornar a programação mais flexível e adaptável. O objetivo é garantir que os programas possam aprender à medida que avançam para responder aos ambientes complexos e em rápida mudança em que trabalhamos. Até o momento, entretanto, tem havido mais retórica sobre essas abordagens do que mudanças reais na forma como os programas são implementados. O próximo desafio é construir os sistemas e processos que realmente suportam a programação flexível, adaptativa e iterativa.
- Uma Teoria de Mudança Mais Forte: M&E só pode lhe contar uma parte da história. Uma avaliação, por exemplo, pode dizer se a confiança foi construída entre os grupos. Apenas uma teoria mais ampla de mudança sobre como a paz pode ser construída - e depois testá-la - pode dizer se esse aumento de confiança terá um impacto em uma paz mais ampla e na dinâmica do conflito. Isso requer a combinação de M&A e pesquisa aplicada para fornecer uma base de evidências mais firme para essa teoria da mudança. Isso permitirá que o USIP faça afirmações mais fortes sobre um impacto maior, por exemplo, nós construímos confiança e a confiança é importante para uma paz mais ampla e duradoura.
Um pensamento final, parecendo um pouco mais antigo do que quatro anos. Quando comecei a trabalhar com monitoramento e avaliação no campo da construção da paz, talvez 10 anos atrás, ainda havia um debate significativo em andamento sobre se o monitoramento e a avaliação tinham alguma relevância para o campo da construção da paz. Algumas pessoas argumentaram que a construção da paz é muito complexa, muito não linear, muito mais arte do que ciência para ser rigorosamente monitorada e avaliada.
Esta discussão acabou. A questão não é mais “se” devemos avaliar, mas “como”. Como avaliamos de maneiras que reconhecem as complexidades da construção da paz e, ao mesmo tempo, responsabilizamo-nos pela produção de resultados? Como conduzimos as avaliações de maneira econômica que forneça um retorno positivo sobre o investimento? Como avaliamos as formas de criar aprendizado e melhoria contínuos em nossos programas? Como nos responsabilizamos não apenas pelos financiadores, mas também perante nossos parceiros e as comunidades em que trabalhamos? Embora esteja deixando a USIP, continuarei trabalhando nessas questões, junto com meus incríveis, que em breve ex-colegas, e o resto da comunidade de construção da paz.
Andrew Blum é o vice-presidente cessante do USIP para planejamento, aprendizado e avaliação.
