Avaliação de impacto na sociedade civil: o problema das métricas fáceis

Imagina uma campanha nacional que reúne dezenas de organizações, gera milhares de assinaturas e ocupa espaço mediático durante semanas. Há conferências, comunicados, debates públicos e uma mobilização digital impressionante. No relatório final, os números são claros: milhares de ações realizadas, centenas de participantes envolvidos, dezenas de notícias publicadas.

Meses depois, nada de substantivo mudou na legislação. Nenhum artigo foi alterado. Nenhum regulamento foi revisto. Nenhum orçamento foi reorientado.

Formalmente, a campanha foi um sucesso. Politicamente, foi irrelevante.

Este cenário não é excecional. É um padrão recorrente na sociedade civil em Portugal. Medimos atividade como se fosse influência. Confundimos visibilidade com poder. E enquanto continuarmos a fazê-lo, continuaremos a produzir relatórios robustos e impacto estrutural limitado.

O que realmente está a ser medido na avaliação de impacto na sociedade civil

Se analisarmos com atenção os relatórios de avaliação de impacto produzidos por organizações da sociedade civil em Portugal, encontramos um padrão relativamente estável. A maioria dos indicadores reportados refere-se a volume de atividade: número de eventos realizados, participantes envolvidos, downloads efetuados, reuniões realizadas, comunicados emitidos, menções na imprensa ou alcance digital. Estes dados são apresentados como evidência de eficácia e, em muitos casos, são formalmente enquadrados como “impacto”.

Do ponto de vista administrativo, faz sentido. São métricas claras, quantificáveis e facilmente verificáveis por financiadores e auditores. Permitem demonstrar execução e justificar despesa. São compatíveis com grelhas de monitorização padronizadas e facilitam comparações entre projetos.

O problema não está na sua existência. Está na sua centralidade.

Nenhuma destas métricas responde, por si só, à pergunta decisiva: houve alteração concreta numa decisão política, administrativa ou regulatória? Algum decisor mudou o seu comportamento? Algum diploma foi revisto? Algum orçamento foi reorientado? Algum processo foi desbloqueado ou travado?

Quando essa dimensão não é medida, o setor corre o risco de confundir intensidade de atividade com capacidade de influência.

No âmbito do advocacy profissional, é útil distinguir três dimensões de avaliação que frequentemente se misturam, mas que não são equivalentes.

A primeira é a dimensão da ação. Diz respeito às atividades realizadas: eventos, relatórios, reuniões, campanhas, petições. É a dimensão operacional da estratégia. Sem ação, não há presença. Mas a ação, por si só, não produz necessariamente deslocamento de poder.

A segunda é a dimensão da mobilização. Refere-se ao envolvimento e crescimento da base social: número de apoiantes ativos, adesões sustentadas, participação consistente em iniciativas, capacidade de convocar pessoas quando necessário. A mobilização é um recurso estratégico relevante, sobretudo quando pode ser convertido em pressão organizada. No entanto, também aqui existe o risco de medir volume sem analisar eficácia política.

A terceira é a dimensão do poder. Esta é a mais difícil de medir e, simultaneamente, a mais relevante. Diz respeito à alteração de incentivos e ao comportamento de decisores concretos. Inclui compromissos assumidos publicamente, revisões de posicionamento institucional, integração de propostas em diplomas legais, criação de mecanismos formais de consulta ou mudança efetiva na formulação e implementação de políticas públicas.

As duas primeiras dimensões são importantes e, muitas vezes, pré-condições para a terceira. Mas apenas a dimensão do poder permite falar seriamente de influência política e de mudança estrutural. Sem deslocamento de poder, há atividade. Pode haver visibilidade. Pode até haver mobilização episódica. Mas não há transformação das regras do jogo.

O problema central não é que a sociedade civil em Portugal realize demasiadas ações. É que raramente estrutura a sua avaliação de impacto em torno da pergunta essencial: o que mudou no sistema de decisões? Enquanto essa pergunta não for central, a medição continuará a privilegiar o que é fácil de contar em vez do que é difícil de conquistar.

A economia política da avaliação: porque medimos o que medimos

O problema não é ignorância técnica nem ausência de dados. É estrutura de incentivos. Em Portugal, uma parte significativa da sociedade civil depende de financiamento público nacional, contratos-programa com entidades estatais ou fundos europeus enquadrados por programas como o Portugal 2030 ou o PRR. Estes mecanismos obedecem a regras de execução exigentes e altamente formalizadas, assentes em metas quantitativas previamente definidas, cronogramas rígidos e indicadores de desempenho que privilegiam previsibilidade e conformidade administrativa. O seu desenho responde a uma lógica legítima de controlo financeiro e prestação de contas, mas essa lógica não é neutra do ponto de vista estratégico.

Os sistemas de avaliação associados a estes financiamentos tendem a privilegiar indicadores facilmente mensuráveis e auditáveis: número de atividades realizadas, participantes envolvidos, produtos entregues, taxa de execução orçamental, cumprimento de metas físicas acordadas. Estes indicadores são adequados para aferir execução administrativa, mas raramente captam deslocamentos de poder, alteração de incentivos institucionais ou mudança efetiva em políticas públicas. A distinção é crítica: medir execução não é o mesmo que medir influência política.

É estruturalmente mais simples validar que uma organização realizou doze ações previstas no plano do que demonstrar que um decisor alterou o seu comportamento, que uma proposta foi incorporada num diploma ou que um processo regulatório foi reorientado. A segunda hipótese implica análise política contínua, monitorização qualitativa, leitura fina de contexto institucional e capacidade estratégica para identificar alterações subtis de posicionamento. Não se encaixa facilmente numa grelha padronizada de indicadores quantitativos. Por isso, tende a ficar fora dela.

Perante este enquadramento, as organizações adaptam-se de forma racional. Se a sustentabilidade financeira depende do cumprimento rigoroso de outputs previamente definidos, a energia organizacional desloca-se para garantir esses outputs. Se a prestação de contas é feita sobretudo com base em execução administrativa, o risco associado a objetivos políticos ambiciosos torna-se dissuasor. A consequência não é um setor incompetente, mas um setor estrategicamente condicionado pelos incentivos que o estruturam.

Cria-se, assim, um desalinhamento estrutural entre aquilo que é financiado e aquilo que seria necessário para produzir mudança estrutural. A accountability administrativa substitui, na prática, a accountability política. Os relatórios confirmam que as atividades foram realizadas conforme planeado; os financiadores validam que os recursos foram corretamente executados; o sistema cumpre os seus próprios critérios de sucesso. Entretanto, o equilíbrio de poder que sustenta determinadas políticas públicas permanece amplamente inalterado.

Enquanto os mecanismos de financiamento continuarem a privilegiar previsibilidade e execução formal em detrimento de capacidade estratégica e influência política demonstrável, medir atividade continuará a ser mais seguro do que medir poder. E o setor continuará a otimizar aquilo que é recompensado, mesmo que isso não seja o que transforma.

Outputs vs outcomes: a distinção que raramente fazemos (e porque a teoria da mudança é decisiva)

Uma das fragilidades mais persistentes na avaliação da sociedade civil em Portugal é a confusão entre outputs e outcomes. A distinção é conhecida na literatura de políticas públicas e avaliação de impacto, mas raramente é aplicada com rigor estratégico no campo do advocacy.

Outputs são os produtos diretos das atividades realizadas por uma organização. Um relatório publicado, uma reunião efetuada, um evento organizado, uma proposta formalmente submetida. São evidências de execução. Demonstram que houve ação, que recursos foram utilizados e que um plano foi cumprido.

Outcomes são alterações observáveis no comportamento ou nas decisões de atores externos. Um decisor assume publicamente um compromisso, um partido altera a sua posição programática, uma proposta é incorporada num diploma, um processo legislativo é iniciado ou bloqueado. Aqui já não estamos a falar do que a organização fez, mas do que mudou no sistema.

A diferença é estrutural. Outputs estão sob controlo direto da organização. Outcomes dependem da interação com um ecossistema político mais amplo, onde operam interesses, incentivos, constrangimentos institucionais e relações de poder. Medir outcomes é mais exigente porque implica assumir que o objetivo do trabalho não é produzir atividade, mas alterar decisões.

É aqui que a teoria da mudança se torna central. Uma teoria da mudança séria não é um diagrama formal para cumprir exigências de candidatura. É uma hipótese estratégica explícita sobre como determinada intervenção pode alterar o comportamento de atores relevantes e produzir transformação nas políticas públicas. Ela obriga a responder a perguntas fundamentais: que decisão concreta queremos influenciar? Que incentivos moldam esse decisor? Que sequência de ações pode alterar esses incentivos? Que sinais nos indicarão que o comportamento está a mudar?

Sem esta estrutura lógica, a organização tende a confundir meios com fins. A publicação de um relatório é tratada como impacto, quando na verdade é apenas um instrumento potencial de influência. A realização de uma conferência é apresentada como resultado, quando na verdade só tem valor estratégico se estiver integrada numa sequência que conduza a uma alteração de poder.

O problema na sociedade civil em Portugal não é a ausência formal de teoria da mudança. Muitos projetos incluem esse capítulo nas candidaturas. O problema é que, na prática, a teoria da mudança raramente estrutura a avaliação. O que é medido são os outputs previstos no plano de atividades, não a validade da hipótese estratégica subjacente.

Quando a avaliação de impacto se centra quase exclusivamente em outputs, o sistema envia um sinal claro: o que importa é executar. A influência política torna-se um efeito colateral desejável, mas não um critério de sucesso. Assim, chamar “impacto” a um conjunto de outputs é, na melhor das hipóteses, impreciso. Na pior, é autoindulgente.

Em advocacy, impacto só existe quando há alteração de incentivos, deslocamento de posições ou modificação concreta de decisões. Sem outcomes, há produção organizacional. Pode haver aprendizagem interna, pode haver visibilidade, pode haver mobilização pontual. Mas não há transformação estrutural.

Se queremos elevar o padrão da avaliação de impacto na sociedade civil em Portugal, a teoria da mudança tem de deixar de ser um requisito formal e passar a ser o eixo real de monitorização estratégica. Caso contrário, continuaremos a medir aquilo que controlamos e a ignorar aquilo que realmente define o sucesso: se o poder se moveu ou não.

O problema não é falta de evidência. É a forma como os incentivos moldam o que é medido

É frequente afirmar-se que a sociedade civil em Portugal sofre de défice de cultura de evidência. A crítica tem algum fundamento, mas não explica o núcleo do problema. O setor produz relatórios extensos, diagnósticos tecnicamente robustos, estudos comparativos e bases de dados detalhadas. Em muitas áreas, o conhecimento acumulado é significativo e sofisticado. O défice não está na produção de informação. Está naquilo que essa informação é chamada a demonstrar.

Avaliar nunca é um exercício neutro. O que se mede define prioridades, orienta recursos e molda comportamentos organizacionais. Num contexto em que grande parte das organizações depende de financiamento público ou europeu — frequentemente enquadrado por matrizes de indicadores pré-definidas, metas quantitativas e cronogramas rígidos — a lógica de avaliação tende a concentrar-se na execução formal. Cumprimento de atividades previstas, número de beneficiários alcançados, produtos entregues dentro do prazo, taxa de execução financeira. Estes critérios respondem a uma necessidade legítima de controlo e prestação de contas. Mas não captam, por regra, deslocamentos de poder ou alterações de decisões políticas.

O efeito não é imediato, mas cumulativo. Quando os critérios de sucesso privilegiam execução mensurável, as organizações especializam-se nessa dimensão. Desenvolvem sistemas internos eficazes de monitorização administrativa, aperfeiçoam a produção de relatórios e tornam-se competentes na gestão de indicadores quantificáveis. Em contrapartida, a capacidade de análise política, de leitura estratégica de processos decisórios e de monitorização de alterações institucionais tende a ser menos desenvolvida, porque não é essa a competência que determina renovação de financiamento ou reconhecimento formal.

Importa sublinhar que não estamos perante má-fé ou desinteresse por mudança estrutural. Trata-se de racionalidade organizacional. Num ambiente onde a previsibilidade é recompensada e o risco estratégico não é explicitamente valorizado, as organizações ajustam-se. Objetivos cuja concretização depende de fatores externos — como alteração de posicionamento de um ministério ou integração de propostas numa lei — são intrinsecamente mais incertos do que metas de execução interna. Quando a avaliação não distingue claramente entre estas duas dimensões, o foco desloca-se para aquilo que é controlável.

O resultado é um paradoxo estrutural. A sociedade civil em Portugal produz evidência abundante sobre problemas sociais e formula recomendações técnicas consistentes, mas raramente mede de forma sistemática a sua própria capacidade de alterar o equilíbrio de poder que sustenta esses problemas. Avalia-se o que foi feito, não o que foi transformado. Documenta-se atividade, mas não se testa de forma rigorosa a hipótese estratégica subjacente.

Assim, a questão central não é ausência de dados nem falta de competência técnica. É desalinhamento entre incentivos, avaliação de impacto e ambição de mudança estrutural. Enquanto os mecanismos de financiamento e validação continuarem a privilegiar execução administrativa sobre influência política demonstrável, a medição tenderá a concentrar-se no que é mais fácil provar(e não no que é mais difícil, mas decisivo, transformar.

O custo estratégico de medir atividade em vez de influência

A obsessão com métricas fáceis não é apenas um problema metodológico; é um problema estratégico com efeitos cumulativos na forma como a sociedade civil em Portugal se organiza e atua. Quando o sucesso é definido sobretudo por atividade realizada — relatórios entregues, eventos organizados, cronogramas cumpridos — as prioridades internas ajustam-se inevitavelmente a essa definição. Equipas passam a investir uma parte significativa do seu tempo em assegurar execução formal, em garantir que os indicadores acordados são atingidos e que os relatórios correspondem às expectativas administrativas. Mesmo quando existe consciência de que essas atividades não estão a alterar o equilíbrio de poder, a pressão por cumprir metas quantificáveis torna-se dominante.

Esta lógica tem um impacto direto na aprendizagem estratégica. Se o sucesso é medido pelo número de ações realizadas, a organização não é sistematicamente incentivada a analisar porque determinada intervenção falhou em influenciar um decisor ou porque uma estratégia de pressão não produziu efeitos. A avaliação deixa de ser um instrumento de ajuste político e transforma-se num exercício de conformidade. Em vez de perguntar “o que mudou na decisão?”, pergunta-se “quantas ações foram realizadas?”. A consequência é um empobrecimento da reflexão estratégica e uma menor capacidade de afinar intervenções futuras.

Há ainda um efeito menos visível, mas igualmente relevante: a redução do risco político. O advocacy implica, por definição, operar em arenas onde existem interesses concorrentes, assimetrias de poder e potencial conflito institucional. Envolve confronto, negociação, exposição pública e, por vezes, tensão com atores governamentais. Quando o sistema de avaliação privilegia métricas administrativas, torna-se possível cumprir objetivos formais evitando entrar nessas zonas de fricção. A organização pode apresentar um desempenho sólido sem ter assumido riscos reais de influência política. A previsibilidade administrativa substitui a ambição transformadora.

Com o tempo, esta dinâmica limita também a ambição estratégica. Se a organização sabe que será avaliada predominantemente por outputs, não tem incentivo estrutural para investir na construção de uma teoria da mudança robusta, orientada para transformação estrutural. Desenvolver essa teoria exige tempo, análise política aprofundada, identificação de alavancas de poder e disposição para enfrentar incerteza. Se esses elementos não são recompensados nos mecanismos de financiamento e avaliação, tenderão a ser secundarizados face à necessidade imediata de garantir execução mensurável.

O efeito acumulado destas dinâmicas é a consolidação de um setor que é visivelmente ativo, mas estruturalmente limitado na sua capacidade de influência política. A sociedade civil em Portugal torna-se presença constante no debate público, produtora regular de relatórios e organizadora frequente de iniciativas, mas raramente decisiva na configuração final das políticas públicas. Não por falta de competência ou compromisso, mas porque o sistema a incentiva a otimizar atividade em vez de poder.

Medir atividade pode dar sensação de progresso. Medir influência obriga a confrontar a realidade. Enquanto o setor continuar a privilegiar a primeira em detrimento da segunda, continuará a operar abaixo do seu potencial transformador

O que seria avaliar advocacy de forma séria

Avaliar advocacy de forma séria não é impossível. É simplesmente mais exigente do que contar atividades. Exige começar pela pergunta que muitas vezes é evitada: que alteração concreta queremos produzir nas políticas públicas? Enquanto esta pergunta não estiver claramente definida, qualquer sistema de avaliação corre o risco de medir esforço em vez de influência.

Uma avaliação robusta começa por clarificar o objetivo político específico. Não “sensibilizar para um tema”, mas alterar um artigo de lei, introduzir uma linha orçamental, modificar um regulamento, desbloquear um processo administrativo ou impedir a aprovação de uma medida adversa. A partir desse objetivo, a organização precisa de mapear o sistema de decisão: quem detém efetivamente poder formal ou informal? Que incentivos moldam a sua posição? Que constrangimentos institucionais condicionam a sua margem de manobra? Que alianças ou pressões podem alterar o seu cálculo político?

Sem este trabalho prévio, a avaliação é superficial porque não está ancorada numa teoria da mudança política explícita. Avaliar advocacy implica testar uma hipótese estratégica: acreditamos que determinada sequência de ações — mobilização, produção de evidência, reuniões institucionais, exposição mediática — pode alterar os incentivos de um decisor concreto. A monitorização deve então acompanhar sinais de deslocamento: mudança de linguagem oficial, abertura a negociação, incorporação parcial de propostas, criação de mecanismos formais de consulta, introdução de iniciativas legislativas ou reorientação orçamental.

Nenhum destes indicadores é tão simples de quantificar como o número de participantes num evento. Exigem análise qualitativa, leitura de contexto e capacidade para interpretar movimentos subtis no interior das instituições. Mas são estes indicadores que refletem poder. São estes que permitem afirmar, com rigor, que houve influência política.

A distinção entre ação, mobilização e poder ajuda a estruturar esta avaliação. A ação corresponde à dimensão operacional da estratégia; a mobilização à dimensão organizativa e de construção de base; o poder à dimensão política propriamente dita. As duas primeiras são meios. A terceira é o fim. Sem evidência de deslocamento na dimensão do poder, não podemos falar de mudança estrutural, por mais intensa que tenha sido a atividade desenvolvida.

O que está em causa não é técnica. É profissionalização

No fundo, o debate sobre avaliação é um debate sobre profissionalização da sociedade civil em Portugal. Enquanto advocacy for tratado como extensão da comunicação ou como mobilização episódica, a avaliação tenderá a concentrar-se em atividade visível. Quando advocacy é entendido como estratégia aplicada a sistemas institucionais concretos, a exigência sobe.

Profissionalizar advocacy significa desenvolver capacidade analítica sobre processos decisórios, compreender como se estruturam as políticas públicas, definir objetivos políticos específicos e sequenciar intervenções de forma coerente. Significa integrar mobilização com influência institucional, articulando pressão pública e negociação estratégica. E significa, sobretudo, aceitar que a avaliação de impacto deve estar orientada para alteração de poder e não apenas para produção de outputs.

Enquanto o setor continuar a confundir atividade com impacto, continuará a operar abaixo do seu potencial. A questão não é se a sociedade civil em Portugal tem boas causas ou pessoas comprometidas. A questão é se está disposta a elevar o padrão da sua prática, tratando advocacy como disciplina estratégica e avaliando-se de acordo com aquilo que realmente importa: se as decisões mudaram.

A necessidade de infraestrutura estratégica

Se aceitarmos que o problema não é falta de compromisso nem ausência de dados, mas sim desalinhamento estrutural entre incentivos, avaliação e ambição política, então a conclusão é inevitável: para produzir mudança estrutural em Portugal, a sociedade civil precisa de desenvolver infraestrutura estratégica.

Boas causas não são suficientes. Evidência técnica, por si só, também não. O que falta é capacidade organizada para operar de forma consistente no interior de sistemas de decisão complexos. Isso implica formação sólida em advocacy profissional, não como módulo periférico, mas como disciplina estratégica central. Implica domínio de ferramentas de análise de poder que permitam identificar decisores reais e compreender os seus incentivos. Implica metodologias robustas de teoria da mudança orientadas para deslocamento de influência política e não apenas para execução de atividades. E implica sistemas de avaliação desenhados desde o início para acompanhar outcomes políticos, mesmo quando estes são mais difíceis de capturar.

Nada disto acontece espontaneamente. Infraestrutura estratégica constrói-se. Requer investimento deliberado em capacidade organizacional, reflexão crítica sobre práticas instaladas e disposição para abandonar métricas confortáveis mas irrelevantes. Requer também uma cultura interna que valorize influência sobre visibilidade, impacto político sobre produção de atividade, qualidade estratégica sobre volume de ações.

A sociedade civil em Portugal já demonstrou competência técnica, criatividade e compromisso ético. O desafio agora é outro: consolidar capacidade estratégica. Não se trata de fazer mais. Trata-se de fazer com maior precisão política.

A obsessão com métricas fáceis não é um detalhe administrativo secundário. É um bloqueio estrutural que molda comportamentos, prioridades e ambições. Enquanto continuarmos a medir o que é simples em vez do que é decisivo, o setor continuará ativo mas marginal no desenho efetivo das políticas públicas. Participará no debate, produzirá relatórios, organizará eventos, mas raramente determinará o resultado final das decisões.

Reformular este padrão implica repensar a forma como entendemos avaliação de impacto, fortalecer a capacidade organizacional e tratar advocacy como aquilo que realmente é: uma disciplina estratégica aplicada a arenas de poder concretas. A mudança estrutural não nasce de relatórios bem formatados nem de indicadores facilmente auditáveis. Nasce da alteração de incentivos, da deslocação de posições e da transformação das regras que estruturam decisões.

Se queremos uma sociedade civil em Portugal que não seja apenas ativa, mas decisiva, temos de começar por medir aquilo que realmente conta: poder. E temos de organizar o setor para o construir de forma sistemática.