Quais são os resultados mais relevantes fornecidos pelo processo de avaliação de políticas públicas?

A resposta que define, de forma sintética, o porquê de se avaliar uma política pública é: saber se as mudanças propostas em seu desenho e objetivo foram alcançadas, ou não, e ainda ter a certeza de que as mudanças ocorridas podem ser atribuídas à existência do programa. Há uma tendência global em, ao invés de se mensurar a quantidade de insumo e produto gasto em um programa, como era feito, se avaliar o impacto do mesmo. Avaliar uma política é garantir que os programas atingiram objetivo de melhoria e bem estar.

A importância de se avaliar uma política pode ser definidas em três pontos básicos:

• São ferramentas para verificar e melhorar a qualidade, eficácia e efetividade das políticas públicas.
• Elas podem ser usadas para confirmarem se a política está sendo bem implementada em seu processo, para corrigir eventuais problemas e falhas, a fim de ter o maior resultado com o menor custo possível (maior custo-benefício) desde o começo ao fim do programa.
• Auxiliam outras políticas semelhantes ao redor do mundo, contribuindo com o desenvolvimento da Gestão Pública.

A avaliação de impacto do programa de transferência condicional de renda do México é um importante exemplo para demonstrar a importância de uma avaliação.

Na década de 1990, o governo do México inaugurou um programa de transferência condicional de renda, chamado de “Progresa”, mudando posteriormente para “Oportunidades” e depois “Prospera”. Os objetivos eram proporcionar às famílias de baixa renda um apoio financeiro de curto prazo e criar incentivos para investimentos no capital humano das crianças, principalmente ao fornecer transferências de dinheiro para mães de famílias pobres, com algumas condicionantes, de que seus filhos frequentassem regularmente a escola e fossem atendidos em um centro de saúde.

Desde o início do programa o governo considerou que seria essencial acompanhar e avaliar o programa. De forma resumida, os resultados mostraram que o programa estava bem focalizado nos pobres e havia gerado mudanças promissoras no capital humano das famílias. Concluiu-se que o programa tinha melhorado a matrícula escolar, com um aumento médio de escolaridade de 0,7 ano. A incidência de doenças nas crianças tinha diminuído 23%, e que entre os adultos houvera uma redução de 19% em dias perdidos de trabalho devido a doença ou incapacidade. Entre os resultados nutricionais, constatou-se também, que o programa tinha reduzido a probabilidade de nanismo em cerca de 1 centímetro por ano para crianças na faixa etária crítica de 12 a 36 meses.

A bem-sucedida avaliação do programa contribuiu também para a adoção de programas de transferência condicional de renda em todo o mundo (inclusive no Brasil, com o Programa Bolsa Família) e foi incorporado à legislação, no México, exigindo que todos os projetos sociais fossem avaliados.

Existem diversos tipos de avaliação de programas.A avaliação de necessidades (ex-ante) define e descreve a população alvo a ser atendida pelo programa e determina as políticas necessárias para a solução das necessidades. A diferença entre os resultados atuais e os resultados desejados. A avaliação teórica trata da explicação por trás das mudanças ocorridas por conta da existência do programa, falaremos com mais detalhes em um próximo texto. A avaliação de processos é realizada durante o funcionamento do programa e procura descrever se o desenho e os objetivos iniciais do programa estão sendo implementados da maneira correta, se os recursos estão sendo bem geridos, e se todo o programa está sendo posto em prática da maneira correta. A avaliação de eficiência trata da análise custo -benefício (ex-ante, anterior ao programa) do programa e do seu custo efetividade (ex-post, após o programa) do programa. Por fim, temos a avaliação de impacto, que será objeto de análise a seguir.

A avaliação de impacto é uma forma de mensurar os resultados que podem ser atribuídos à existência de um programa, além de permitir medir a sua eficiência e contabilizar o seu custo de oportunidade.

Resultado dos beneficiários depois de participarem do programa — Resultado que os mesmos obteriam no caso hipotético de não ter participado do programa = impacto do programa

Avaliar o impacto ajuda a melhorar o desenho dos programas sociais e aumentar a eficiência do gasto público. Permite também testar uma inovação no desenho para melhorar um programa existente. São resultados que envolvem aspectos quantitativos, quando trata de números, e qualitativos, quando a partir dos números cria-se uma teoria para explicar as mudanças ocorridas.

No processo de avaliação do programa são definidos dois grupos que serão o objeto de estudo do avaliador: grupo de controle e o grupo de tratamento. O grupo de controle será o contrafactual, ou seja, a situação alternativa que o grupo de tratamento estaria se não tivesse participado do programa em questão. A escolha de participação (quem, como) entre esses dois grupos pode variar com o programa e com o objetivo da avaliação, recursos e informações disponíveis. Os resultados gerados por uma avaliação de impacto são úteis quando as conclusões podem ser ampliadas para a aplicação de outra população de interesse e podem ainda ser replicadas para outros grupos além daqueles estudados na avaliação.

Uma etapa essencial para o processo de avaliação de impacto é o monitoramento durante a aplicação do programa, pois é fundamental para conferir se há participação ou não do beneficiário no programa e que os resultados obtidos e mensurados no final do programa serão consistentes, robustos e não enviesados.

Os resultados gerados pela avaliação de impacto guiam gestores e tomadores de decisão em um processo de escolha de qual política pública implementar, quando há semelhanças entre elas, a tomarem decisão baseado no melhor custo-benefício e em sua efetividade, e a decidirem também se devem prosseguir com uma política, reformular e dar continuidade ou encerrar o programa.

Avaliar uma política pública pode nem sempre valer a pena, como em programas pequenos em que a avaliação sairia num custo altamente elevado que inviabilizaria esse processo. Existe uma escolha entre os gestores e formuladores de políticas com o orçamento, entre ampliar o programa ou realizar uma avaliação de impacto, em casos como estes. Além disso ela deve ter validação externa.

(Gertler et al, 2018, p. 30) destacam as características que uma política pública deve ter para que seja realizada uma avaliação de impacto:

“• Inovadora. Ela testará uma abordagem nova e promissora.

• Replicável. Ela pode ser ampliada para vários grupos ou pode ser aplicada em uma configuração ou em um ambiente diferente.

• Estrategicamente relevante. As evidências fornecidas pela avaliação de impacto orientarão uma importante decisão referente à intervenção. Essa decisão pode estar relacionada à expansão do programa, à sua reformulação ou a alocações orçamentárias.

• Não testada. Pouco se sabe sobre a efetividade do programa ou sobre as formas alternativas de desenho do programa, tanto em nível mundial quanto em um contexto específico.

• Influente. Os resultados serão utilizados para fundamentar e orientar as decisões sobre políticas públicas.”

Ramon Tomaz, estudante de Economia, membro do Grupo de Estudos em Políticas Públicas da UFES.

REFERÊNCIAS

Todas informações aqui apresentadas têm por base o trabalho de Gertler, Paul J., Sebastián Martínez, Patrick Premand, Laura B. Rawlings e Christel M. J. Vermeersch. 2018. Avaliação de Impacto na Prática, segunda edição. Washington, DC: Banco Interamericano de Desenvolvimento e Banco Mundial. Licença: Creative Commons Attribution CC BY 3.0 IGO, que pode ser acessado em: https://openknowledge.worldbank.org/bitstream/handle/10986/2550/9781464800887.pdf.

Qual a importância do processo de avaliação das políticas públicas?

Quais os indicadores mais adequados para avaliar políticas públicas?

Quais critérios devem ser levados em consideração na avaliação de uma política pública?

Quais são os padrões de avaliação das políticas públicas?