Mensagens-chave:

• A avaliação é a última etapa do processo político, mas também é o momento em que o ciclo se reinicia com novas demandas, a partir dos resultados alcançados;
• É a fase menos adotada, pelas dificuldades inerentes ao processo de avaliação. E também é a fase onde a participação da sociedade é menor, mas ainda assim possível;
• São exemplos da participação da sociedade na etapa de avaliação: envolvimento em projetos de pesquisa e geração de dados, para ajudar a elucidar questões relativas a determinada política; parcerias com o governo ou uso de recursos governamentais de pesquisa na elaboração de estudos de avaliação; apoio na disseminação de estudos realizados pelo governo;
• A avaliação mais comum ao final do ciclo é a de impacto, que procura mensurar a efetividade de uma política;
• Idealmente, o processo de avaliação de uma política pública deve estar incorporado à prática governamental, para que as decisões sejam embasadas em evidências. Neste sentido, um exemplo bem-sucedido é o caso do Espírito Santo, que tem uma governança muito clara para avaliação de políticas, com diretrizes bem estabelecidas, guias e recomendações.

A última etapa do ciclo político abordada nesta série de cinco artigos é a  avaliação. Ela representa o momento onde o ciclo político se encerra, mas também recomeça a partir dos resultados deste processo. De forma geral é a fase menos adotada, pelas dificuldades inerentes ao processo de avaliação.

‍

O que é a avaliação e como ela se insere no ciclo político?

A avaliação pode ser entendida como um processo de análise do desempenho de um processo político em particular, por exemplo um programa ou uma política. Em última instância, a meta é avaliar se a política produziu os resultados desejados na população, de acordo com os objetivos definidos na sua formulação. Embora avaliação e pesquisa sejam coisas distintas, o fato de avaliações utilizarem métodos de pesquisa para análise da efetividade de uma política acaba associando esses dois termos. Por este motivo, apesar da pesquisa ser frequentemente associada ao processo de avaliação, ela pode ser utilizada em todo o ciclo.

A figura abaixo ilustra a dinâmica da utilização da pesquisa no ciclo político, a partir dos resultados obtidos das avaliações. Como o ciclo político é um processo contínuo, a fase da avaliação não representa o fim, como dito anteriormente. Ao contrário, os resultados obtidos podem gerar o início de um novo ciclo, novas perguntas, definição de novas questões na agenda governamental e necessidade de formulação de políticas - para solucionar os possíveis problemas encontrados ou ajustar a política às novas necessidades.

‍

A avaliação mais comum ao final do ciclo é a de impacto, que procura mensurar a efetividade da política. Porém, avaliações podem ser feitas ao longo de todo o processo da política. Neste caso, são utilizados diferentes tipos de análises . Para cada um deles, há diversas  perguntas norteadoras do processo avaliativo, e utilização de distintos métodos de pesquisa, que não serão discutidos aqui pois fogem ao escopo deste artigo. 

Vamos usar como exemplo o Programa Mais Médicos no Brasil, que foi criado com  o objetivo de incrementar a prestação de serviços médicos em regiões onde há escassez ou ausência desses profissionais, além de fomentar a formação de médicos especialistas em medicina de família e comunidade. Este programa foi redesenhado a partir da identificação de um problema - a falta de médicos na atenção primária em locais remotos ou com alta vulnerabilidade social. A partir da  necessidade identificada e da política desenhada para solucionar este problema, teríamos as seguintes avaliações em cada uma das etapas:

·         Avaliação de conteúdo: quais municípios precisam de médicos, qual a capacidade e necessidade de qualificação dos profissionais, entre outros.

·         Avaliação da implementação: como a implementação do programa está sendo feita, por exemplo, na questão da contratação de médicos, adesão dos municípios, aderência dos médicos ao programa, satisfação do usuário com o serviço etc.

·         Avaliação do impacto: podemos dividir essa avaliação em duas etapas.

Ø Curto prazo:

o   Aumento na cobertura de atenção primária nos municípios

o   Aumento no número de consultas

o   Aumento no número de visitas domiciliares

Ø  Médio e longo prazo:

o   Melhoria dos indicadores de saúde; por exemplo, hipertensão arterial e controle do diabetes.

o   Redução das hospitalizações por condições sensíveis à atenção ambulatorial, entre outros.

Idealmente, o processo de avaliação de uma política pública deve estar incorporado à prática governamental, para que as decisões sejam embasadas em evidências. O êxito de programas de monitoramento e avaliação ocorrem quando há reconhecimento, por parte do governo, da importância do uso desse tipo de programa em sua governança, incentivos e uma proximidade de sistemas dessa natureza dos decisores políticos.

Algumas unidades da Federação possuem uma governança muito clara para avaliação das políticas, com diretrizes bem estabelecidas, guias e recomendações para a avaliação, como o Espírito Santo. Neste estado, há parcerias com outros atores da sociedade, como organizações não governamentais e institutos de ensino, formando uma rede que trabalha conjuntamente para o processo de avaliação. Informações mais detalhadas sobre o modelo adotado no Espírito Santo podem ser acessadas no site do Instituto Jones dos Santos Neves vinculado à Secretaria de Desenvolvimento Econômico do estado e voltado à produção de conhecimento para subsidiar as políticas públicas em seus vários níveis.

A avaliação – incluindo aqui um sistema de monitoramento contínuo de todo o processo - contribui para a governança, pois as informações produzidas podem apoiar a tomada de decisões, auxiliar o desenvolvimento e aprimoramento de políticas e programas, auxiliar a gestão de atividades e incentivar maior transparência e prestação de contas. Além disso, deve ser orientada para as partes interessadas, e envolver, sempre que possível, governo, sociedade civil, entre outros atores importantes neste processo.

Como a sociedade pode participar do processo de avaliação de uma política?

Apesar das vantagens e de alguns bons exemplos, nem sempre o governo dispõe de uma estrutura organizada e com a participação de diversas esferas da sociedade. Além disso, a evidência é apenas mais um componente na tomada de decisão, mas não é o único, conforme discutido nos artigos anteriores. Considerando esta perspectiva, uma literatura mais recente tem trabalhado com a questão da participação social e abordagem argumentativa na lógica da avaliação. Em geral, a participação social é vista como um processo mais comum aos outros estágios do ciclo, principalmente definição da agenda e formulação da política, porém não no processo de avaliação.

Esta nova literatura parte do princípio de que a avaliação raramente segue uma lógica racional, onde um corpo independente realiza todo o processo avaliativo (definição do escopo, necessidades, coleta de dados e análise) e apresenta os resultados da política. Na prática, há uma multiplicidade de critérios e perspectivas sobre uma dada questão que deveriam ser considerados e que contribuem para um entendimento compartilhado dos vários ângulos que podem subsidiar uma avaliação.

Nesta abordagem, idealmente a avaliação política participativa envolve engajar uma diversidade de atores que afetam, ou são afetados por uma política ou programa no processo de avaliação. O objetivo seria, então, facilitar o diálogo entre vários atores da sociedade que atuam em advocacy na escolha de critérios de avaliação. Mas para além da escolha dos critérios de análise, a sociedade pode contribuir com o processo de avaliação e monitoramento de políticas de algumas formas. Aponto alguns exemplos da sociedade civil que podem servir de inspiração:

·         Envolvimento em projetos de pesquisa e geração de dados que possam contribuir para elucidar questões relativas a uma determinada política.

Ø  O Instituto Saúde e Sustentabilidade tem como missão transformar o conhecimento em ação para melhoria da vida nas cidades, com especial foco para a questão da poluição do ar. Ele atua no desenvolvimento de pesquisas próprias em conjunto com instituições acadêmicas, e atua na disseminação desses estudos em diversos meios (mídia impressa, televisiva, entre outros) e no uso dessas informações para subsidiar as ações de advocacy, especialmente para mudança de legislações relativas à qualidade do ar.

Ø  A criação de observatórios de patologias representa um importante instrumento das associações de pacientes para monitoramento e a avaliação das políticas, além da realização de estudos que possam ser usados como instrumentos de advocacy em outras fases do ciclo político. Aqui podemos citar o Observatório de Oncologia e de Esclerose Múltipla, criados pela Associação Brasileira de Linfoma e Leucemia (Abrale) e pelos Amigos Múltiplos pela Esclerose (AME), respectivamente.

·         Parcerias com o governo ou uso de recursos governamentais de pesquisa na elaboração de estudos de avaliação ou que que possam subsidiar a avaliação.

Ø  Muitas instituições trabalham diretamente com o governo ou via editais de pesquisa para avaliação de programas, como o Instituto Ayrton Senna (em parceria com o governo do Estado do Espirito Santo e o Insper), ou a Fundação Maria Cecília Souto Vidigal, que trabalha com recursos de editais da Fapesp, por exemplo, para avaliação de programas, e geração de conhecimento científico que ajude a influenciar as políticas no Brasil e “promover uma agenda nacional de pesquisas que atenda áreas pouco exploradas”.

Ø  O Observatório de Oncologia da Abrale, criado de forma independente do governo em 2015, acabou se tornando referência em dados sobre oncologia pelo próprio governo, sendo citado no Portal Brasileiro de Dados Abertos do governo federal como uma fonte de informações sobre o câncer.

·         Apoio na disseminação de estudos realizados pelo governo como suporte em ações de advocacy para melhoria das condições de vida da população atendida.

Ø  Os grupos da sociedade civil podem utilizar documentos e relatórios produzidos pelo próprio governo e seus órgãos de auditoria para disseminar as informações e fomentar discussões que possam contribuir para melhoria nas políticas públicas. Aqui podemos citar o exemplo da Federação Brasileira de Hemofilia (FBH) que, em 2009, realizou uma audiência pública na Comissão de Direitos Humanos do Senado para discutir mudanças na legislação sobre a compra de medicamentos. Nesta audiência, a FBH utilizou os dados do relatório de uma auditoria operacional realizada pelo Tribunal de Contas da União (TCU) em 2008 sobre os processos de compra, decisão e execução de orçamento para aquisição de fatores de coagulação. Esta auditoria foi motivada pelo desabastecimento no medicamento utilizado para tratamento dos pacientes com hemofilia A em 2008. As ações de advocacy originadas a partir deste relatório (como a realização da audiência pública no senado) contribuíram para a criação de um orçamento próprio para hemofilia a partir de 2011, garantindo a todos os pacientes o tratamento profilático.

Ø  Outro exemplo de ação de advocacy oriundo da utilização de documentos elaborados pelo próprio governo pode ser dado para o caso da oncologia. Em 2011, a publicação de uma auditoria operacional realizada também pelo TCU sobre a Política de Atenção Oncológica no Brasil constatou que os tempos de espera para diagnóstico e tratamento de câncer eram muito altos, o que contribuía para a elevada mortalidade dos pacientes. A publicação deste relatório impulsionou o trabalho de associações de pacientes como a Federação Brasileira de Instituições Filantrópicas de Apoio à Saúde da Mama (Femama), como o apoio e mobilização de suas afiliadas, à criação de um projeto de lei (a Lei dos 60 Dias, mencionada no artigo sobre implementação desta série) em conjunto com parlamentares para redução dos tempos entre diagnóstico e tratamento do câncer.

A sociedade civil também pode solicitar ao poder público que realize avaliações de políticas, ou trabalhar em parceria com instituições acadêmicas com sugestões sobre possíveis avaliações, a partir dos problemas enfrentados pelos seus públicos e fornecimento de dados que possam auxiliar a análise de programas e políticas. Para isto é importante que sejam capazes de gerar dados e informações sobre seus públicos.

Há uma diversidade de formas de participação social em todas as fases do ciclo político, como visto ao longo dos cinco artigos desta série. Aos grupos da sociedade cabe compreender o funcionamento do processo político, seus atores, e qual o objetivo a ser alcançado. Com isso se torna mais fácil identificar onde se encontram as questões de interesse no ciclo político, que tipos de estratégias podem ser utilizadas em cada contexto, o que deve ser feito para que se possa contribuir para uma sociedade mais justa, igualitária e mais participativa.

‍