Marianne Nassuno*

Avaliação de resultados e avaliação de satisfação do usuário-cidadão: elementos para reflexão

O

tema avaliação tem recebido destaque nos últimos anos nos processos de reforma do Estado conduzidos em diversos países, embora não seja recente nas preocupações dos governos. A atual ênfase sobre avaliação de desempenho integra uma agenda de reformas cujos elementos principais incluem maior flexibilidade para realização de atividades pelo governo, descentralização, devolução e privatização; maior atenção às necessidades e demandas dos usuários e reavaliação sobre o que os governos devem efetivamente realizar. A avaliação aparece como um elemento fundamental da capacidade de gestão do governo, que ao passar a atuar em associação e cooperação com os setores privados e sem fins lucrativos, assume os papéis de financiador, contratador, comprador ou regulador, necessitando medir e avaliar o desempenho para assegurar que as metas públicas se cumpram de forma efetiva (Caiden e Caiden, 1998). No governo federal brasileiro, a restruturação de todas as atividades em programas no Plano Plurianual Avança Brasil *

Este texto é a versão revista de um paper elaborado para ser apresentado no Painel Avaliação como subsídio para a tomada de decisão e transparência das ações governamentais: experiências do governo federal brasileiro, do VI Congresso Nacional do CLAD, realizado de 5 a 9 de novembro em Buenos Aires.

99

inclui novas demandas por avaliação no processo de planejamento federal explicitadas no Decreto n. 2.829, de 29 de outubro de 19981: “- Art. 5o Será realizada avaliação anual de consecução dos objetivos estratégicos do Governo Federal e dos resultados dos Programas, para subsidiar a elaboração de lei de diretrizes orçamentárias de cada exercício.” - Art. 6o A avaliação física e financeira dos programas e dos projetos e atividades que os constituem é inerente às responsabilidades da unidade responsável e tem por finalidade: I- aferir seu resultado, tendo como referência os objetivos e metas fixadas; II- subsidiar o processo de alocação de recursos públicos, a política de gastos públicos e a coordenação das ações de governo; III- evitar a dispersão e o desperdício de recursos públicos.” De acordo com o Manual de Elaboração e Gestão [Brasil, SPI/MP, 1999], a avaliação será feita em duas etapas: - avaliação do desempenho físico-financeiro dos programas, que estará sob a responsabilidade dos gerentes; - avaliação do conjunto dos programas em relação aos objetivos, diretrizes e macroobjetivos do governo, que será coordenada pela Secretaria de Planejamento e Investimentos Estratégicos do Ministério do Planejamento, Orçamento e Gestão. A primeira etapa, conduzida pelos gerentes, deverá propiciar o aperfeiçoamento do programa, de seus métodos e sistemas de gerenciamento. A segunda etapa será utilizada para 1

Estabelece as normas para a elaboração e execução do Plano Plurianual - PPA e dos Orçamentos da União.

100

apoiar decisões sobre o gerenciamento do PPA, para a elaboração do projeto de lei das diretrizes orçamentárias e a alocação de recursos, mediante créditos suplementares e a elaboração de lei orçamentária. No processo de avaliação de programas atualmente em curso no governo federal existe a intenção de que as informações obtidas no processo sejam utilizadas tanto para melhorias dos próprios programas quanto para a tomada de decisão relativa à alocação de recursos, bem como tendo em vista a prestação de conta das ações do governo para a sociedade. Adicionalmente, está sendo proposta a introdução de avaliação de satisfação do usuário com os serviços públicos federais. Foi editado o Decreto do Sistema Nacional de Avaliação da Satisfação do Usuário dos Serviços Públicos (n. 3.507, de 13 de junho de 2000), que dispõe sobre o estabelecimento de padrões de qualidade do atendimento prestado aos cidadãos pelos órgãos e entidades da Administração Pública Federal2. Todos os órgãos e entidades públicas federais deverão divulgar os resultados da avaliação de seu desempenho em relação aos padrões de qualidade do atendimento fixados, pelo menos uma vez por ano. A menção da avaliação, seja de resultados, seja da satisfação do usuário-cidadão, em documentos oficiais e a manifesta intenção de sua implementação no governo federal 2

Esses padrões deverão ser observados na prestação de todo serviço ao cidadão-usuário, avaliados periodicamente e divulgados ao público. Os padrões de qualidade devem estar relacionados a atenção, respeito e cortesia no tratamento ao usuário, a definição de prioridades para o atendimento, tempo de espera para o atendimento e prazo para o cumprimento dos serviços, mecanismos de comunicação com os usuários, entre outros.

101

representa uma importante sinalização política no sentido de valorizar e justificar os processos de avaliação, de fundamental importância para o permanente aperfeiçoamento das ações do setor público. Esses documentos, por terem a intenção de convencer e motivar os diversos atores para a realização de avaliação, dão a entender que esses processos geram uma quantidade de informações que podem ser utilizadas para objetivos amplos e os mais diversos possíveis. Tentativa de identificar e coletar dados de desempenho. When questions are directed toward improving program administration, certain data will be relevant. However, very different data will be relevant for decisions regarding whether or not a program should continue to receive funding at a steady level – or at all (Newcomer, 1997: 8). Também no que se refere aos diversos objetivos a serem atingidos por processos de avaliação, Weiss alerta que with all the possible uses for evaluation to serve, the evaluator has to make choices. The all-purpose evaluation is a myth. (…) Not even a well-planned study will provide information on all the questions from all the people involved (1998: 33). Já existe uma literatura significativa sobre avaliação de organizações e ações públicas. Manuais e textos que abordam o processo de avaliação de forma genérica tem um aspecto positivo no sentido de oferecer uma visão abrangente do tema considerado nos seus diversos aspectos. Entretanto, esse grau elevado de generalidade tem como contrapartida que esses textos geralmente são melhores em discutir problemas e limitações relacionados ao processo de avaliação do que propriamente formas concretas de implantação e soluções para os problemas. A despeito da crescente discussão a respeito do tema avaliação, ainda existem pontos sobre os quais ainda não houve 102

uma convergência de idéias. Autores e experiências divergem, entre outros, com relação aos aspectos que devem ser enfatizados na avaliação, os objetivos a alcançar e o que deve ser medido. Por essa razão, sem deixar de reconhecer os méritos práticos de manuais contendo listas de passos a serem seguidos para conduzir uma avaliação bem sucedida, entende-se que ainda é necessário mapear os argumentos colocados. Nem sempre as diversas visões são complementares, não podendo ser conciliadas. Existem também alguns aspectos em que as análises são contraditórias, indicando que este é um campo em que o debate público de idéias deve ainda ser incentivado. Isso porque, para a realização de avaliações específicas, “o demônio está nos detalhes”: é na implementação de processos de avaliação que se pode perceber que a concretização dos objetivos de avaliação elencados nos manuais não é possível, porque envolvem processos de avaliação, medidas e atores incompatíveis entre si. Se existe algum consenso sobre o tema, ele diz respeito, sobretudo, a aspectos gerais como o reconhecimento da importância e da necessidade de realizar avaliações, de que existem diversos obstáculos para a sua realização e de que não existe uma única forma de se medir o desempenho. Este texto, embora se mantenha no registro genérico, objetiva discutir os diversos objetivos geralmente associados à avaliação, com vistas a esclarecer que nem todos eles podem ser alcançados de forma simultânea e que cada um deles requer um processo específico de avaliação para que sejam alcançados. Entende-se que esta análise representa um passo além na discussão tradicional sobre avaliação na medida em que contribui para a formação de expectativas mais realistas sobre processos de avaliação, um dos fatores que pode garantir o seu sucesso (OCDE, 1999). 103

Tendo em vista que o desempenho é uma realidade socialmente construída e que os critérios para definir e avaliar o desempenho de um programa devem ser discutidos e acordados entre o grupo de atores com autoridade, responsabilidade e interesse sobre a realização do programa, uma maior clareza sobre a relação existente entre os objetivos da avaliação e o processo de avaliação específico necessário para alcançá-los pode contribuir para que o consenso entre os atores seja construído de forma mais informada e sobre bases mais sólidas. La experiencia ha mostrado que las medidas del desempeño y la evaluación deberían ser adecuadas a la tarea, y que la aceptabilidad y la implementación se ven facilitadas allí donde aquellos afectados por las medidas y aquellos que podrían hacer uso de ellas se encuentran activamente involucrados en el diseño de las mismas (Caiden e Caiden, 1998: 68). Sem pretender fazer uma resenha exaustiva, são apresentados alguns aspectos relacionados à avaliação de desempenho de programas e instituições públicas que têm sido destacados na literatura recente, com vista a contribuir para uma maior clareza conceitual a respeito do tema. As idéias dos autores consultados serão organizadas nos seguintes itens: objetivo proposto para a avaliação, o que deve ser avaliado, quem participa da avaliação, tendo em vista a centralidade desses fatores para o desenvolvimento da avaliação. Nem todos os textos dos autores utilizados contemplam as três categorias de análise.

OBJETIVOS DA AVALIAÇÃO Dentre os objetivos mencionados na literatura sobre a avaliação destacam-se: subsidiar a tomada de decisão 104

relativa à alocação de recursos orçamentários; promover a melhoria da gestão de programas, das organizações públicas e do governo como um todo; aperfeiçoar a qualidade dos serviços públicos, aumentando o nível de satisfação dos usuários; proporcionar o acompanhamento das ações descentralizadas; aumentar a accountability e transparência das ações do governo; e contribuir para um processo de aprendizagem3. Esses objetivos não representam elementos estanques podendo apresentar diversas inter-relações. Por exemplo, processos de melhoria na gestão resultam também em aprendizado das equipes envolvidas. Informações sobre a qualidade dos serviços prestados podem ser utilizadas na prestação de contas à sociedade sobre o desempenho do governo, bem como na decisão relativa à alocação de recursos orçamentários. Entretanto, foram considerados separadamente para poder-se ressaltar as suas especificidades. A distribuição dos recursos e o uso dos recursos disponíveis podem ser aperfeiçoados com informações resultantes de avaliação, uma vez que auxilia a identificar meios mais eficientes e eficazes de se alcançar os resultados desejados e contribui para estabelecer o nível adequado de recursos para os programas, inclusive tendo em vista a realização de cortes orçamentários (OCDE, 1999). 3

Weiss (1998) diferencia os objetivos de processos de avaliação de forma mais agregada, entre aqueles que tem um caráter instrumental, ou seja, estão voltados para apoiar a tomada de decisão, e os que estão voltados para o processo de aprendizagem organizacional. Neste texto optou-se por fazer uma distinção mais detalhada entre os objetivos instrumentais por entender-se que eles envolvem processos de avaliação diferenciados, conforme será comentado a seguir.

105

Medidas de desempenho foram incorporadas inicialmente na elaboração e apresentação dos orçamentos com vistas a substituir o processo orçamentário tradicional pelo orçamento baseado em desempenho. O alcance das metas pelas instituições públicas passou a ser utilizado como um critério para decidir futuras alocações de recursos. Segundo Osborne e Gaebler (1994), avaliação é importante porque permite prever os resultados a serem alcançados segundo o montante de recursos investidos; distinguir o sucesso do insucesso; antecipar os resultados de um corte de gastos. A identificação dos programas bem sucedidos possibilita que decisões dos legisladores e executivos públicos se baseiem em critérios não apenas políticos e oferece indicações sobre em que programas aplicar recursos caso se queira aumentar esforços em determinado setor. De acordo com Joyce (1997), a utilização de informações sobre desempenho no processo orçamentário é um objetivo desejável, mas difícil de ser alcançado na prática. Enfrenta três desafios básicos: na definição de objetivos claros para os programas de forma a que possam ser administrados efetivamente pelos gerentes e avaliados; na obtenção das medidas necessárias para a realização da avaliação e na utilização dos resultados das avaliações no processo de alocação de recursos do governo. A possibilidade de medir desempenho está intrinsecamente ligada a uma compreensão clara sobre os objetivos que determinada instituição ou programa estão procurando alcançar. A tarefa de estabelecer objetivos claros é complexa no setor público por que o contexto em que opera envolve diversos atores, que podem não estar de acordo. Most program managers exist in an environment that is rife with goal ambiguity. Conflicting or ambiguous signals may be sent in 106

legislation, and important actors, such as elected officials, political executives, legislative bodies (which rarely, if ever, speak with one voice), professional and scientific organizations, and citizens may not be of much help in clarifying matters (Joyce, 1997: 51). A natureza pública dos programas do governo contribui para dificultar o acordo sobre os seus objetivos. Muitas vezes, os objetivos são definidos de forma ambígua ou são excessivamente contraditórios para que se consiga alcançar o necessário consenso para sua aprovação. But this necessary consensus-building device is inefficient. It impedes the ability of agency managers to have precise guidance concerning what elected officials want out of a program (Joyce, 1997: 52). A despeito dessas dificuldades, Joyce ressalta que na prática, a ambigüidade de objetivos é superada pelos gerentes. Managers fill in the details as best they can, often by trying to determine whose signals are most crucial to follow (1997: 52). Joyce (1997) faz referência a experiências passadas com orçamento por programas (PPBS – Planning-programmingbudgeting system) e orçamento base zero para avaliar a possibilidade de que a informação sobre desempenho venha a ser utilizada no processo orçamentário. Segundo o autor, essas inovações mostraram-se contrárias ao processo orçamentário tradicional incremental, tendo enfrentado resistências dos atores cujos interesses estavam a ele associados. No caso do PPBS, mais especificamente, foram enfrentadas dificuldades devido ao fato de que os dirigentes não estavam comprometidos inteiramente com o processo, o sistema político não pôde lidar com a quantidade de conflito gerada pela intenção de promover a revisão de todas as atividades a cada ano, o PPBS era basicamente um sistema orçamentário do executivo e ignorou amplamente ao papel do Congresso no processo orçamentário. 107

Adicionalmente, mesmo que haja um acordo entre o Legislativo e o Executivo sobre a orçamentação por resultados, persiste um dilema fundamental relativo a como utilizar medidas de desempenho para alocar recursos. Não se pode simplesmente premiar as instituições que apresentaram bom desempenho e retirar recursos das que tiveram mau desempenho: é necessário entender os fatores que contribuíram para o desempenho alcançado4. Caiden e Caiden (1998) também reforçam este ponto ao destacar o fato de que a alocação de recursos orçamentários é um processo político e de que a utilização de medidas de desempenho para a definição dos orçamentos não é um processo tecnicamente simples. Se um programa está tendo um mau desempenho e apresenta poucos resultados, isto significa que deve ser interrompido ou que um montante maior de recursos deve ser alocado para melhorá-lo? Ou, ao contrário, se um programa está alcançando seu objetivos deve receber mais recursos para fazer um trabalho ainda melhor ou seus recursos deveriam ser cortados com a presunção de que já alcançou seus objetivos? Analisando a experiência recente do governo norteamericano com orçamento por resultados, Joyce (1997) afirma que não existe evidência de utilização de resultados de avaliação de desempenho para alocação de recursos no governo como um 4

Joyce (1997) ressalta também que a existência informação sobre o desempenho pode esclarecer sobre as perdas e ganhos associados à escolha entre dois programas concorrentes, tornando a decisão mais fundamentada. Mas, nem por isso, a escolha entre eles será facilitada. “For example, if the choice was between a job-training and a air pollution program, we might know that adding $100 million more to the budget or the Environmental Protection Agency would make the air cleaner by x amount while costing y amount of lost wages from workers who had not been trained” (Joyce, 1997: 55).

108

todo. Tal fato, entretanto, não minimiza o importante papel das medidas de desempenho no apoio da gestão de um volume de recursos relativamente fixo e no esclarecimento aos tomadores de decisão sobre a relação existente entre os resultados a serem alcançados a partir de uma determinada quantidade de insumos. Zapico-Goñi (2001) menciona estudo de Gray e outros na análise dos resultados da integração entre avaliação e o processo orçamentário em experiências práticas de países desenvolvidos. Segundo o estudo, as atividades de avaliação e orçamentação têm requisitos funcionais, organizacionais, informacionais e sócioorganizacionais, que podem dificultar a sua integração. Na maioria dos casos estudados, não se encontram evidências que mostrem a existência de coerência funcional entre o orçamento e a avaliação de políticas públicas: la assignación de recursos presupuestarios está movida por uma convicción doctrinal (ideologia de mercado) más que por um esfuerzo de concepción o evaluación de las políticas públicas” (Zapico-Goñi, 2001: 63). Adicionalmente, para que os resultados da avaliação sejam integrados no processo orçamentário é necessário que haja uma divisão clara e coerente de papéis entre as instituições que participam do processo orçamentário, o compartilhamento de sistemas de informação e comunicação e acesso a bases de dados coerentes e compatíveis, além do desenvolvimento de uma cultura profissional e administrativa semelhante que permita a cooperação entre as diferentes comunidades de especialistas. A despeito das dificuldades de operacionalização e dos resultados pouco auspiciosos dos processos analisados, ZapicoGoñi (2001) acredita que a integração da avaliação com o orçamento traz recompensas no sentido da conformação de sistemas de informação de maior relevância sobre os níveis de economia e de eficiência na gestão. Além disso, a avaliação é 109

crescentemente percebida como uma ferramenta de grande utilidade para promover uma nova cultura de gestão orçamentária centrada no resultado e no impacto dos programas, mais do que enfatizando os processos e o retorno imediato. La evaluación se percibe como un buen instrumento para facilitar el tránsito de una cultura de gasto, donde gobernar o gestionar bien se confunde con aumentar los créditos presupuestarios, a una cultura de resultados, donde el directivo público se centra y es responsable por el grado de eficiencia y eficacia alcanzado al ejecutar su presupuesto” (Gradin citado por Zapico-Goñi, 2001: 64). A importância de se construir uma adequada divisão de competências e responsabilidades entre as instituições integrantes do sistema para que a avaliação possa influenciar o processo orçamentário também é destacada por Di Francesco (1998) na análise sobre a contribuição da avaliação de programas para o processo orçamentário em operação no governo australiano5. A estratégia de avaliação na Austrália, coordenada pelo Departament of Finance mas levada a cabo sob a responsabilidade das agências, tem se mostrado inadequada para que a avaliação forneça informações para o processo orçamentário. The evaluation strategy has proved difficult to manage – the evaluation planning process was, by design, heavily weighted against the central budget agency; the available performance information was either not relevant to cabinet-level priority setting 5

Segundo o autor, existem três momentos no processo orçamentário que podem ser influenciados pela avaliação: a análise das políticas ou de medidas de economia pelos analistas do orçamento; a definição das prioridades de avaliação das instituições públicas de acordo com as prioridades do governo e a utilização de informações sobre desempenho na fundamentação de propostas de política (Di Francesco, 1998).

110

or was predictably deployed by portfolios to act as a shield for programs; and the evaluation planning cycle seems not to fit into the overriding budget cycle” (Di Francesco, 1998: 45)6. Crescentemente, medidas de desempenho têm sido utilizadas para a melhoria da gestão. O impacto das ações públicas pode ser analisado por meio de avaliações. Sendo assim, avaliações produzem informações que auxiliam os formuladores de política no questionamento sobre a validade de determinados programas, bem como para o desenho de novos programas. Adicionalmente, segundo Osborne e Gaebler (1994) a definição de medidas de desempenho ajuda as organizações a pensarem e visualizarem com clareza suas metas, revendo sua direção e objetivos. A importância da avaliação para a melhoria de gestão é um aspecto ressaltado por Thoenig (1999). Esse autor confere grande importância à questão da utilização dos resultados da avaliação. Os resultados da avaliação de desempenho devem fazer sentido para os que tomam decisões e ser adequados às suas necessidades, constituindo a avaliação um meio de obtenção de informações para que eles e suas equipes possam realizar revisões e avaliações dos vários aspectos da reforma pré ou posteriormente à execução das ações. A avaliação também é entendida como um aspecto integral de um sistema de gestão de desempenho, podendo ser utilizada para comparar as metas e avaliar os progressos no que se refere ao alcance dos objetivos. No Canadá, a avaliação de resultados de programas, serviços e políticas como forma de se obter legitimidade pública está entre os princípios da estrutura de 6

Como resposta a essa situação, Di Francesco (1998) sugere que o processo de planejamento da avaliação seja centralizado de forma que o Department of Finance tenha maior capacidade de definir a agenda de avaliação ou que sejam incluídas penalidades por não realização de avaliação no atual processo de planejamento descentralizado.

111

gerenciamento do governo, numa estratégia de gerenciamento ampla denominada Results for Canadians. Essa estratégia está baseada em um sistema de informações que possibilita medir, avaliar e divulgar aspectos fundamentais dos programas e sua performance. O objetivo é estabelecer um ciclo mais produtivo de planejamento, medida, avaliação e divulgação dos resultados para os cidadãos, desde Ministérios até o Parlamento (Canada, 2000)7. Na Austrália, a avaliação se insere numa estratégia maior de orientação para resultados denominada Outcomes and outputs framework iniciada em 1999 que visa melhorar a gestão das instituições públicas e aumentar a accountability, num contexto em que as agências públicas passaram a ter maior autonomia e flexibilidade de gestão, incluindo a gestão de recursos financeiros. Essa estratégia busca responder a três perguntas básicas para as atividades do governo: o que o governo quer alcançar em termos de objetivos (outcomes); como esses objetivos serão alcançados (outputs) e como o governo sabe se está sendo bem sucedido (avaliação de desempenho). O Outcomes and outputs framework constitui a base para o desenvolvimento pelas instituições de um sistema de gestão de desempenho, conectado ao contexto mais amplo do Performance Improvement Cycle, promulgado pelo Department of Finance and Administration em março de 1998 (Austrália, 2000). Igualmente, a avaliação pode ser utilizada para melhorar a qualidade dos serviços públicos, propiciando informações sobre mudanças nas necessidades dos usuários, seu nível de satisfação com os serviços prestados e possibilitar a comparação do desempenho no tempo, com outras organizações e com padrões pré-estabelecidos. Com base nos conceitos da administração 7

Agradeço a Eugênio Ferreira Braga por este comentário.

112

voltada para o usuário, o aperfeiçoamento dos serviços públicos requer a coleta permanente de informações com os usuários, que são essenciais para medir a eficácia da ação governamental, sendo a qualidade definida no contexto da percepção do usuário. A coleta de informações não deve ser orientada apenas para a avaliação da satisfação, mas sobretudo, para a identificação de áreas prioritárias para a realização de melhorias do ponto de vista do usuário (Pesquisa ENAP, 2000). A avaliação da satisfação do usuário-cidadão pode ser um dos componentes de uma estratégia mais global de melhoria da qualidade num modelo conceitual denominado Service Gap Model apresentado por Blythe e Marson (1999). Esse modelo tem como ponto de partida o reconhecimento da diferença entre a expectativa dos cidadãos e clientes a respeito dos serviços públicos e o serviço efetivamente recebido e tem quatro componentes: 1- conhecer as expectativas dos cidadãos e clientes em termos de prestação de serviços; 2- aumentar a capacidade de organizações públicas fornecer os serviços desejados pelos cidadãos; 3- utilizar um conjunto adequado de ferramentas de melhoria de gestão para reduzir a lacuna de serviços; e 4- medir o progresso na redução da diferença entre expectativas de serviço e o serviço recebido e assegurar a responsabilização pelos resultados. A avaliação de desempenho também possibilita o acompanhamento de ações descentralizadas por meio de contratos, que devem estabelecer padrões claros de desempenho e procedimentos de monitoramento; o controle de ações executadas por outros níveis de governo e de setores privatizados. A transferência da execução para outros níveis de governo quando foi mantido algum financiamento central, requer o 113

controle dos recursos e o monitoramento dos resultados. A privatização e a terceirização de atividades exige que sejam estabelecidos padrões, um procedimento de acompanhamento e de avaliação do desempenho. Nesses casos, o governo desempenha o papel de financiador, contratador, comprador ou regulador de serviços, embora permaneça sendo responsável, em última instância por assegurar que as metas públicas sejam cumpridas. Para tanto, precisa medir e avaliar o desempenho para ter informações para a elaboração das políticas, acompanhamento da execução financeira, definição de responsabilidades e controles (Caiden e Caiden, 1999). O papel da avaliação no processo de aumento de responsabilização sobre as políticas públicas vem adquirindo importância cada vez maior e está ligada à crescente autonomia proporcionada pelas reformas gerenciais e à preocupação com a legitimidade das ações públicas. A avaliação, ao esclarecer sobre o resultado e impacto das ações governamentais, pode melhorar a transparência para a sociedade como um todo. Nesse processo a legitimidade dos programas em andamento pode ser fortalecida, o que garante a manutenção de seus resultados (OCDE, 1999). Ao demonstrar que os programas apresentam resultados sob a forma de benefícios mensuráveis a avaliação pode garantir apoio público. No que se refere à relação entre avaliação e accountability, Caiden e Caiden (1999) afirmam que a avaliação e a medição do desempenho devem ser entendidas com um componente do desenvolvimento da capacidade de governo, que implica mudanças no sentido de maior transparência, mais informação ao público, maior possibilidade de crítica em relação à atuação das organizações governamentais e maior abertura da sociedade. Levy (1999) também enfatiza o papel da avaliação como um elemento do controle de resultados, introduzido pela 114

administração gerencial como mecanismo disponível ao controle social. Segundo a autora, os processos de avaliação de desempenho tem um papel a cumprir no campo da accountability, entendida como a obrigação de prestar contas e assumir responsabilidades perante os cidadãos imposta àqueles que detêm o poder de Estado. O aspecto do aprendizado relacionado à realização da avaliação é mencionado por diversos autores. Verificar o que está dando certo por meio da avaliação de resultados possibilita o aprendizado organizacional: sucessos inesperados são grandes oportunidades de inovação administrativa e empresarial (Osborne e Gaebler, 1994). A avaliação contribui para o processo de aprendizagem das pessoas envolvidas no gerenciamento e implementação dos programas, ao proporcionar maior entendimento do trabalho desenvolvido e apoiando o seu desenvolvimento (OCDE, 1999). Caiden e Caiden (1999) ao reconhecer que a avaliação representa uma inovação no sentido da melhoria da gestão, afirmam que sua introdução deve ser progressiva, apoiada em experiências piloto para estimular um processo de aprendizagem. Thoenig (1999) afirma que a avaliação pode apoiar a constituição de um banco de soluções para a instituição, cria competências diversificadas entre os gerentes de todos os níveis e apóia uma atitude de sabedoria para atuar com conhecimento ao mesmo tempo em que coloca em dúvida o que se sabe. Joyce (1997) ressalta o caráter de aprendizado do processo de avaliação ao salientar a importância da divulgação de resultados das atividades do setor público. A utilização de avaliação de desempenho para a alocação de recursos orçamentários deve ser o resultado de uma mudança de cultura que se inicia com o desenvolvimento de informações sobre desempenho válidas e de qualidade no nível das agências e com 115

a divulgação dessa informação com finalidades não relacionadas com o orçamento. Uma vez que esta informação seja de domínio público, é possível que tenha maior aceitação e, eventualmente, seja utilizada no processo de tomada de decisão sobre a alocação de recursos. In this context, it is not at all alarming that greater strides have not been made in performance-based budgeting. (...) Observers should not be too quick to dismiss this effort at performance-based budgeting as a merely a repeat of the past failures, such as program budgeting. Key strengths of the current effort are its deliberate nature and its recognition that the use of performance information must wait for the development of the measures themselves (Joyce, 1997: 60). Zapico-Goñi (2001) também ressalta o aspecto aprendizado ao comentar a relação entre orçamento e avaliação. Segundo o autor, para que as inovações no processo orçamentário resultem numa disciplina fiscal sustentável e possibilitem o controle do gasto público, o mais importante não é conseguir uma integração automática entre a gestão por resultados e a avaliação no processo orçamentário, mas sim ter em vista o tipo de resultado que está sendo perseguido pelos sistemas de controle e avaliação. La integración de la evaluación en el proceso presupuestario puede proporcionar grandes resultados en términos de reducción del déficit en la medida en que incorpore valoraciones relacionadas con el segundo orden de control o aprendizaje al que se refieren las cuestiones del tipo double loop (p. 67) promovendo questionamento não apenas como as atividades estão sendo executadas, mas sim o sentido mesmo do que se está fazendo. Para Weiss (1998), o caráter de aprendizagem organizacional da avaliação está relacionado com a sua contribuição para a melhoria do programa no sentido de que a avaliação pode proporcionar o registro da experiência do 116

programa, apresentar feedback para os membros da equipe, esclarecer e reforçar a mensagem sobre os objetivos do programa e possibilitar a compreensão dos elementos que possibilitam a mudança de condições sociais e do comportamento humano. A divulgação dos resultados da avaliação pode aumentar o grau de compromisso dos membros da equipe: by virtue of being public, results may stimulate adaptive action. Knowing that other people will be looking may make practitioners more attentive to the public’s expectations (Weiss, 1998: 28). Também no que se refere ao aprendizado proporcionado por processos de avaliação, a implementação de avaliação de desempenho resulta em um benefício importante relativo à um aperfeiçoamento da comunicação na medida em que a definição da missão do programa, dos objetivos estratégicos e das medidas de desempenho que permitirão avaliar o alcance dos objetivos requer o estabelecimento de um acordo sobre a estratégia adequada de avaliação entre diversos atores nas próprias organizações, entre organizações no governo e fora do governo. Such horizontal and vertical communication is not easy to facilitate but is rewarding for programs bolstered by stakeholder agreement” (Kettl citado por Newcomer, 1997). Zapico e Mayne (1995) sugerem até mesmo que a dimensão aprendizagem deve ser priorizada na avaliação dos dirigentes em contextos marcados pela incerteza no que se refere à sua capacidade de adaptação a novos problemas ao invés dos critérios tradicionais relacionados à redução de custos, produtividade e qualidade dos serviços. Em contextos como esse, a maximização da flexibilidade, decorrência do aprendizado, é um critério de sucesso mais relevante que a maximização da utilidade a curto prazo. Considerando que as avaliações realizadas por especialistas representam a expressão de apenas um dentre os diversos pontos 117

de vista dos atores envolvidos com determinada política, Subirats (1995) propõe que as avaliações sejam realizadas sob um enfoque plural que representa um processo de aprendizagem social. Si se diera a las prácticas de evaluación un enfoque plural y se alentara a los diversos actores afectados por la política en cuestión a expresar sus opiniones, esas prácticas se convertirían realmente en instrumentos del aprendizaje social (...) La evaluación podría convertirse en una ocasión formal para examinar la manera en que los programas de acción específicos son experimentados por las personas afectadas y para descubrir lo que éstas consideran que son los êxitos y fallas de esos programas (1995: 13).

O QUE DEVE SER AVALIADO Os diversos objetivos que são colocados para a avaliação, embora em alguns casos possam ser inter-relacionados, apresentam requisitos diferentes de informação para que sejam alcançados, o que de certa forma implica na existência de processos de avaliação diferenciados. A definição do que medir deve refletir dois fatores: o uso esperado dos resultados da avaliação (os objetivos da avaliação) e os as prioridades dos atores que selecionam o que medir. Evaluations interested in maximizing the use of evaluation data long have stressed the importance of matching the data collected to the intended use” (Patton citado por Newcomer, 1997: 8). Dentre as medidas de desempenho mais freqüentes, Caiden e Caiden (1998) mencionam insumos, nível de atividade, resultados (outputs), impactos (outcomes), produtividade, custos, satisfação do usuário e qualidade e tempo de resposta do serviço. Estas medidas são utilizadas para verificar a economia, a eficiência e a efetividade com que uma organização pública realiza suas 118

atividades. A economia está relacionada com a capacidade de operar ao mais baixo nível de custo possível e pode ser estimada com a medição dos insumos e realização de comparações com um padrão estabelecido (benchmarking). A eficiência representa a relação entre os insumos e os resultados: pode significar a utilização de um mínimo de insumos para a obtenção de um resultado dado ou a produção do máximo de resultados para um determinado nível de insumos. A efetividade define o êxito do programa e focaliza os seus resultados avaliados por meio de seus impactos. Newcomer (1996) identifica insumos, operações ou processos, outputs e outcomes como sendo as principais medidas de desempenho. Insumos são os recursos disponíveis para implementar determinada atividade ou programa; as operações ou processos representam os procedimentos definidos pelos quais o programa deve operar; outputs são as atividades ou eventos gerados pelo programa; outcomes representam os objetivos perseguidos pelo programa, cujo alcance é viabilizado pelas operações e produtos do programa. Outcome é o resultado esperado pelos idealizadores do programa. Program outcomes are the intended results of programs that many of those currently demanding evidence of the value added by programs want to see” (Newcomer, 1997: 6). Existe a distinção entre outcomes intermediários ou finais. Outcomes intermediários referem-se a reações imediatas dos usuários e respostas de outras instituições públicas ou privadas à ação implementada pelo programa. Outcomes finais ou impactos são os resultados esperados do programa sobre a sociedade ou um grupo de pessoas. Os inputs ou os recursos utilizados na realização dos programas têm sido uma medida tradicional para acompanhamento dos programas. A contagem de outputs e a 119

verificação de se os outputs foram efetivamente prestados de acordo com o previsto na legislação têm sido geralmente utilizados para avaliar o grau de implementação de um programa (Newcomer, 1997). Segundo Weiss (1998) avaliações podem focar outcomes ou processos. Outcomes referem-se aos resultados finais do programa para o grupo a quem pretendia atingir. Utiliza os termos efeitos ou resultados como sinônimos e considera outcomes de longo prazo como impactos ou os efeitos do programa sobre a comunidade como um todo. A avaliação do processo do programa visa a compreensão do que está acontecendo, necessária para se entender os dados de resultado. If the evaluation is going to be able to analyze what conditions where responsible for different outcomes, she needs data on what went on in the program (Weiss, 1998: 9). Pode-se perceber que existe uma diferença na enumeração das medidas de desempenho a serem verificadas em processos de avaliação entre os autores analisados. Os itens propostos por Caiden e Caiden (1998) são mais numerosos e detalhados que os propostos por Newcomer (1996, 1997) e Weiss (1998). Adicionalmente pode-se perceber uma diferença nos conceitos de output e outcome utilizados pelos dois primeiros autores em relação aos dois últimos. Se para Caiden e Caiden (1998) output é uma medida de resultado, para Newcomer (1996, 1997) e Weiss (1998), esta pode ser entendida mais propriamente como uma medida de nível de atividade, uma vez que trata de produtos e serviços prestados. Por outro lado, para Newcomer e Weiss, outcomes são resultados ou impactos dos programas decorrentes da prestação de determinados serviços ou produção de determinados bens. Neste texto este foi o conceito de outcome utilizado. A avaliação com o objetivo de aperfeiçoar a alocação de 120

recursos entre programas pode fazer uso de informações sobre insumos, custos, outputs, outcomes, qualidade e satisfação do usuário. A avaliação visando melhoria do programa deve levar em conta também a análise das suas operações e processos. A utilização da avaliação de desempenho para a alocação de recursos pressupõe que é possível medir os recursos utilizados e os resultados alcançados. No caso dos recursos utilizados implica medir quanto custa administrar determinado programa, o que envolve a organização das atividades e dos custos das organizações públicas em programas e a apropriação dos custos tanto diretos quanto indiretos a cada programa. No caso dos resultados alcançados, implica avaliar os outcomes dos programas públicos. Existe uma tendência generalizada e equivocada de utilizar outputs como medida de resultado, uma vez que estes estão geralmente sob controle dos gerentes (Joyce, 1997)8. Thoenig (1999), que enfatiza o papel da avaliação para a melhoria dos programas, destaca a coleta e produção de informações que são necessárias para a tomada de decisão diária e para a condução de uma auto-avaliação que terá impacto sobre o trabalho rotineiro pelos próprios usuários. Adicionalmente, menciona a troca de informações sobre boas práticas de gestão como um instrumento importante para o desenvolvimento de uma cultura de desempenho. 8

Joyce ressalta que a necessidade de medidas corretas e da coleta de informações acuradas aumenta quanto maiores os esforços para associar o desempenho ao orçamento. Entretanto, quanto maior a importância desse processo, com o aumento de ganhos ou perdas relacionadas, maiores são os incentivos para que se definam medidas que influenciem um julgamento favorável e que sejam divulgados resultados enviesados. “Without a process of ensuring that the appropriate measures are chosen and reported accurately, performance measurement will never deliver on its promise” (1997: 55).

121

Os produtos e impactos do programa são importantes medidas para avaliação voltada para a transparência, não sendo, entretanto, suficientes. Segundo Levy (1999) para que a avaliação produza informações para accountability, precisa construir explicações cujo significado deve ser entendido e aceito por todas as partes envolvidas. O controle de resultados, embora aumente as possibilidades de accountability por tornar mais explícitos objetivos e meios envolvidos na política pública, pode redundar num instrumento pouco democrático se a definição de indicadores e/ou resultados for um processo determinado por poucos agentes. A accountability se refere não apenas à prestação de contas, mas também à definição dos termos sobre os quais se fará a prestação de contas. Essa definição tem que ser conjunta para se criar transparência e, por conseguinte, condições de confiança entre governantes e governados (Levy, 1999). A realização de pesquisas de satisfação dos usuários de serviços públicos por sua vez exige o desenvolvimento de uma metodologia específica. A avaliação da qualidade dos serviços pelos consumidores é realizada por meio da comparação entre os serviços esperados e a percepção dos serviços recebidos. As expectativas dos consumidores têm assim um papel fundamental no processo de avaliação dos serviços e são influenciadas por quatro fatores: as necessidades pessoais dos consumidores, sua experiência passada, os comentários que ouvem de outros consumidores e as comunicações externas (Zeithaml, Parasuraman e Berry citado em Pesquisa ENAP, 2000). A despeito da relevância das expectativas dos usuários para a realização da avaliação da qualidade dos serviços prestados, estas não podem ser consideradas de forma absoluta, sem levar em conta as diferenças entre distintos segmentos e a forma como em cada um deles são estabelecidas as expectativas. Indicadores objetivos que representam mínimos de desempenho que devem 122

ser garantidos como direitos de cidadania a todos os indivíduos são necessários para a efetiva avaliação da qualidade dos serviços (Pesquisa ENAP, 2000). Estratégias de avaliação plural que se caracterizam como um processo de aprendizado social dos diversos atores envolvidos com a política trabalham com valores e opiniões desses atores sobre como são por elas afetados e sobre o que consideram como sendo êxitos ou falhas do programa. Nesse processo, erros são considerados como fontes de informação e indícios para o desenvolvimento de novas ações (Subirats, 1995). Para que a aprendizagem associada ao processo de avaliação seja destacada e considerando que o ambiente no qual as ações públicas são realizadas é marcado pela incerteza, Zapico e Mayne (1995) propõem que novos critérios sejam utilizados para a avaliação dos resultados, os três D: diagnóstico de novos problemas, desenho de novas soluções e desenvolvimento destas soluções para sua implantação. Segundo eles, os critérios tradicionais – a economia, a eficiência e a eficácia (os três E) – para avaliar a capacidade e competência de gestão do dirigente podem não ser suficientes se os objetivos estão mudando e os resultados não podem ser antecipados. Isto é devido ao fato de que a utilização dos três E supõe que os objetivos podem ser definidos com precisão, são estáveis e aceitos e que existe uma relação causa-efeito conhecida entre as atividades ou políticas públicas e os resultados esperados. O diagnóstico se refere à identificação de novos problemas ou redefinição dos problemas atuais tendo em conta mudanças no contexto e interesses de grupos afetados. O desenho diz respeito à formulação de iniciativas para resolver os novos problemas identificados, formular novas soluções e adotar estruturas e estratégias adequadas. Desenvolvimento está relacionado à implementação das novas soluções como um 123

processo de aprendizagem, superando as resistências à mudança, redefinindo problemas e soluções e aprendendo com a nova experiência (Zapico e Mayne, 1995). As medidas tradicionais de desempenho (os três E) são compatíveis com os três D. O desenho e o uso de medidas de resultado possibilitam a interpretação do grau de êxito alcançado pelo gestor público e as razões pelas quais não foram alcançados resultados melhores. O modelo dos três D foca a capacidade adaptativa e exige que se questione a própria definição dos objetivos, a relação causa-efeito e os valores subjacentes à própria intervenção pública (Zapico e Mayne, 1995). Na definição sobre o que deve ser avaliado é preciso reconhecer que cada grupo de interessados em determinada política tem suas próprias preocupações e sua própria agenda a respeito dos itens a serem analisados. Por exemplo, os membros do Legislativo podem enfatizar a importância da supervisão geral da agência, o desempenho no curto prazo, a consistência da informação e o controle de contas, ou seja, elementos que embasam suas agendas e motivações políticas. Para os funcionários executivos as metas de longo prazo, a adaptabilidade às metas cambiantes e a flexibilidade na execução (Caiden e Caiden, 1999). Por essa razão, na sessão seguinte será discutida a questão da participação na avaliação.

QUEM DEVE PARTICIPAR DA AVALIAÇÃO A escolha do avaliador é um fator importante para que a avaliação seja bem sucedida e deve ser balizada pelo objetivo que norteia a realização da avaliação. É pouco provável que uma avaliação realizada internamente ofereça informações críticas ou analise questões relacionadas à propriedade ou não de se continuar 124

determinado programa. Quando a avaliação é conduzida pelo próprio avaliado, geralmente contribui para a obtenção de informações fundamentais para a própria organização, uma vez que os avaliadores internos detém conhecimento sobre as suas atividades e tem livre acesso às fontes de dados. Por outro lado, pode haver deficiência em termos de competências dos avaliadores internos o que limita a faixa de questões a serem cobertas. É possível também haver falta de objetividade, gerando resultados com baixa credibilidade, com uso limitado das informações fora da organização. Essas avaliações geralmente resultam em sugestões práticas de recomendações que contribuem para a melhoria da gestão, tendo menor contribuição a oferecer para a discussão sobre a relevância geral de um programa (OCDE, 1999). Na análise sobre os atores que participam do processo de avaliação, Weiss (1998) discute diversos aspectos: as diferentes expectativas dos participantes de acordo com a sua posição no processo, o caráter da informação proveniente de avaliações realizadas por atores internos e externos e o arranjo institucional adequado para que a avaliação dê conta de seus objetivos. Embora nem sempre se possa fazer uma distinção clara, geralmente os dirigentes têm a expectativa de que a avaliação venha a fornecer informações que os permita analisar a efetividade geral dos programas. Os gerentes dos programas tendem a estar mais interessados em entender os elementos que permitam que o programa sob sua responsabilidade seja executado da melhor forma possível. Precisam de informação que os ajude a melhorar os programas. Os membros da equipe, por sua vez, que costumam fazer uso de sua própria experiência ou de julgamentos intuitivos, geralmente esperam que a avaliação resulte em recomendações práticas. Usuários necessitam de informações que os permitam fazer 125

escolhas entre tipos de serviço e fornecedores diversos: estão interessados na efetividade das ações. Em alguns casos, também querem saber em que medida a sua participação pode influenciar ou controlar a realização do programa. As informações resultantes de avaliações realizadas por atores internos refletem o seu maior conhecimento do programa: estão mais próximos de onde as coisas acontecem e tem contato com os clientes e com a equipe do programa. Os resultados da avaliação e suas recomendações tendem a ter grande utilidade para os responsáveis pelos programas. Avaliações conduzidas por atores externos, em contrapartida, tendem a ser vistas como mais objetivas e neutras. Tem maior autonomia para a realização da avaliação e podem assumir uma perspectiva mais ampla. Seu prestígio e autoridade podem contribuir para que os resultados da avaliação sejam encarados com maior seriedade. Finalmente, no que se refere ao arranjo institucional, Weiss (1998) afirma que o local na estrutura organizacional em que a avaliação é alocada deve ser compatível com o objetivo da avaliação. If it is directed at answering the policy questions (How good is the program overall?), evaluators should report to the policy level. (…) When the basic shape of the program is unquestioned and the evaluation issue centers on process and program components, the evaluator should probably be responsible to program managers (Weiss, 1998: 39 e 40). Para Caiden e Caiden (1999) a utilização de auto-avaliação pode gerar resultados enviezados na medida que é pouco provável que os envolvidos escolham medidas de desempenho que os desfavoreçam. Se a avaliação for realizada por funcionários de alto nível, a cooperação com os demais funcionários pode ser minada uma vez que podem não se identificar com o processo e entendê-lo como uma ameaça. Se a avaliação for realizada por 126

funcionários de baixo escalão corre-se o risco de que ela se torne uma justificativa sobre as atividades realizadas. Em contrapartida, envolver avaliadores externos no processo pode resultar num ganho no que se refere à objetividade da análise com a desvantagem de deterem menor conhecimento sobre o programa. Além disso, o seu emprego regular poderia envolver gastos excessivos especialmente por não estarem associados aos resultados dos programas. Newcomer destaca a participação dos gerentes de linha na gestão do sistema de avaliação de desempenho: Financial management, policy and planning and budget offices all have stakes in the development of performance measures, but they probably not manage the system. Line managers should be empowered to develop and use the system. They need to take ownership over the systems so that they will be willing and able to use them” (1997: 12). A definição de quem participa do processo de avaliação e se ele deve ou não ter uma coordenação central parece também estar relacionada com o objetivo da avaliação. De acordo com Di Francesco (1998), na Austrália, o objetivo de fazer com que as decisões no processo orçamentário fossem embasadas em resultados de avaliação mostrou-se incompatível com a forma descentralizada como o sistema de avaliação foi organizado. As informações de desempenho fornecidas por este sistema não são adequadas para a análise dos programas pelos responsáveis pelo orçamento no Departamento de Finanças Clearly, in institutionalising evaluation Finance sought to increase the receptivity of portfolios to evaluation by establishing it as their responsability. The danger is that the process is heavily weighted against the information needs of the central budget agency, since it permits portfolios to both determine the evaluation agenda and unduly influence budgetary and policy priorities (...) (1998: 39). 127

A avaliação conduzida por órgãos centrais é capaz abordar questões que dizem respeito ao governo como um todo e aos programas multisetoriais, podendo revisar de forma mais rigorosa a relevância dos programas em operação. A utilização da informação nos processos de tomada de decisão é favorecida pelo caráter de maior confiabilidade dos resultados e da natureza política das questões envolvidas. Entretanto, os órgãos centrais tem maior dificuldade de acesso aos dados e podem desempenhar papéis conflitantes, o que pode colocar em risco sua credibilidade (OCDE, 1999). A existência de um departamento central que assegure o funcionamento efetivo do controle de gestão também é ressaltada por Zapico e Mayne (1995), que consideram que a liderança de uma unidade central é necessária quando o controle de resultados integra uma iniciativa global de avaliação das ações do governo. Para Thoenig (1999), mesmo no caso de a avaliação estar relacionada a melhorias de programas e instituições específicas, deve haver um nível central que assegure a accountability das unidades pelos canais hierárquicos e entre as organizações por meio da comunicação horizontal e que apóie as agências no aprendizado sobre como inovar dando visibilidade e oferecendo incentivos e treinamentos específicos. Esse autor considera também que a avaliação deve ser disseminada entre as agências e ao longo da cadeia de comando, não devendo ser entendida como um sistema dominado apenas por especialistas. As agências devem participar no processo por meio de coleta e troca de informações sobre boas práticas de gestão visando promover essas práticas e encorajar outras agências a adota-las. A discussão sobre quem participa da avaliação é importante na medida em que atores diferentes tem perspectivas diferentes sobre as medidas de desempenho e a forma como elas são apresentadas. Por exemplo, os membros do Legislativo podem 128

ignorar os dados sobre desempenho porque estes dados não são organizados no formato que seja familiar para eles, que utilizam informação de base programática. Já os funcionários do Executivo podem desenvolver medidas de desempenho que satisfaçam necessidades internas de suas próprias organizações sem se preocupar com os usuários externos. Em vista da existência dessas diferentes perspectivas, os objetivos e as medidas de desempenho devem ser objeto de negociação entre os interessados (Caiden e Caiden, 1999). Essa negociação é tão mais importante quando a avaliação tem como objetivo a prestação de contas do governo sobre suas ações para a sociedade, havendo necessidade de se estabelecer um diálogo com todos os envolvidos na política para definir o que será avaliado conjuntamente nos termos colocados por Levy (1999). A participação de todos os interessados na política se coloca também quando se pretende enfatizar o aspecto de aprendizagem social da avaliação mencionado por Subirats (1995). Nessa perspectiva, a avaliação passa a ser parte do processo pelo qual diferentes membros da sociedade aprendem a como resolver os problemas coletivos. Não é objetivo da avaliação descobrir a verdade, mas revelar as diferentes verdades com o objetivo de atingir um equilíbrio entre as diversas opiniões dos participantes. É importante destacar que quando os interessados são envolvidos na avaliação é preciso desenvolver uma estratégia específica para gerenciar a sua participação. O envolvimento dos interessados aumenta seu compromisso e disposição em utilizar os resultados da avaliação, e a possibilidade de se trabalhar com diversas perspectivas pode enriquecer o processo. Entretanto, o gerenciamento das relações com esse grupo pode ser mais dispendioso e demorado do que a abordagem não-participativa e o seu envolvimento pode afetar negativamente a credibilidade 129

da avaliação, embora tenha efeitos importantes sobre o aprendizado dos atores (OCDE, 1999). Quando o objetivo da avaliação é aferir o nível de satisfação do usuário, existe a dificuldade apontada na literatura sobre como definir os usuários para participar na avaliação. No caso de serviços de saúde, Pollitt (1990) elenca como usuários aqueles sob tratamento, aqueles que se sabe estão esperando por tratamento, aqueles que se acredita necessitarem de tratamento, mas que não estão procurando por ele ou aqueles que alguma vez vão precisar de tratamento e outros membros da comunidade afetados pela prestação de serviços, como os parentes dos pacientes. Osborne e Plastrik (1997) estabelecem as seguintes definições para a classificação dos usuários: clientes primários, indivíduo ou grupo para os quais o trabalho da administração pública é primordialmente desenhado para ajudar; clientes secundários, outros indivíduos ou grupos que são beneficiados pelo trabalho da administração pública, mas menos diretamente do que seus clientes primários; compliers, aqueles que devem se submeter à leis e regulamentações. Gilbert e outros (1999) fazem a distinção entre compradores diretos que pagam pelos serviços que recebem; usuários, que têm uma escolha limitada para selecionar seus prestadores de serviço; e usuários cativos, que têm oportunidades muito limitadas de escolha porque as agências que os servem estão normalmente cumprindo um mandato político. Já outros autores sugerem que a avaliação da satisfação dos usuários deve envolver ampla participação, por meio do canal de expressão representado pelas pesquisas9. A pesquisa possibilita o acesso daqueles que têm um ponto de vista imparcial ou distante, 9

Além das pesquisas de avaliação da satisfação, existe um conjunto de mecanismos já bastante utilizado para colher a opinião do cidadão, muitas

130

até aqueles que estão emocionalmente envolvidos. A participação todos os cidadãos deve ser incentivada, desde os mais pobres até os mais graduados; desde aqueles que tem problemas de saúde até os mais saudáveis, pessoas tímidas ou falantes, novos ou velhos usuários, os mais informados e os não tão bem informados, de forma que a pesquisa se assemelhe a uma eleição (Miller e Miller citado em Pesquisa ENAP, 2000). A incorporação da perspectiva do usuário torna a avaliação de complexa. Em primeiro lugar, as ações do governo passam a ter que apresentar resultados como uma forma de aumentar a transparência na relação com os cidadãos, ou seja muda a forma e o conteúdo da accountability. Em segundo lugar, resultado passa a assumir um significado específico, qual seja, a resolução de um problema concreto demandado pelos cidadãos. E, em terceiro lugar, levar em conta a perspectiva do usuário-cidadão torna importante considerar também a maneira como esses resultados estão sendo alcançados sob forma de serviços prestados com qualidade. Desse terceiro ponto resulta que a avaliação passa a ter que necessariamente incorporar a avaliação da satisfação dos usuários com a qualidade dos serviços públicos. There is a growing recognition that obtaining feedback from users is a fundamental and integral part of measuring effectiveness and without such a perspective, policy evaluation will have limited legitimacy (Knox e McAlister, 1995: 414). Adicionalmente, existem visões diferentes sobre quando a vezes sob a forma de reclamação ou pedido de auxílio para resolver situações nas quais os canais normais de atendimento não puderam ser eficazes. Referem-se a livros e caixas de sugestões, centrais telefônicas de atendimento e a utilização da internet para recebimento de reclamações, sugestões e elogios sobre os serviços públicos. São utilizadas também ferramentas de pesquisa qualitativa: questionários de respostas abertas, as pesquisas de focus groups e workshops envolvendo cidadãos usuários dos serviços (Pesquisa ENAP, 2000).

131

avaliação da satisfação do usuário pode ser um componente importante para a melhoria da prestação de serviços. Para Gilbert e outros (1999), a satisfação do consumidor é um indicador crítico para atividades que são reguladas pelo sistema de mercado, ou seja, existe competição pelos compradores entre os prestadores de serviços, o que não se verifica quando a instituição trabalha com usuários cativos. Customer satisfaction measures appear to be appropriate benchmarks for government agencies serving direct buyers who enjoy freedom of choice. (…) For government agencies administering to clients and captives, who do not have a concomitant freedom of choice, such measures may distort an understanding of how these agencies are truly performing. We recommend timely alternative measures, independent of customer satisfaction, to calibrate the performance of agencies serving clients and captives (Gilbert e outros, 1999: 25). Por outro lado, Myers e Lacey (1996) apresentam uma posição diferente afirmando que a avaliação do usuário representa um instrumento de voice a ser utilizado em circunstâncias em que exit (em que existe opção por fornecedores alternativos) não se aplica. Aumentar a contestabilidade no mercado para os produtos do serviço público e garantir aos usuários de serviços públicos uma possibilidade de voice por meio da criação de canais de expressão de sua opinião, na inexistência de oportunidades de exit são mecanismos mencionados pelos autores para tornar o setor público mais voltado para o usuário In the partial or complete absence of exit option, there is a need for voice” (1996: 336).

COMENTÁRIOS FINAIS Os textos comentados neste paper oferecem uma noção, ainda que parcial, sobre as diferentes visões a respeito do tema 132

avaliação. Esperamos haver mostrado a diversidade e, em alguns casos, as divergências entre as opiniões existentes, o que indica que o tema avaliação, pela sua complexidade, deve permanecer sendo objeto de debate e troca de idéias para que seja estabelecida alguma forma de consenso. A ausência de um acordo sobre os objetivos da avaliação, o que deve ser medido e quem participa da avaliação, verificada no texto, pode ajudar a entender porque a prática da avaliação permanece enfrentando ainda diversos obstáculos. Seis objetivos diferentes, embora em alguns casos interrelacionados, foram identificados para a avaliação nos textos analisados – apoiar decisões sobre alocação de recursos, promover a melhoria da gestão, aperfeiçoar a qualidade dos serviços públicos, contribuir para um processo de aprendizagem, aumentar a accountability e auxiliar o controle de ações descentralizadas. Esses objetivos têm requisitos diferentes de informação para serem alcançados. A utilidade das avaliações tradicionais de economia, eficiência e equidade é questionada como fonte de informação útil para o contexto de incerteza em que as ações públicas são realizadas e para os objetivos de aumento da accountability e desenvolvimento de um processo de aprendizado entre os participantes. No que se refere à organização da avaliação e aos participantes no processo são ressaltadas as dificuldades originadas das perspectivas diferentes dos atores envolvidos, pois cada um tem sua própria agenda para avaliação a realizar. É ressaltada a vinculação entre o objetivo da avaliação e os atores que dela devem participar. Avaliações voltadas para a transparência e para a aprendizagem envolvem necessariamente um número maior de interessados, o que cria problemas de gerenciamento no processo de avaliação. 133

Finalmente, foram identificadas dificuldades específicas na avaliação da satisfação do usuário que se referem à definição sobre quem são os usuários a participar da avaliação e quais as atividades em que a avaliação da satisfação do usuário deve ser empregada como forma de propiciar a melhoria na prestação dos serviços. Tabela: Diferentes objetivos da avaliação e respectivos processos Objetivo da avaliação Alocação de recursos

O que é medido Resultado Custo Input

Melhoria da gestão

Processo de trabalho Satisfação usuário Custo Resultado Resultado Custo/benefício

Melhoria da política

Aprendizado organizacional Transparência / accountability

Resultado Satisfação usuário Processo de trabalho Resultado Satisfação usuário Insumos

Quem participa Equipe do órgão responsável pelo orçamento Gerentes e equipe Avaliador externo Gerentes e equipe

Dirigentes Gerentes e equipe Beneficiários Gerentes e equipe Stakeholders Dirigentes Gerentes e equipe Avaliador externo Stakeholders

De forma bastante simplificada e esquemática pode-se perceber pela Tabela que dependendo do objetivo da avaliação, varia o que deve ser medido e são diferentes os atores a participarem do processo, isto significa que a cada objetivo da avaliação corresponde um processo específico de avaliação10. Os itens elencados nas colunas ‘o que é medido’ e ‘quem participa da avaliação’ correspondem ao mínimo indispensável 10

Embora o processo de avaliação não se caracterize apenas pelos seus objetivos, pelo que está sendo medido e pelos participantes da avaliação, variando também em função de outros fatores, tais como, o período de realização (antes, durante ou depois), o arranjo institucional (centralizado ou descentralizado), entende-se que a variação dois dos três elementos apresentados na tabela é suficiente para caracterizar um processo diferente de avaliação.

134

a ser considerado para que a avaliação alcance os objetivos definidos. Não há pretensão de se fazer uma enumeração exaustiva. Entende-se que a especificação dos conteúdos mínimos para a avaliação é importante porque, na maioria das vezes, os recursos humanos e financeiros disponíveis para a realização de avaliação são escassos e essa tem que se concentrar naqueles elementos indispensáveis para que as expectativas sobre os seus resultados possam ser atendidas a contento. A avaliação que visa apoiar o processo de alocação de recursos deve privilegiar medidas que permitam comparar programas diferentes entre si em termos de sua contribuição para o alcance dos objetivos amplos do governo. Por essa razão, medidas de resultado devem ser privilegiadas. Como há necessidade de comparação entre o desempenho das diversas instituições ou programas, a medição deve ser realizada a partir de uma metodologia comum. Além disso, os resultados da avaliação devem fazer sentido para os responsáveis pela análise das diversas propostas orçamentárias, conforme menciona Di Francesco (1998) na análise do processo australiano. A participação da equipe responsável pelo orçamento no processo de avaliação é importante, seja na sua coordenação geral em torno de uma metodologia comum, seja na definição do conteúdo mesmo do que deve ser medido. Adicionalmente, como é necessário garantir a objetividade e a imparcialidade na avaliação dos resultados, a participação de um avaliador externo pode ser importante. Já no caso da avaliação com o objetivo de promover a melhoria da gestão ou de determinada política, os gerentes e a sua equipe, que detêm um profundo conhecimento sobre o processo de trabalho e a forma de execução da política, são atores 135

importantes. Para o aperfeiçoamento da política, os dirigentes que conceberam a política e os beneficiários também podem trazer insumos importantes. A participação dos stakeholders no processo de avaliação, juntamente com os gerentes e as equipes, é de fundamental importância para a avaliação que tem como objetivo o aprendizado organizacional. Nesta, a avaliação não é encarada de forma instrumental: o processo de diálogo e comunicação entre as partes que é por ela incentivado é o elemento mais importante. A avaliação com vistas a aumentar a transparência das ações governamentais deve enfatizar os resultados em termos da sua contribuição para a solução de problemas na concepção da sociedade. Resultados de programas ou instituições específicos têm pouco significado, pois não é desta forma que os cidadãos vêem o setor público. Os resultados da ação do governo devem ser divulgados de forma a poderem ser compreendidos pelos cidadãos em geral. Da mesma forma deve haver cuidado na apresentação das informações referentes aos insumos. A apresentação dos resultados ou dos recursos utilizados deve ser diversa daquela utilizada para a tomada de decisão sobre a alocação de recursos, pois esta necessita de conhecimentos específicos prévios para ser interpretada. Existem pontos do processo de avaliação sobre os quais existem visões compartilhadas ou pelo menos, não excludentes, que se encontram, em grande parte, consolidados em manuais. Este texto deu ênfase para a diversidade das análises visando ampliar a compreensão sobre os aspectos complexos do processo de avaliação não para desmotivar a realização de avaliações, mas sim para alertar sobre a necessidade de aprofundamento do debate sobre o tema e para apoiar a formação de expectativas realistas sobre a sua utilização. 136

BIBLIOGRAFIA AUSTRALIA, 2000: The Outcomes and Outputs Framework. Guidance Document. Canberra: Deparment of Finance and Administration. November. BLYTHE, D. M. E D. B. MARSON, 1999: Good Practices in Citizen-Centred Service. Ottawa: CCSN-CCMD. CAIDEN, G. E. E N. J. CAIDEN, 1998: Enfoques y lineamientos para el seguimiento, la medición y la evaluación del sector público. Revista del CLAD Reforma y Democracia vol. 12. CANADA, 2000: Results for Canadians: a management framework for the Government of Canada. Ottawa: Treasury Board Secretariat. DI FRANCESCO, 1998: The measure of policy? Evaluating the evaluation strategy as an instrument for budgetary control. Australian Journal of Public Administration 57 (1) March. GILBERT, G. R. J. A. F. NICHOLLS, S. ROSLOW, 1999: Measuring Public Sector Customer Service Satisfaction. The Public Manager, Winter. HATRY, H. P. 1996: Tracking the quality of services in J. L. Perry (ed.): Handbook of Public Administration. San Francisco: Jossey-Bass Publishers. JOYCE, P. G. 1997: Using performance measures for budgeting: a new beat, or is it the same old tune? in Newcomer, K. E. (ed.): Using Performance Measurement to Improve Public and Nonprofit Programs. New Directions for Evaluation. A Publication of the American Evaluation Association. San Francisco: Jossey-Bass Publishers KNOX, C. E D. MCALISTER, 1995: Policy evaluation: incorporating users’ views. Public Administration v. 73, Autumn. 137

LEVY, E. 1999: Controle social e controle de resultados. Um balanço dos argumentos e da experiência recente in Bresser Pereira, L. C. e N. Cunill Grau (orgs.): O Público não-Estatal na Reforma do Estado. Rio de Janeiro: Editora Fundação Getúlio Vargas. MYERS, R. E R. LACEY, 1996: Consumer satisfaction, performance and accountability in the public sector. International Review of Administrative Sciences v. 62, n. 3. September. NEWCOMER, K. E. 1996: Evaluating public programs in J. L. Perry (ed.): Handbook of Public Administration. San Francisco: Jossey-Bass Publishers. NEWCOMER, K. E. 1997: Using performance measurement to improve programs in Newcomer, K. E. (ed.): Using Performance Measurement to Improve Public and Nonprofit Programs. New Directions for Evaluation. A Publication of the American Evaluation Association. San Francisco: Jossey-Bass Publishers. OCDE, 1999: Improving evaluation practices. Best practices guidelines for evaluation and background paper. OSBORNE, D. E P. PLASTRIK, 1997. Banishing Bureaucracy: The Five Strategies for reinventing government. New York: Addison Wesley. OSBORNE, D. E T. GAEBLER, 1994: Reinventando o governo. Como o espírito empreendedor está transformando o setor público. Brasília: Editora MH Comunicação; ENAP. Pesquisa ENAP, 2000: Experiências internacionais voltadas para a satisfação dos usuários-cidadãos com os serviços públicos. Texto para Discussão n. 42. Brasília: ENAP. POLLITT, C. 1990: Managerialism and the Public Services. The Anglo-American Experience. Cambridge: Basil Blackwell. 138

SUBIRATS, J. 1995: Los instrumentos de las políticas, el debate público y el proceso de evaluación. Gestión e Política Pública, vol. IV, n. 1, primeiro semestre. THOENIG, J.-C. 1999: Evaluation as usable knowledge for public management reforms. Artigo apresentado no simpósio Government for the Future: Getting from here to there, promovido pela OCDE. Paris, 14 e 15 de setembro. WEISS, C. H. 1998: Evaluation. Second Edition. Upper Saddle River: Prentice Hall. ZAPICO-GOÑI, E. 2001: La integración del control y la evaluación de resultados en el proceso presupuestario: limitaciones y condiciones para su desarrollo. Gestión y Análisis de políticas públicas n. 20 Enero/Abril. ZAPICO, E. E J. MAYNE 1995: Nuevas perspectives para el control de gestión y medición de resultados. Gestão e Análise de Políticas Públicas n. 3. maio-agosto.

Marianne Nassuno é doutoranda em sociologia na Universidade de Brasília, mestre em administração pública pela Escola de Administração de São Paulo da Fundação Getúlio Vargas - EAESP/FGV e integrante da carreira de Especialista em Políticas Públicas e Gestão Governamental. Atualmente é gerente de projeto no Ministério do Planejamento, Orçamento e Gestão.

139