Sob o título “Os improdutivos da USP”, a Folha de S.Paulo publicava, em 21 de fevereiro de 1988, reportagem que trazia a público uma lista de docentes da maior universidade do País cuja produção acadêmica era considerada insuficiente em avaliação interna da instituição – até aquele momento sigilosa.

Desde aquela época, a própria Universidade de São Paulo (USP) passou a aprimorar os seus critérios e foi seguida por outras universidades. Nos anos 90, especialmente a partir do governo Fernando Henrique Cardoso (1995-2002), começaram a ser realizadas avaliações periódicas da educação básica e do ensino superior por instituições como as fundações Carlos Chagas e Cesgranrio. Entraram para o vocabulário da educação expressões como Saeb (Sistema Nacional de Avaliação da Educação Básica), Saresp (Sistema de Avaliação de Rendimento Escolar do Estado de São de Paulo), Provão (hoje Enade) e o mais recente Prova Brasil.

Nos anos 2000, a avaliação institucional está chegando a redes municipais e escolas privadas. A oferta de empresas especializadas nesse processo, que ganha credibilidade e referenciais comparativos ao ser realizado por profissionais de fora da escola, ainda é pequena. Duas entidades se destacam: o Instituto Idéia, fruto de parceria com a entidade espanhola de mesmo nome capitaneada pelo educador Alvaro Marchesi, e o Avalia Assessoria Educacional, que tem a pioneira Fundação Carlos Chagas como parceira.

O Idéia começou a operar em 2003, a partir de convênio com a Prefeitura do Rio de Janeiro, para avaliação por amostragem de algumas escolas da rede. Está começando a fazer o diagnóstico também para as prefeituras das cidades paulistas Mogi das Cruzes e São Sebastião. No âmbito das particulares, já avaliou em torno de 180 escolas, segundo Myriam Tricate, diretora do instituto e também do Colégio Magno, em São Paulo.

O Avalia começou a operar em 2005, em um projeto-piloto que envolvia sete escolas e três mil alunos. Em 2006, avaliou 30 mil alunos da rede privada e 15 mil da rede municipal de Mato Grosso. Em 2007, a entidade passa a fazer as avaliações, em matemática e língua portuguesa, apenas nos anos finais dos ciclos (4a e 8a séries do ensino fundamental e 3a do ensino médio), de forma a evitar eventuais diferenças curriculares de Estado para Estado. No caso das redes públicas, a definição é feita por seus dirigentes.

Já o Idéia trabalha com a 3a e a 5a séries do ensino fundamental e o 2o ano do ensino médio. Normalmente, as provas são de matemática e língua portuguesa, mas também já são ministradas avaliações de inglês (menos nas redes públicas) e de química, física e biologia (no ensino médio).

O trabalho de análise da qualidade das escolas do Idéia leva em conta cinco pontos: “o progresso dos alunos, o projeto da escola, quanto ela possibilita uma educação ampla, equilibrada e relevante, o grau de satisfação da comunidade educativa e o impacto externo da escola”, segundo a definição de Marchesi.

“Os diversos resultados cruzados põem as inconsistências em xeque”, diz Myriam. Segundo ela, no início dos trabalhos na prefeitura do Rio, havia muita resistência dos professores. “Achavam que éramos invasores. Hoje, fazem o seu planejamento em cima dos resultados que levantamos. Estão recebendo orientação e capacitação baseados nos pontos que diagnosticamos”, completa.

Segundo a educadora, alguns pontos têm saltado aos olhos como os principais problemas da educação brasileira. Na formação dos alunos, a principal questão é a capacidade de leitura, escrita e interpretação de textos. Na gestão, o maior desafio é a formação e o trabalho de equipes, principalmente na escola pública, onde, segundo Myriam, existe a preocupação de não sobrecarregar os professores, e os gestores acabam aceitando muitas faltas. “Estamos mostrando que é possível trabalhar esse aspecto, cobrar mais, sem ter de virar a mesa”, completa.


Para Mario Ghio, diretor-geral do Avalia, os processos já levados a cabo permitem diagnosticar algumas questões-chave para as escolas. “A presença de lideranças, dos diretores, é crucial para o bom desempenho dos alunos. Também os alunos estimulados e cobrados a estudar em casa têm desempenho superior”, diz Ghio.

Myriam Tricate, do Idéia: avaliação mostra a dificuldade de leitura, escrita e interpretação de textos

A atribuição de boas notas sem muito critério por parte dos professores contribui para que o desempenho médio dos alunos seja mais baixo. “Nas escolas onde não há meritocracia, o desempenho é pior”, explica o diretor do Avalia.

O Avalia utiliza a “teoria de resposta ao item”, que permite comparação com o Saeb e o Programa Internacional de Avaliação de Estudantes (Pisa) aferindo habilidades e competências dos estudantes.

Teste secreto

Em essência, a “teoria de resposta ao item” requer a utilização de questões já testadas com grande número de alunos e que permitam estabelecer parâmetros estatísticos. Por isso, as questões não são reveladas antes da prova, nem mesmo para os aplicadores, que também não ficam com nenhum material após sua realização. Após 90 dias, a escola conhece os resultados da avaliação.

A escola também recebe, assim como faz o Idéia, um relatório com o cruzamento do resultado com os questionários feitos com gestores, professores e famílias sobre o processo de ensino e aprendizagem. São os fatores associados ao desempenho. No caso do Idéia, o desempenho da escola é comparado ao de outras de mesmo contexto sociocultural.

Medo dos rankings

Um dos pré-requisitos para a aplicação da avaliação é que haja uma cláusula de confidencialidade no contrato entre escola e prestador de serviço. Isso porque muitas delas temem o “efeito ranking”, ou seja, a montagem de uma lista classificatória como as já realizadas por publicações semanais.

Outro ponto que causa certo mal-estar, entre professores, é o fato de não terem conhecimento da prova. “No nosso caso, os professores foram mais críticos, perguntaram se a visão expressa nos critérios da prova correspondia à visão da escola. Mas acho interessante que não tenham visto, pois assim a discussão recaiu sobre os resultados, e não sobre se a prova era boa ou ruim”, diz Sônia Barreira, diretora pedagógica e sócia da Escola da Vila, de São Paulo, que realizou a avaliação institucional com o Avalia em 2005.

Segundo Sônia, 95% dos pais gostaram da iniciativa da escola, que teve resultados superiores à média, sobretudo nas competências relacionadas à leitura. “Investimos numa metodologia mais trabalhosa porque acreditamos que pode trazer um resultado melhor. Buscamos algo que pudesse ser socialmente aceito, e não apenas por nós”, explica a diretora.

A escola pretende realizar novo processo em 2007, de modo a fazer uma medição da própria evolução. Sônia completa: “Não sabemos com que escolas estamos sendo comparados, mas, para nós, o interesse está mais voltado a uma análise interna. Por isso, é positivo o fato de recebermos um mapa com o número e a classificação dos alunos em determinados níveis de desempenho, sabermos quem são eles e como isso se compara ao desempenho deles na escola”.

Um dos grandes resultados da avaliação para a Escola da Vila foi que ela funcionou como uma chancela à proposta pedagógica da área de matemática, em que havia um certo temor de que a opção pela conceituação do construtivismo significasse um atraso curricular. Para o próximo ano, o desafio é fazer com que o currículo da escola, tanto em matemática como em ciências, seja compatível com o construtivismo.

Avaliação e diversidade

Outro motivo de resistência à adoção da avaliação institucional é o temor de que escolas mais abertas à inclusão sejam radiografadas com os mesmos parâmetros que aquelas que buscam apenas o bom desempenho nos vestibulares, sem levar em conta a diversidade dos públicos escolhidos, suas dificuldades e diferentes propostas educacionais.

“Colégios não se restringem a métodos pedagógicos e suas aplicações práticas. Não há como dissociar resultados, aspectos operacionais ou metodológicos dos ideais e da cultura que os sustentam”, defende Pedro Flexa Ribeiro, diretor do Colégio Andrews, do Rio de Janeiro, casualmente um dos mais bem cotados no ranking realizado pelo caderno local de uma revista nacional.

Mario Ghio: “A presença de lideranças, dos diretores, é crucial para o bom desempenho dos alunos”

Segundo sua visão, compartilhada por muitas outras escolas, a educação básica deve ensejar a existência de “diferentes representações do que seja a educação de qualidade, viabilizadas por meio da variedade de propostas educacionais que apontem para diversas formações”. Por isso, Flexa Ribeiro defende que os avaliadores devem ser escolhidos a partir de um olhar que mantenha identidade com a vocação institucional da escola.

A mesma questão também é presente para o Colégio Bialik, de São Paulo. Seu diretor-geral, Gerson Herszkowicz, afirma que em princípio é favorável ao ingresso num pool de avaliação, mas que não o fez porque “o momento adequado ainda não surgiu”. Ele acrescenta: “Já diziam nossos sábios que para conhecer a si próprio é preciso conhecer o outro, ter a visão do outro sobre si próprio. Temos um intercâmbio de idéias entre as escolas judaicas visando uma melhoria nos padrões de ensino. Sempre que conseguimos também buscamos uma troca com escolas não-judaicas”, conta Herszkowicz.

Até agora, no entanto, a escola optou por outra via. Com o suporte de um consultor educacional, fez um diagnóstico a partir de uma pesquisa com pais, alunos, funcionários e professores, trabalho que serviu de base para a construção de um plano diretor para os próximos dez anos. Foram estabelecidos sete eixos de trabalho para gerar diretrizes e, ao final do processo, um novo currículo, procurando conjugar o ensino das tradições judaicas com uma abordagem pedagógica mais moderna.

Para o consultor Marcelo Maghidman, responsável pelo diagnóstico do Bialik, a avaliação institucional opera no âmbito quantitativo, enquanto o seu tipo de pesquisa é feito no qualitativo. Ambos podem surtir efeito, acredita, mas as escolas precisam ter consciência do método adotado e coerência entre prática e discurso.

“Acredito que adotar como padrão esse tipo de avaliação, que usa basicamente os desempenhos lógico-matemático e lingüístico dos alunos como meio para olhar a instituição, significa aceitar que todos os projetos pedagógicos são iguais. Mas, se a escola optar por essa via, o importante é fazer um planejamento de cinco, seis anos para melhorar a partir desses dados. O que não vale é mostrar quando vai bem e criticar quando está mal”, diz.

Já no caso do Colégio Israelita Brasileiro de Porto Alegre (RS), o processo de avaliação servirá como ponto de partida para a qualificação da escola. “Nos desafiamos a fazer um projeto de excelência e o primeiro passo é ver o desempenho dos alunos e os fatores associados, o conjunto de variáveis que significa o resultado pedagógico. Para isso, queríamos um olhar de fora, pois dentro há fatores subjetivos ou viés no olhar”, explica a diretora, Mônica Timm de Carvalho.

Segundo Mônica – que deveria receber os resultados do Avalia um dia após ser entrevistada por Educação, o processo foi feito por solicitação dos próprios professores da instituição. “Não dá para negar que é preciso ter coragem para enfrentar esse desafio, cujo propósito é o auto-conhecimento da instituição. Mas é preciso perder o receio e lidar com os resultados com maturidade institucional”, acredita.

Algumas questões, relatadas aos aplicadores da prova, surgiram em sua realização. Uma delas foi a dificuldade de compreensão, por parte dos alunos, de algumas palavras empregadas na prova, mais comuns no eixo Rio-São Paulo, segundo a diretora. Outra foi o fato de que alguns conteúdos de matemática não tinham sido vistos pelos alunos da 8a série, pois a escola só os ministra no colegial. “O importante é que o instrumento valoriza a capacidade de aprendizagem, não algum conteúdo específico”, ressalva Mônica.

A experiência foi tão bem recebida que Mônica, também diretora do Sindicato dos Estabelecimentos de Ensino Privado (Sinepe/RS), que representa cerca de 500 instituições de ensino básico e superior, propôs a adoção do instrumento para mapear as habilidades e competências dos estudantes gaúchos, a partir da avaliação de um grupo-piloto que represente estatisticamente a realidade do estado.

“Com base no diagnóstico, vamos estabelecer metas de investimento e linhas de pesquisa que proponham modelos de trabalho. Vamos juntar professores que queiram fazer pesquisas em educação e constituir um grupo que produza artigos científicos a serem partilhados com as escolas”, relata. O projeto, batizado de Inovação em Educação já foi apresentado a um grupo de escolas, dentre as quais algumas serão sorteadas para compor o grupo-piloto. O Sinepe custeará 50% dos custos, e as escolas participantes os outros 50%. A avaliação será feita no 1o semestre de 2007; as linhas de pesquisa estabelecidas até o início de agosto e os primeiros projetos de qualificação devem ser apresentados já em 2008.