A insurgência dos países do Mercosul contra o Programa Internacional para Avaliação de Estudantes (Pisa) está tomando forma. Reunidos durante o Seminário Regional de Avaliação Educativa para o Mercosul, realizado em março em Buenos Aires, os ministros da Educação do bloco discutiram critérios regionais que desejam ver incluídos na avaliação coordenada pela Organização para Cooperação e Desenvolvimento Econômico (OCDE). Em novembro do ano passado, o Ministério da Educação do Brasil anunciou que o Seminário teria como objetivo a “construção de indicadores regionais da qualidade da educação nos países da América do Sul”. Apesar de um novo instrumento de avaliação não ter sido declarado oficialmente, o sentimento geral é de que é preciso avançar mais do que  apenas a adoção de critérios regionais para o Pisa. Os países consideram que o programa não é um instrumento válido para a produção de informação sobre a educação no Mercosul.

“Não é possível comparar o incomparável”, defendeu Alberto Sileoni, ministro de Educação da Argentina. Sileoni confirmou a presença do país no Pisa 2015, mas criticou o modelo. “Os rankings definem a qualidade da educação a partir de suas carências, muitas vezes sem considerar os esforços. Em países da nossa região houve um esforço muito grande de inclusão e isso deve ser considerado”, reclamou.

Ainda que o programa leve em conta fatores como a composição socioeconômica dos países que participam da prova, a posição do Mercosul como bloco é de que isso não é suficiente. “Um exame não deve servir para estigmatizar o sistema educacional”, afirmou Ricardo Ehrlich, ministro de Educação do Uruguai. “O formato de ranking do Pisa tem um efeito negativo e acreditamos que é preciso seguir participando do programa, mas fazer ouvir nossas vozes.”

Critérios regionais
Aplicada a cada três anos, a prova do Pisa tem ênfase em três   áreas que se alternam  a cada edição: leitura, matemática e ciências.  O programa pretende ser um mecanismo de avaliação externa para medir a capacidade de estudantes da faixa dos 15 anos em aplicar os conhecimentos adquiridos nas escolas “para uma participação plena na sociedade”, segundo sua definição oficial. O que os representantes do Mercosul questionam é até que ponto é possível comparar as habilidades de sul-americanos com as dos outros países que participam do programa.

A intenção é levar ao Pisa um pedido de inclusão de pontos de avaliação mais representativos da América do Sul. “Queremos que aspectos como o compromisso dos seres humanos com a natureza, com seu país e com a sociedade em que vivem sejam mais importantes que uma meritocracia do aprendizado nas provas”, relatou o ministro da Argentina.

Em uma declaração conjunta, as autoridades dos ministérios de Educação do bloco delinearam o que deve conduzir o debate dos próximos anos sobre os critérios regionais de avaliação. A intenção é que nos próximos anos as estratégias nacionais de produção de informação sobre o sistema educacional possam convergir e incorporar conteúdos que vão além das disciplinas tradicionais, como “fortalecimento do sentido de pertencimento à América Latina” e “educação para convivência”. O documento também indica que a região deve produzir mais análises contextualizadas e promover mais reflexão sobre os diagnósticos.

O interesse em incorporar variáveis regionais à avaliação de estudantes ficou claro também pelo lugar de destaque que ganharam as declarações do ministro de Educação da Bolívia, Roberto Aguilar Gómez. O país não participa do Pisa e Aguilar Gómez preferiu não opinar sobre o exame, mas foi enfático em suas críticas a avaliações padronizadas. “Temos uma realidade plurinacional, com diversidade de idiomas. Se queremos avançar juntos rumo a uma avaliação conjunta, isso deve ser contemplado”, destacou.

Ideb na Agentina
Harvey Spencer Sánchez Restrepo, diretor do Instituto Nacional de Avaliação Educativa do Equador, que também não é parte do Pisa, seguiu o mesmo caminho que o ministro boliviano. “A interculturalidade, a plurinacionalidade e a variedade de línguas são os eixos que precisam ser levados em conta para uma cultura de avaliação que tenha legitimidade entre os cidadãos”, opinou.

Entre as experiências que inspiram o debate sul-americano sobre um novo instrumento para gerar indicadores educacionais, o Índice de Desenvolvimento da Educação Básica (Ideb) do Brasil foi citado várias vezes como inspiração. A Argentina, que há 20 anos gera indicadores de amostra com o Operativo Nacional de Avaliação (ONE, em espanhol), aplicado a cada dois ou três anos, anunciou  a criação de um índice baseado no Ideb para o ensino médio.

O Índice de Melhoria do Ensino Médio (Imesa, na sigla em espanhol) é calculado a partir de três variáveis: o rendimento, que representa a média de conhecimentos adquiridos em língua e matemática na prova aplicada pelo ONE; a taxa de conclusão, que reflete a quantidade de estudantes que pôde terminar o ensino médio; e a média de tempo que cada estudante leva para concluir a última etapa da Educação Básica.

A equipe que apresentou o modelo destacou que a equação pode esconder armadilhas se a intenção é avaliar o aprendizado. Com o aumento da taxa de conclusão e a diminuição do tempo médio, o índice pode apresentar melhorias, ainda que o rendimento tenha baixado. Por isso é mais importante olhar para os indicadores do que para o índice, avaliam.

“Estamos num momento ideal para chegar a acordos e unificar critérios de avaliação no Mercosul”, avalia Delia Méndez, diretora nacional de Gestão Educativa do Ministério da Educação da Argentina, à Educação. “Vai ser muito bom para a região poder avaliarnos com outro olhar, com critérios próprios.”

O custo do pisa
A posição de Delia não é apenas técnica, mas também política. Segundo ela, o custo imposto pelo Pisa aos países que aplicam a prova não vale o seu preço. “Um processo de avaliação pensado na região para a região tem como objetivo dignificar os povos de cada um de nossos países e aí está a grande diferença com um ranking pensado por um país central.”

No Uruguai, o Sistema de Avaliação da Aprendizagem (SEA, em espanhol) é feito pelos estudantes em um computador individual. As informações são geradas automaticamente e ficam em uma plataforma à qual professores, gestores e avaliadores têm acessos diferenciados. Ainda que com uma intenção diferente  do Pisa, o SEA é um exemplo de como avaliações qualitativas podem ser produzidas com rapidez e acesso amplo. “A avaliação é formativa e não tem como objetivo render notas”, disse à Educação Andres Peri, da Administração Nacional de Educação Pública (Anep) do Uruguai.

Peri questionou o uso de índices compostos, nos quais não fica claro que variáveis se alteram. Para ele, o sistema uruguaio é forte por permitir conhecer profundamente cada escola e construir uma referência para a reflexão conceitual sobre o processo de cada estudante. “O SEA é um instrumento que permite pôr o foco no aprendizado. A preocupação não é medir bem, mas sim gerar reflexão.”

Enquanto o Ideb se apresenta como um modelo factível, o SEA aparece como um modelo ideal, mas de difícil adaptação para sistemas educacionais maiores. Porém, o primeiro momento do debate sobre critérios regionais para as provas do Mercosul indica que ambos serão olhados com atenção enquanto a região tenta decidir como e por quem quer ser avaliada.

A participação dos sul-americanos

Atualmente, participam do Pisa os 34 países-membros da OCDE e vários países convidados. No Pisa 2009 foram ao todo 65 países. Além desses, mais 10 participaram, em 2010, de uma aplicação chamada Pisa Plus, totalizando 71 participantes da avaliação de Leitura. No Pisa 2012 confirmou-se a participação de 67 países, 34 membros da OCDE e 33 países/economias convidados. O Brasil é o único país sul-americano que participa do Pisa desde sua primeira aplicação, tendo iniciado os trabalhos com esse programa em 1998. Argentina e Peru fizeram parte, em 2001, da experiência Pisa Plus. No entanto, em 2003, somente Brasil e Uruguai entraram no programa. No Pisa 2006 houve adesão de um número maior de países da América do Sul, com a volta da Argentina e a entrada do Chile e da Colômbia (além de Brasil e Uruguai). Em 2009, o Peru incorporou-se ao grupo, totalizando seis países sul-americanos. No Pisa Plus de 2010, participou, também, o Estado de Miranda, Venezuela. Na prova de 2009, Argentina e Uruguai ficaram em 58º e 47º lugares respectivamente. O Brasil assumiu o posto 53 entre os 65 países que participaram naquele ano. No Brasil, o exame é coordenado pelo Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (Inep).