Resultados das provas ajudam a evidenciar as falhas de aprendizagem dos alunos

Quando foi instituída em 2005, a Prova Brasil tinha como objetivo final fornecer a gestores de cada escola informações sobre o desempenho de seus alunos, o que lhes possibilitaria saber em que e como trabalhar nas disciplinas de língua portuguesa e matemática. Isso seria possível graças ao envio dos boletins de desempenho para cada unidade escolar, no qual constaria a distribuição percentual de alunos e as médias obtidas por eles na escala da prova. Com o documento em mãos, o diretor poderia, além de identificar as fraquezas de seu alunado, planejar ações que combatessem as falhas.

A apropriação pedagógica das notas da Prova Brasil foi realizada normalmente até 2008, quando as escolas receberam os boletins referentes à Prova Brasil 2007. Isso porque as informações relacionadas à prova feita por 60 mil alunos em 2009 só chegaram às escolas quase dois anos após sua realização. Os boletins só foram divulgados no site do Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (Inep) no dia 10 de agosto deste ano – em outras palavras, a três meses da edição 2011 do exame. Com o atraso, professores e gestores Brasil afora tiveram acesso apenas ao Índice de Desenvolvimento da Educação Básica (Ideb), calculado a partir da multiplicação da nota da Prova Brasil com a taxa de aprovação, e à nota geral do exame (no país, no estado e no município). Dado o objetivo final da Prova Brasil – identificar e corrigir falhas de aprendizagem no contexto de cada unidade escolar -, surge um questionamento: na ausência dos dados, como as escolas brasileiras conseguiram se situar e planejar ações para os anos seguintes?  

A partir do contato com três escolas, foi possível observar reações diversificadas. Há aquelas que conseguiram readequar seus planos pedagógicos com os resultados das avaliações realizadas no âmbito municipal. Outras optaram por se nortear pelas avaliações internas, realizadas pelos professores em sala de aula. Mas há um caso pior: escolas que sequer sabem como fazer a apropriação das notas. Este é o caso da EE Adriano Jorge, em Arapiraca (Alagoas). Por telefone, Maria Eliete da Rocha, diretora, que ocupou o cargo de coordenadora até 2010, disse que estava, naquele momento, buscando as notas da Prova Brasil 2009, com o intuito de atualizar o projeto político-pedagógico da escola. “Sem os boletins, ficou em aberto: o que conseguimos de 2007 para 2009? O que deveríamos ter feito antes da Prova Brasil 2011?”, questiona a diretora. Para driblar o problema, Maria Eliete conta que optou por nortear as ações da escola apenas com o Ideb. “O Ideb acabou se tornando o cartão de visita da escola”, opina. A cultura da interpretação pedagógica dos resultados, entretanto, não existe na escola. “Acredito que isso é muito de cada ambiente. No nosso caso, buscamos, internamente, melhorar a partir dos números mesmo”, afirma. Maria Eliete diz, por fim, que não conhece os elementos da escala e os descritores da Prova Brasil.

Também na região Nordeste, a EE Otávio Lamartino, em Cruzeta (RN), só teve acesso aos resultados do Ideb. O atraso no envio dos boletins não impediu a diretora, Francineide Medeiros Silva, de dar continuidade ao que a equipe já observara nas edições de 2005 e 2007 da Prova Brasil. “Sinceramente, não atrapalhou. A gente vive trabalhando em cima da nossa própria avaliação”, relata. Francineide conta que a avaliação interna engloba três aspectos: a evasão, a frequência e o desempenho dos alunos, que é medido com notas, participação, projetos de pesquisa, tarefas de casa, entre outros. Segundo o relato da diretora, o somatório de medidas fez com que a equipe escolar já conhecesse os alunos. “A Prova Brasil seria uma coisa a mais”, diz.

Apesar do esforço da escola em sistematizar sua própria avaliação, a comparação de seus resultados com os produzidos pela Prova Brasil ao longo dos anos não é possível. Isso porque o exame federal é construído a partir da Teoria da Resposta ao Item (TRI), que mede as habilidades e competências do aluno num determinado momento de sua trajetória escolar. Em contrapartida, a avaliação interna da EE Otávio Lamartino faz apenas um “somatório” das notas.

Avaliações municipais
A Emef Olavo Pezzotti integra a rede municipal de São Paulo. A diretora da escola, Maria de Fátima de Oliveira, ficou surpresa quando questionada sobre as consequências do atraso na devolução da Prova Brasil. “Continuo sabendo como meus alunos estão porque a Prova São Paulo não deixou de chegar”, afirmou. Criada em 2007, a Prova São Paulo é a avaliação externa da rede municipal que envia boletins com os desempenhos individuais de cada aluno. Até julho deste ano, quando seus resultados foram incorporados a um índice que definirá o bônus docente, o exame era usado apenas para diagnóstico das escolas.

Maria de Fátima conta que, quando recebe os boletins – tanto da Prova Brasil como da Prova São Paulo -, reúne os professores para analisar os dados. “Montamos mapas que situam a escola em relação ao país, ao estado e à rede”, diz. Depois, as notas são discutidas para que se entenda o que dizem sobre os alunos. A diretora, que conhece bem a escala e a matriz da Prova Brasil, diz ter participado em 2006 de uma capacitação do Ministério da Educação e da Secretaria Municipal de Educação sobre o exame. “Sem a capacitação, teria demorado para entender as duas coisas”, relata.

Na edição de 2007 do exame foi possível detectar, por exemplo, que os alunos da 8ª série apresentaram desempenho abaixo do esperado em matemática. Supondo que a nota obtida foi de 149, a equipe consultou a escala da Prova Brasil e percebeu que a nota dizia respeito a habilidades exigidas de alunos do primeiro ciclo do fundamental, e não do segundo. “Eles estavam atrasados. Com aquela nota, só sabiam localizar informações, reconhecer determinados tipos de números, saber o que é antecessor e sucessor etc.”, conta. Os professores fizeram, então, uma sondagem individual com os estudantes. “Percebemos que eles estavam na 8ª série e não entendiam o que são números negativos e decimais, por exemplo”, diz.

A diretora tem críticas à matriz de avaliação da Prova Brasil. Para ela, os docentes não sabem como encaixar os conteúdos que ministram nas tais “competências e habilidades”. “A prova mede outra coisa, independentemente do que a escola ou o professor fazem”, aponta. Outro questionamento diz respeito à distância entre os resultados produzidos por avaliações externas e internas. O problema causa, em sua escola, um processo de “neurose” com as notas. “Há caso de o melhor aluno ter apresentado o pior desempenho na Prova São Paulo. Há um surto na escola com isso”, afirma.  

Papéis
O atraso no envio dos boletins é preocupante porque, nos âmbitos federal, estadual e municipal, a ênfase em sistemas de avaliação externa é cada vez maior. Se um dos objetivos finais da Prova Brasil é ajudar o gestor na melhoria da aprendizagem e as informações necessárias para isso demoraram a ser oferecidas, qual é a função do exame? “O atraso compromete uma das funções da prova, que é subsidiar o planejamento das escolas”, explica Sandra Zákia, da Faculdade de Educação da USP. Sandra lembra, entretanto, que é preciso tomar cuidado para não atrelar, de forma estreita, o planejamento aos resultados. “É preciso lembrar que uma das funções da Prova Brasil é subsidiar políticas públicas, o que pôde ser feito com os resultados gerais”, aponta.    ( Beatriz Rey )

Como fazer a apropriação pedagógica dos resultados?

Marta Avancini da Revista Escola Pública

Antes de qualquer coisa, é preciso entender os conceitos básicos que envolvem as avaliações externas no Brasil. A matriz de avaliação é diferente da matriz de ensino adotada pelas escolas, mas elas se comunicam entre si na medida em que a primeira é construída a partir da segunda. Deveria ser, ao menos. Ou seja, os conteúdos curriculares previstos nos documentos oficiais são a base para elaborar questões que compõem a Prova Brasil. As questões que fazem parte da prova recebem a denominação técnica de item – cada questão corresponde a um item avaliado. Um item, por sua vez, testa a aprendizagem de uma habilidade específica, prevista na matriz de ensino. Os itens são elaborados por especialistas de diversas universidades brasileiras, que alimentam um Banco Nacional de Itens com um número enorme de questões utilizadas nas provas. Cada item é pré-testado antes de ser incluído no banco de itens. As respostas dadas pelos alunos são distribuídas em uma escala, construída a partir dos itens avaliados. No caso da Prova Brasil e do Sistema Brasileiro de Avaliação (Saeb), é adotada a mesma escala, que varia de 0 a 500, com subdivisões de 25 pontos. Cada subdivisão corresponde a um nível. Desse modo, os níveis vão, por exemplo, de 125 a 149, de 150 a 174, de 175 a 199, e assim por diante. A distribuição da pontuação na escala, em si, não significa nada. Para compreender o que um ponto da escala representa, é preciso saber interpretá-lo. 1 No caso da Prova Brasil e do Saeb, existe um descritor para cada item avaliado, que informa a habilidade correspondente àquele item. Por exemplo, se os alunos do 5º ano de uma determinada escola pública obtiveram média de 172 pontos em língua portuguesa, tal pontuação está relacionada a um conjunto de habilidades. De acordo com a matriz de avaliação das provas, essa média faz parte do nível que vai de 150 a 174. Nesse nível, os alunos são capazes de, num texto, identificar o tema e localizar informações explícitas em um texto recorrendo à seleção e à comparação de dados, entre outras habilidades. Embora a escala forneça os elementos que possibilitam a interpretação dos resultados, não informa o conteúdo que os estudantes devem dominar nas séries/anos avaliados. Cabe às escolas e às redes de ensino estabelecer os patamares que seus alunos devem alcançar.