Todo o esforço com testes e avaliações é um desperdício se eles não mudarem a qualidade do ensino.” A frase parece óbvia, mas faz sentido no contexto brasileiro em que boa parte dos resultados de avaliações educacionais serve mais para ranquear as melhores e piores escolas do que para produzir sentido prático para as escolas. O autor da frase é o professor e pesquisador canadense Douglas Willms, que esteve no Brasil no começo de novembro para participar de um seminário internacional promovido pelo Instituto Nacional de Estudos e Pesquisas Educacionais (Inep), a Associação Brasileira de Avaliação Educacional (Abave) e o movimento Todos pela Educação. Para uma plateia de pesquisadores, gestores escolares e representantes de diversas entidades, ele mostrou os resultados de experiências que vem desenvolvendo no Canadá para tentar tornar mais úteis os resultados das avaliações.

O canadense Douglas Willms: as resultados de avaliações de estudantes têm sido usados de forma injusta

Willms é autor de livros reconhecidos por pesquisadores da área, como Monitoramento de desempenho escolar: um guia para educadores, e participou da elaboração dos questionários que compõem o Programa de Avaliação Internacional dos Estudantes (Pisa). Pesquisador da Universidade de New Brunswick, no Canadá, ele criou em 2005 uma empresa, a The Learning Bar, que desenvolve programas de avaliações para escolas. Atualmente, cinco províncias do país usam a metodologia que já começa a ser exportada para outros países, incluindo a China. Entre as principais avaliações desenvolvidas por Willms está um teste aplicado a crianças de 3 a 5 anos e uma pesquisa sobre “clima escolar” na Educação Básica, que tenta apontar o nível de envolvimento dos alunos com a escola e o bem-estar de toda a comunidade.

Em entrevista à Educação, Willms critica o fato de que os testes, em vez de promoverem intervenções positivas na escola, têm como principal função servir como uma “prestação de contas à sociedade”, ou o chamado accountability.  “Os resultados de avaliações de estudantes têm sido usados de forma injusta para a ‘responsabilização’ de escolas e professores”, diz.

Uma grande crítica que é feita ao sistema de avaliação no Brasil é que os nossos indicadores medem o desempenho, mas não levam em conta outras variáveis que impactam o aprendizado, como, por exemplo, a situação socioeconômica do aluno. É possível ter um indicador que leve outros fatores em consideração?
Em primeiro lugar é importante separar os resultados que vêm do processo de escolarização do background econômico ou social. Se nós pudéssemos ter só um indicador para todo o sistema escolar, eu preferiria saber qual é a porcentagem de estudantes que podem ler bem ao final do 3º ano. E aí é preciso olhar quais são os grandes fatores que levam a isso. O primeiro grande fator é a qualidade do ensino. O tempo de exposição da criança ao ensino também é um fator importante. Outro fator é o engajamento do aluno, o que inclui o sentimento de pertencimento à comunidade escolar. O background familiar é muito importante, mas nós temos muitos alunos que vêm de famílias pobres e conseguem se sair muito bem. Eu tento tirar o foco da discussão da pobreza porque parece que estamos presos nesse ponto há 50 anos. Nós temos essa imagem de que não podemos seguir em frente por causa da pobreza. Mas nós precisamos mudar esse foco para identificar quais são os elementos que permitem que crianças com qualquer tipo de background possam aprender.

O Brasil vai começar a aplicar uma prova aos alunos do 2º ano para medir a alfabetização. Um dos programas que vocês desenvolveram foi o Early Year Evaluation (avaliação dos primeiros anos), em que as crianças são avaliadas a partir dos 3 anos. O que avaliar em crianças tão pequenas?
Na idade dos 7 ou 8 anos, o foco deve ser o nível de leitura. Mas se você voltar à idade de 3 a 5 anos, vai descobrir algum dos fatores que poderiam prever os resultados que são constatados aos 7 ou 8 anos. As crianças têm de ter habilidades de linguagem e comunicação.  Elas precisam ter habilidade de relacionar as coisas, de seguir comandos. É preciso medir também o conhecimento geral sobre o ambiente em que vivem, a comunidade. E depois temos o desenvolvimento físico, o que inclui o desenvolvimento motor. E por último as habilidades sociais. São esses os fatores que nós avaliamos no EYE.

No caso do programa EYE, os resultados da avaliação dos alunos são devolvidos ao professor muito rapidamente por meio de um programa de computador que indica o nível de cada uma dessas habilidades dos alunos e quando é necessário intervir. Aqui no Brasil os resultados demoram a ser divulgados e o professor não sabe o que fazer com eles. Como mudar isso?
Eu estava há quase 30 anos fazendo pesquisa acadêmica e publicando artigos e fiquei desestimulado porque nada mudava. Então eu montei a empresa para fazer coisas que são muito proativas e respondem às necessidades dos professores. Uma das coisas que ouvíamos constantemente dos diretores é que finalmente tinham uma avaliação que ia ao encontro das necessidades dos professores. Então uma das grandes características do programa é ter um feedback imediato, você não pode esperar um ano para ver o resultado. Com o poder da internet e das suas ferramentas, você pode dar esse retono muito rapidamente. Quando fazemos o EYE os resultados são entregues imediatamente aos professores.  Isso é atender às necessidades deles. Uma das coisas que nos surpreendeu no começo é que ao entregar os resultados eles diziam: “o que devemos fazer agora?”. A partir disso estamos construindo cada vez mais recomendações aos professores nos nossos relatórios a partir do diagnóstico.

Para comparar os resultados do desempenho de uma escola você trabalha com um conceito interessante que é o de “replica school” (ou escola-réplica, em tradução livre). Em que ele se baseia?
Em muitos países os resultados das avaliações são publicados nos jornais nas tabelas de ranking que apontam ‘essas são as piores escolas, essas são as melhores’. Esse modelo é injusto com os professores e com os alunos. Você diz àqueles estudantes que eles são os piores do país. Então, quando fazemos avaliações como a Prova Brasil, as escolas que recebem alunos de áreas muito pobres muitas vezes vão dizer: “nós não fomos bem, mas veja os alunos que nós recebemos”. E você tem também as escolas que têm um bom entorno e boa estrutura e elas vão dizer “olha como nós fizemos um bom trabalho”. Os dois estão errados. Então, a lógica da escola-réplica é pegar o perfil dos 300 estudantes de uma escola, por exemplo, e combiná-los com 300 outros estudantes do nosso banco de dados que tenham o mesmo perfil, o mesmo background familiar. Assim você tem uma réplica daquela primeira escola. E então nós podemos dizer qual é a média da escola-réplica e fazer uma comparação muito mais justa com o resultado.

O Brasil tem planos, em parceria com outros países da região, de elaborar um índice latino-americano para medir a qualidade da educação. Você acha que isso é útil?
É sempre importante saber o que estudantes sabem ler ao final da terceira série. Há muito interesse em fazer aqueles tipos de comparação internacional do tipo “o Brasil evoluiu um pouco mais do que o Chile e o Chile evoluiu mais aqui ou ali”. Mas você continua precisando saber se as crianças estão aprendendo. Se você ainda tem 50% de crianças que não leem direito e o Chile tem 38%, os dois estão em uma situação ruim.

De uma forma geral, você acredita que os governos têm tido sucesso em transformar os resultados das avaliações em políticas capazes de corrigir os problemas de forma prática?
Em geral, não. Nós estamos trabalhando com governos para tentar trazer novas abordagens em relação à avaliação.