Apesar de bem-visto pelo setor acadêmico, RUF enfrenta dificuldades na avaliação de mercado e na comparação entre instituições com foco em ensino e pesquisa

Por José Eduardo Coutelle

A classificação de instituições universitárias e de cursos de nível superior é um fato já consolidado em outros países e vem conquistando espaço aqui no Brasil, principalmente com o Ranking Universitário Folha (RUF), que chegou a sua terceira edição em setembro deste ano. Praticamente todo o setor acadêmico vê com bons olhos o ranqueamento, mas salienta os riscos que uma leitura preliminar baseada em determinados critérios pode causar. Para os alunos, a lista serve como uma ferramenta de escolha. Para as instituições, um balizador de investimentos e do que precisa ser revisto para posicionar-se melhor diante de seus concorrentes. Entretanto, as modificações na metodologia de avaliação, mesmo que pequenas, inviabilizam qualquer possibilidade de uma leitura comparativa entre uma e outra edição, o que já é impossível entre rankings diferentes. Além disso, a própria elaboração e a forma de pontuação de um determinado indicador suscitam dúvidas se ele realmente corresponde à realidade.

Questionando métodos
Esse é o caso da avaliação de Mercado, um dos itens mais caros ao estudante e, por consequência, à instituição de ensino. Parte-se do princípio de que quem recebeu uma boa formação terá seu lugar garantido no mercado de trabalho. E foi justamente por meio da resposta de 1.970 recrutadores, que apontaram três instituições em que os alunos teriam prioridade na hora de uma contratação, que o ranking avaliou o indicador em 40 cursos e 192 instituições de ensino superior.

A jornalista e organizadora do RUF, Sabine Righetti, explica que a avaliação subjetiva foi escolhida para tentar agregar opinião e não contar somente com análises estritamente numéricas. A questão é que o indicador considerou apenas uma única avaliação quantitativa, sem levar em conta nenhum outro critério. Desta forma, o ranking gerou grandes discrepâncias. Por exemplo, a instituição privada mais bem colocada na avaliação de Mercado (terceiro lugar) ficou em 32º no quesito Ensino e no Geral, 35º. A organizadora reconhece a fragilidade do indicador e destaca que a melhor forma de avaliar o Mercado seria por meio da resposta direta dos egressos.

Nos Estados Unidos foi realizada uma experiência nesse sentido, em que o governo fez um levantamento sobre a situação dos egressos, com o objetivo de identificar quem estava empregado na sua área de formação, quanto recebia e qual sua posição hierárquica. Os rankings estadunidenses apenas utilizaram a informação já levantada. No Brasil, o Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (Inep) divulgou, em julho deste ano, que irá fazer uma pesquisa semelhante com os egressos de 10 cursos, entre eles administração, jornalismo e direito, para identificar sua posição no mercado. A divulgação dos resultados, prevista para abril de 2015, poderá ser incluída em edições futuras do RUF.

Tamanho não é qualidade
Com o formato atual de avaliação, o indicador tende a privilegiar marcas já consagradas no país e principalmente grandes instituições espalhadas por todos os estados, e não necessariamente a qualidade. Isso porque o critério leva em conta o resultado bruto e não traça um percentual entre o número de egressos por instituição e a quantidade de indicações dos recrutadores. Assim, uma pequena instituição que forma com excelência um reduzido número de alunos e cuja maioria, hipoteticamente, consegue um bom lugar no mercado, ficaria muito atrás de uma instituição formadora de milhares de profissionais em todo o Brasil.

Para o diretor científico da Scielo e responsável pela medição científica do RUF, Rogério Meneghini, a falha principal do ranking está no indicador de Mercado. “A avaliação é realmente um tanto viciada e um pouco influenciada pelo tamanho da instituição de ensino. Uma universidade com muitos alunos pode influenciar os recrutadores e assim gerar um valor deformado. Além disso, na minha impressão, ele é muito valorizado, até porque não é um indicador sólido. Acho que deveria ser usado com mais parcimônia”, opina o professor. Conforme a metodologia aplicada, o indicador corresponde a 18% da nota final, podendo rebaixar, ou elevar, uma instituição não só no segmento Mercado, mas também na somatória geral. Meneghini entende que a forma mais simples de equalizar essa distorção seria através do cálculo de percentual entre o número de diplomados por instituição e o de indicações dos recrutadores. “O RUF não está levando em conta que o tamanho do corpo de formados não pode pesar no indicador”, conclui o pesquisador, que foi contrário à decisão final do ranking.

Com uma longa experiência em classificação de cursos superiores, o Guia do Estudante da Abril também se viu em apuros diante desta mesma dificuldade: como avaliar a questão do mercado? Para o diretor de redação, Fabio Volpe, o problema não é o índice ser baseado totalmente na opinião de recrutadores, mas sim em como fazê-lo ter abrangência nacional. “Você até pode ouvir as 500 maiores empresas de Recursos Humanos. Mas como vou replicar para todo o Brasil? É muito difícil fazer um retrato que fuja do volume de alunos e atinja todo o território nacional. Para um aluno do Pará, a empregabilidade maior vai vir da Universidade Federal do Pará e não da FGV ou da USP”, conta.

Para Volpe, o caminho ideal seria acompanhar os alunos formados por um período determinado de tempo. Eles responderiam sobre a dificuldade em conseguir um emprego, os salários e condições oferecidas pelo mercado, eliminando assim a necessidade da análise de recrutadores. Entretanto, para fazer essa pesquisa em âmbito nacional, mesmo que em percentual representativo, comenta Volpe, o custo seria proibitivo para qualquer veículo de comunicação e sua realização fatalmente recairia sobre o Ministério da Educação.

O outro lado
Contrário às críticas apontadas, o reitor da Universidade Presbiteriana Mackenzie, Benedito Guimarães Aguiar Neto, defende o atual modelo de avaliação do indicador. “Dizer que a universidade é boa é olhar só para o próprio umbigo. Ser bom é ser perceptível, ser olhado pelo mercado”, afirma o reitor da instituição particular mais bem colocada na avaliação. Benedito reconhece a discrepância entre os indicadores de Mercado e Ensino, mas entende que os dados que suscitam interpretações dúbias estão justamente neste último. O reitor discorda que, obrigatoriamente, cursos que tenham 100% de professores com mestrado e doutorado e em tempo integral – dois dos critérios de avaliação de Ensino – sejam fundamentais para a qualidade da formação. Para ele, o mais importante é uma mescla entre docentes com experiência de mercado e outros com vivência acadêmica, mesmo que isso impacte negativamente a nota no indicador.

O reitor da Universidade Anhembi Morumbi, Oscar Hipólito, vai além. Ele entende que as universidades públicas têm sua missão mais voltada à pesquisa, enquanto as instituições particulares são mais focadas no mercado. E isso não quer dizer que uma tenha a qualidade de ensino melhor que a outra. Mas sim que seus objetivos são diferentes. E no momento em que o ranking privilegia as características da pesquisa, automaticamente joga para a parte de baixo da tabela a grande maioria das instituições particulares, e torna dissonante a relação entre mercado e ensino. Hipólito sugere que as universidades sejam avaliadas pela sua missão, mesmo que para isso tenham que ser criados diferentes pesos para determinados valores.

Com relação à avaliação de Mercado, Hipólito concorda que a forma como o indicador foi conduzido privilegia as instituições com maior número de campi espalhados pelo país e as universidades mais conhecidas. Para ele, a saída é a consulta direta com o egresso. “Não é difícil fazer isso. Nós recolhemos as informações dos nossos alunos pelo período de um ano e meio”, diz. Além de excluir a questão da regionalidade, este critério de avaliação incluiria no indicador todos os profissionais que optaram pelo empreendedorismo em vez do trabalho assalariado.

A coordenadora da Pós-graduação de Ciências Sociais da PUC-SP, Sílvia Borelli, conta que as universidades já são cobradas pela Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (Capes) a enviar relatórios sobre a posição de seus egressos de pós-graduação. “Tenho de dizer se estão trabalhando, se estão dando aula ou se estão no mercado. É um item obrigatório. Poderíamos fazer também para os alunos de graduação e manter por três anos”, comenta. Enquanto essa medida não é mais discutida, uma alternativa, sugerida pela professora, é adensar a pesquisa quantitativa de opinião com a realização de entrevistas de profundidade com gestores de ensino e com egressos.

Talvez uma possível saída seja melhorar o que já se tem. Essa é a opinião do avaliador do Inep/MEC e sócio-diretor da Intaag Educacional, Edwin Parra Rocco. O consultor acredita que além de a avaliação subjetiva ser hipervalorizada, ela corre o risco de ser direcionada às pessoas erradas. Edwin entende que é, no mínimo, discutível a escolha dos recrutadores para a pesquisa de opinião. “Quem avalia o desempenho do funcionário é o chefe de setor. O RH analisa o currículo e não o efetivo desempenho do candidato. Não digo que a opinião dele não sirva, mas o processo precisa ser melhorado”, destaca. Uma alternativa sugerida pelo consultor é o acompanhamento dos egressos através das associações de ex-alunos. No entanto, ele mesmo reconhece a dificuldade de manter o contato, visto que é natural o estudante mudar de endereço, de telefone e de cidade.

Autor

Ensino Superior