2007/10/30

O fetichismo dos rankings

Nos meus tempos de aluno do secundário (já lá vão uns 9 aninhos), aturei, com algum desespero, as aulas de preparação dos exames nacionais. Nem todos os professores se preocupavam em passar o ano inteiro a treinar os alunos nas respostas aos ditos, mas sempre havia aqueles - os piores- que nos avisavam dos perigos de responder às questões de acordo com o que quer que fosse a nossa opinião.
Eram-nos, pois, disponibilizadas respostas predispostas para questões como a educação inglesa de Carlos em Os Maias, as origens económicas da Revolução Industrial ou a Metempsicose no Fédon de Platão. Diga-se, desde já, que o método provou ser um sucesso: no colégio onde andei - por sinal bastante profano em matéria de valores morais - os alunos mais bem sucedidos foram invariavelmente aqueles que decoraram e transcreveram as respostas dadas pelos professores nas aulas. Alguns estudantes levaram o requinte e a preguiça mais longe e recorreram aos serviços de explicadores contratados "ad hoc" para as magnas provas. Segundo a lógica "resultadista" dos fetichistas dos "rankings", são alunos de elite. Os números não mentem.

Por tudo isto, tem piada o discurso de consternação relativo às discrepâncias entre as notas internas e as notas externas em algumas escolas (privadas ou públicas). Dá-se de barato aquilo de que, quem se dê ao trabalho de ler os exames nacionais, duvida: isto é, que as notas internas são falsas e que verdadeiras, verdadeiras só as notas dos exames nacionais. No domínio das humanidades e das ciências humanas, e tendo em conta que as perguntas dos exames nacionais pouco variam de ano para ano, é verdadeiramente notável o zelo com que se defende a pureza imaculada das notas dos exames nacionais. Para mais, tendo em conta que, com isso, se ignora as práticas habituais, em muitas escolas, de, nos exames internos, não se fazer perguntas relativas aos livros lidos nas aulas, ao contrário do que sempre sucedeu nos exames da dita avaliação externa. Ou seja, duvida-se de um sistema que, ao menos, em parte procurou evitar que se decorassem as respostas e confia-se num que só se preocupa com isso. Mais, dá-se crédito ao sistema controlado directamente por um Ministério, cuja única preocupação é a...melhorar a estatística. Pois, isto tem muita piada.

Sem prejuízo, e estando, como está, o fetichismo dos números na moda, aconselho - qual spin doctor - a mui impopular Ministra da Educação a multiplicar os exames nacionais e a estatística correspondente. É remédio santo para desarmar maior parte dos críticos e dá aquela imagem de autoridade que os nossos fétichistas gostam. Ergo, que mil exames e rankings floresçam: com sorte, ninguém se lembrará daquela equipa que tem 60& da posse de bola, colecciona dúzias de cantos, remata 20 vezes à baliza e mesmo assim perde 0-1. Só no futebol é senso comum constituir a estatística a mais mentirosa das verdades.

20 comentários:

Anónimo disse...

Excelente post. Muito, muito bem!

Luís Lavoura

JoaoMiranda disse...

José Barros,

Basta olhar para as ecolas do Porto:

- Filipa de Vilhena: diferença pequena entre nota interna e nota externa

- Ribadouro: grande diferença entre nota interna e nota externa

Pela teoria do José Barros, os fulanos na Filipa de Vilhena andam todos a trabalhar para a nota do exame. Os do Ribadouro andam todos preocupados em aprender. Não faz sentido.

JB disse...

Caro JM,

Quem lhe disse que eu tinha uma teoria. Eu só descrevo aquilo por que passei há uns anos atrás enquanto aluno. Nem o faço com outro intuito senão o de lançar algumas questões pouco discutidas nesta coisa dos rankings. Faz-me um pouco espécie que os maiores defensores dos rankings sejam simultaneamente alguns dos maiores críticos do Ministério que faz os exames nacionais. Mas só isso.

Carlos Guimarães Pinto disse...

Nos meus tempos de secundario, lembro-me de haver um movimento de desercao no 2 e 3 periodo para escolas privadas conhecidas por inflacionarem as notas dos alunos do 12o ano. Os alunos nao se importavam de pagar um ano inteiro de aulas, estando apenas 2 ou 3 meses na nova escola, para terem as notas internas.
Parece-me que o ideal seria que se deixasse ao livre arbitrio das universidades escolher os criterios de acesso que bem entendam. Parece-me que nesse caso, as notas internas seriam preteridas. Parece-me... Muito provavelmente os exames nacionais do ministerio da educacao seriam trocados por exames organizados por instituicoes privadas tal como acontece com o acesso 'as Business Schools nos EUA que utilizam o GMAT como prova de acesso.
De resto, ter 60% de posse de bola e perder por 1-0 sao coisas do futebol. Injusto mesmo e' perder por causa do arbitro.

JB disse...

Parece-me que o ideal seria que se deixasse ao livre arbitrio das universidades escolher os criterios de acesso que bem entendam. - Carlos

Perfeitamente de acordo. É uma ideia que também defendi nos tempos em que escrevi no teu Licenciosidades.

JoaoMiranda disse...

««Faz-me um pouco espécie que os maiores defensores dos rankings sejam simultaneamente alguns dos maiores críticos do Ministério que faz os exames nacionais.»»

O que é um defensor dos rankings? Alguém que defende o acesso livre à informação pública?

O facto de os exames nacionais serem criticáveis implica que não devem ser publicados os dados que o ministério dispõe sobre os resultados?

JoaoMiranda disse...

««Quem lhe disse que eu tinha uma teoria.»»

Foi a tese que o José Barros usou para desmentir a minha interpretação dos gráficos que eu publiquei no Blasfémias.

JB disse...

Foi a tese que o José Barros usou para desmentir a minha interpretação dos gráficos que eu publiquei no Blasfémias. - JM

Caro João

Foi apenas um contra-exemplo, que é um facto. Factos não são teorias. Se eu digo que há alunos a decorar respostas feitas pelos professores e a chapá-las nos exames nacionais de línguas e ciências humanas, estou a formular um juízo de facto. Se eu digo que há escolas que passam o ano a treinar os alunos para os exames nacionais e outras que não o fazem, também estou a proferir um juízo de facto. Não vejo que dois ou três juízos de facto constituam uma teoria. Vá lá que eu não sou o Pedro Arroja que chumbaria o Descartes em epistemologia.

Mais a sério, o que me importa neste momento é debater uma série de questões:

1) Por que razão se dá mais crédito às notas dos exames nacionais? Por serem, em média, mais baixas?

2) Por que razão as pessoas que não confiam no Ministério em relação a tudo o resto, confiam na qualidade dos exames nacionais que são por ele encomendados? E, sendo defensores da autonomia, por que razão não consideram que as escolas sabem avaliar melhor os seus alunos do que o Ministério? Ou, pelo menos que os seus instrumentos de avaliação são melhores que os do ME?

3)Por que razão há escolas privadas que praticam os mesmos exactos métodos de ensino e têm resultados perfeitamente díspares (vide, post do Zero de Conduta)?

4) O que explica que haja escolas privadas de elite, melhores que as melhores escolas públicas e que a relação seja a inversa no ensino superior? E, a propósito, o que se retira de tal relação no ensino superior no que diz respeito ao ensino secundário?

Enfim, o que eu gostava é de ler respostas a este tipo de questões.

JB disse...

Correcção:

Peço desculpa ao JM.

Caro João Miranda,

assim é que está bem.

Carlos Guimarães Pinto disse...

"Perfeitamente de acordo. É uma ideia que também defendi nos tempos em que escrevi no teu Licenciosidades"

Nosso, Ze, nosso. Nao no sentido socialista da coisa, claro esta.

abraco

Anónimo disse...

Quatro preciosas perguntas, JB. Preciosas. Muito bem.

Luís Lavoura

Anónimo disse...

Já agora, a minha tentativa de resposta a essas perguntas encontra-se num post hoje no Spekers' Corner LS.

Luís Lavoura

JoaoMiranda disse...

««1) Por que razão se dá mais crédito às notas dos exames nacionais? Por serem, em média, mais baixas?»»

Exames: uniformes, objectivos, públicos e transparentes (é por isso que podem ser criticados)

Avaliação interna: varia de escola para ecola, não é pública, não é transparente.

««2) Por que razão as pessoas que não confiam no Ministério em relação a tudo o resto, confiam na qualidade dos exames nacionais que são por ele encomendados?»»

Porque os dados estatísticos não mentem. Existem provas e mais provas de que os exames são mais fiáveis que a avaliação interna.

«« E, sendo defensores da autonomia, por que razão não consideram que as escolas sabem avaliar melhor os seus alunos do que o Ministério? »»

Os defensores da autonomia das escolas são também defensores da avaliação externa. A avaliação para ser fiável tem que ser sempre feita por autoridades independentes.

««3)Por que razão há escolas privadas que praticam os mesmos exactos métodos de ensino e têm resultados perfeitamente díspares (vide, post do Zero de Conduta)?»»

Nunca defendi que isso não seria expectável. O sistema privado não tem como objectivo produzir igualdade. O público é que é suposto ter. Por isso é que tem intersse analisar se o público atinge esse objectivo ou não.

««4) O que explica que haja escolas privadas de elite, melhores que as melhores escolas públicas e que a relação seja a inversa no ensino superior?»»

Isso é fácil de explicar. As universidades privadas estiveram proibidas até 1984 e nunca desde então tiveram liberdade para ensinar.

««E, a propósito, o que se retira de tal relação no ensino superior no que diz respeito ao ensino secundário?»»

Não se retira nada. Tal como não se ritira nada das comparações entre escolas públicas e privadas ou de universidades públicas e privadas. Elas simplesmente não competem em igualdade de condições.O que é o Estado tem privilégios públicos.

JB disse...

JM:

Exames: uniformes, objectivos, públicos e transparentes (é por isso que podem ser criticados) - JM

Nada disso é sinónimo de qualidade. Também os concursos públicos são uniformes, objectivos, públicos e transparantes e é o que se sabe. Parecer não é o mesmo que ser.
Além disso, se a avaliação interna é oculta e secreta (e por que razão haveria de não ser?), o JM não pode dizer que a avaliação externa é melhor, porque, pura e simplesmente, desconhece a avaliação interna.
Certo é que, pelo menos, nas escolas privadas os pais confiam na avaliação interna ou não poriam os filhos nessa escola. E o JM não tem meio de saber se os pais confiam na avaliação do Ministério, porque os exames nacionais são obrigatórios e os pais não têm senão que se sujeitar.

JB disse...

Porque os dados estatísticos não mentem. Existem provas e mais provas de que os exames são mais fiáveis que a avaliação interna. - JM

As únicas provas que existem prendem-se com o facto de as notas dos exames nacionais serem em média mais baixas. O que é que isso prova sobre a qualidade dos exames e da avaliação?

Isso é fácil de explicar. As universidades privadas estiveram proibidas até 1984 e nunca desde então tiveram liberdade para ensinar. - JM

Em que é que isso difere da situação das escolas privadas? Se esse argumento fosse credível não haveria, como felizmente há, escolas privadas de elite. E decerto assim como há pais dispostos a pagar fortunas para que os seus filhos frequentem escolas privadas de elite, também haverá pais dispostos a pagar para que os seus filhos frequentem universidades privadas prestigiadas. A verdade é que a única universidade privada prestigiada é a Católica e nem sequer é privada, porque tem um regime "sui generis".

Não se retira nada. Tal como não se ritira nada das comparações entre escolas públicas e privadas ou de universidades públicas e privadas. Elas simplesmente não competem em igualdade de condições.O que é o Estado tem privilégios públicos. - JM

Então por que razão usa o JM os rankings para defender o fim das escolas públicas? Acho que pode usar todos os argumentos, menos esse. E, no entanto, não tem feito outra coisa.

JoaoMiranda disse...

««As únicas provas que existem prendem-se com o facto de as notas dos exames nacionais serem em média mais baixas.»»

Nope. Existem muitissimo mais provas. As notas individuais mostram a mesma coisa. Alunos com nota interna de 19 têm mais probabilidade de tirar acima de 16 numas escolas do que noutras. As distribuições aparecem simétricas numas escolas e totalmente enviesadas noutras. As escolas que apresentam esses índicios são precisamente aquelas que são conhecidas por inflacionar notas. E ainda não acabei de procurar. Certamente há mais evidências.

«« O que é que isso prova sobre a qualidade dos exames e da avaliação?»»

Prova que a avaliação interna não é uniforme. A avaliação externa é claramente uniforme está de acordo com os programas. Logo, se as mesmas notas internas não geram as mesmas notas no exame é porque a avaliação interna não é uniforme.


««Em que é que isso difere da situação das escolas privadas? »»

Em pouco. E depois?

««Se esse argumento fosse credível não haveria, como felizmente há, escolas privadas de elite.»»

Como deverá imaginar, é muito mais fácil fazer uma escola secundária de elite do que uma universidade privada. Uma universidade de elite não se faz em 25 anos sem dinheiro a rodos e sem liberdade académica.

««também haverá pais dispostos a pagar para que os seus filhos frequentem universidades privadas prestigiadas.»»

Até pode haver. Mas explique-me como é que se faz uma universidade de elite em 25 anos com concorrência desleal ao lado?


««Não se retira nada. Tal como não se ritira nada das comparações entre escolas públicas e privadas ou de universidades públicas e privadas.»»

Mas eu defendo o contrário? O José Barros anda neste debate a atacar-me por ideias que eu não defendo.



««Então por que razão usa o JM os rankings para defender o fim das escolas públicas?»»

Uso os rankings para mostrar coisas sobre o funcionamento do ensino. Coisas que não têm nada a ver com a comparação entre escolas privadas e públicas. Tem lido o que tenho escrito?

««Acho que pode usar todos os argumentos, menos esse. E, no entanto, não tem feito outra coisa.»»

Mas quais argumentos é que está a falar? Eu tenho usado os rankings para mostrar que:

1. As notas internas viciam os concursos

2. As escolas públicas não são igualitárias

3. Os proponentes do ensino público desculpam-se com o meio socioeconomico, apesar de justificarem a existência de escola pública como uma forma de vencer os factores socio-económicos.

O José Barros tem lido o que eu tenho escrito?

JoaoMiranda disse...

««Nada disso é sinónimo de qualidade.»»

Mas quem falou em qualidade? Eu nem chego à discussão de que os exames são um instrumento de qualidade. Chega-se que são uniformes. São uniformes. A avaliação interna não é. A uniformidade é uma condição necessário de qualquer instrumento de avaliação comparativa.

««Além disso, se a avaliação interna é oculta e secreta (e por que razão haveria de não ser?)»»

Talvez porque o valor do certificado dependa da transparencia do processo de avaliação, não?

««, o JM não pode dizer que a avaliação externa é melhor, porque, pura e simplesmente, desconhece a avaliação interna.»«

Não, eu digo que é melhor porque tem critérios uniformes. Explique-me como é que uma avaliação comparativa sem critérios uniformes pode funcionar. Isso é o básico.

««Certo é que, pelo menos, nas escolas privadas os pais confiam na avaliação interna ou não poriam os filhos nessa escola.»»

Acha mesmo? As escolas privadas não são certificadores, nem os pais são clientes de certificação. Logo, o pais têm interesse em certificados falsos e as escolas têm interesse em passá-los. Porque é que acha que as escolas (privadas ou públicas) inflacionam as notas?

««E o JM não tem meio de saber se os pais confiam na avaliação do Ministério, porque os exames nacionais são obrigatórios e os pais não têm senão que se sujeitar.»»

Mas os pais não são clientes de certificação. Os clientes da certificação são as universidades.

JB disse...

JM:

Acha mesmo? As escolas privadas não são certificadores, nem os pais são clientes de certificação. Logo, o pais têm interesse em certificados falsos e as escolas têm interesse em passá-los. Porque é que acha que as escolas (privadas ou públicas) inflacionam as notas? - JM

Mas os pais não estão interessados em que os seus filhos tenham uma boa educação? Se não estão por que razão se lhes deve dar liberdade de escolha? Não é a ideia de que os pais sabem o que é o melhor para os seus filhos a ideia base do cheque-ensino? Se agora o JM me diz que os pais são uns trapaceiros que só querem que os filhos obtenham os canudos, nem que seja por fraude, então não vejo razão que justifique a preocupação com a liberdade de esoclha.

Mas os pais não são clientes de certificação. Os clientes da certificação são as universidades. - JM

Não tem lido o que eu tenho escrito? Eu já defendi que as universidades devem ter os seus próprios processos de selecção de alunos, para o que podem recorrer a entidades externas. Não vejo em que é que um Ministério interessado em melhorar a sua imagem serve como "bom certificador", mas o JM parece pensar o contrário.

Nope. Existem muitissimo mais provas. As notas individuais mostram a mesma coisa. Alunos com nota interna de 19 têm mais probabilidade de tirar acima de 16 numas escolas do que noutras. - JM

O que isso demonstra é tão só que as escolas adequam o seu nível de exigência às características dos alunos. Numa escola de alunos de meios pobres o grau de exigência é forçosamente menor. Parece-me óptimo que assim seja, desde que a entrada na universidade seja determinada pelos critérios de cada universidade.

JB disse...

Não, eu digo que é melhor porque tem critérios uniformes. Explique-me como é que uma avaliação comparativa sem critérios uniformes pode funcionar. Isso é o básico. - JM

Não percebo a preocupação com a uniformidade. A única situação em que interessa ter critérios uniformes e uma avaliação o mais objectiva possível é a entrada na universidade que eu sempre defendi dever acontecer de acordo com os critérios e exames definidos por cada universidade.

Além disso, todos nós (incluíndo o JM) sabemos que isso da avaliação objectiva é uma treta pegada. Dou-lhe o meu exemplo, que é igual ao de milhares e milhares de alunos pelo país fora.

Fiz dois exames nacionais (filosofia e português). Em ambos tive a nota de 15. Pedi a dois professores (um de cada disciplina) que me revissem a prova e eles deram-me respectivamente um 18 (a filosofia) e um 17 (a português), tendo ambos redigido o meu recurso de ambas as notas. Recorri, portanto, das duas notas anteriores e acabei com 17 nas duas disciplinas.

Ui, tanta objectividade!:)

JB disse...

««Não se retira nada. Tal como não se ritira nada das comparações entre escolas públicas e privadas ou de universidades públicas e privadas.»» - JM

Mas eu defendo o contrário? O José Barros anda neste debate a atacar-me por ideias que eu não defendo.- JM

A frase em cima é sua. Não é minha.:) O meu comentário estava em baixo.

Mas quem falou em qualidade? Eu nem chego à discussão de que os exames são um instrumento de qualidade. Chega-se que são uniformes. São uniformes. A avaliação interna não é. A uniformidade é uma condição necessário de qualquer instrumento de avaliação comparativa. - JM

Mas então se os exames são uma porcaria, o que é que isso nos adianta? A ideia não é testar os conhecimentos dos alunos? Como se faz isso se os exames são uma porcaria? E como podemos acusar as escolas de praticaram fraudes se o único indício de fraude é o facto de atribuírem notas com base em exames (provavelmente, melhores) e critérios (provavelmente, também melhores)?

O seu argumento a favor dos exames nacionais (ergo, a favor da avaliação externa) e contra os exames escolares (ergo, contra a avaliação interna) tem de depender de os primeiros avaliarem melhor a capacidade dos alunos. Se não conseguem fazer isso, todo a sua argumentação é inútil.

Digo-lhe ainda mais: se não bastasse tudo o que já ficou dito, o JM tem de ponderar que a verdadeira liberdade de escolha depende de os pais poderem escolher projectos escolares alternativos. Se a ideia é abolir a avaliação interna e só ter avaliações externas, todas as escolas serão iguais, porque se adequarão aos exames da avaliação externa. E aí a liberdade de escolha será, porventura, uma piada ainda mais triste do que é hoje.

Mais uma vez: a uniformidade de critérios é a mais insignificante das questões, tendo em conta que devem ser as universidades a estabelecer os seus critérios. Por outro lado, se assim for, os exames nacionais não interessam para nada. E se se acabar com os exames nacionais, então sim, acaba-se com mais uma manifestação de centralismo e caminha-se em direcção à liberdade de escolha dos pais. Sem prejuízo de ser necessário muito mais para que ela exista.