"É confrangedor este amadorismo." Quem o diz é o investigador João Mâroco, tendo como alvo de críticas o EduQa (organismo sucessor do IAVE) e a equipa do Ministério da Educação. A situação que se vive, com exames nacionais a chegarem tarde às mãos dos classificadores, representam o descrédito total do sistema de avaliação externa dos alunos em Portugal.

O investigador na área da Educação é um defensor das provas digitais. Aliás, foi ele o autor da primeira prova digital criada pelo IAVE, o extinto Instituto de Avaliação Educativa, organismo responsável pelos exames nacionais (e toda a avaliação externa) até à criação do EduQa. "Enquanto pessoa que faz investigação na área da educação, o meu sentimento é de descrédito e tristeza. Descrédito porque acho inacreditável", diz o antigo membro do conselho diretivo do IAVE. "Acho que é o descrédito deste sistema de avaliação digital que tem tudo para ser eficaz e eficiente."

De qualquer forma, defende que o sistema deveria ser sólido, uma vez que a EduQa "herdou os conhecimentos do IAVE e o IAVE faz avaliação digital desde pelo menos 2015”. Apesar desses 11 anos de experiência, os problemas que existiram nos testes-piloto do ano passado repetiram-se nos exames atuais.

No imediato, falta uma palavra de tranquilidade às famílias, para assegurar que ninguém vai ter de repetir exames. E essas palavras poderiam ser proferidas pelo próprio primeiro-ministro. "Acho que está toda a gente a ficar deveras preocupada, nomeadamente os professores classificadores que têm de fazer esse trabalho e vão ter de fazer o trabalho sobre uma pressão psicológica superior àquilo que é normal."

Apesar de dizer que têm de ser retiradas responsabilidades políticas, João Marôco acredita esta não é altura para despedir ninguém.

O processo da classificação de exames do 12º ano através de uma plataforma eletrónica não está a correr como o previsto. Como é que olha para o que se está a passar?

Enquanto pessoa que faz investigação na área da educação, o meu sentimento é de descrédito e tristeza. Descrédito porque acho inacreditável. A EduQa herdou os conhecimentos do Instituto de Avaliação Educativa (IAVE) e o IAVE faz avaliação digital desde pelo menos 2015, quer em estudos internacionais — como o PISA ou o TIMSS ou o ICLS — quer em provas de aferição nacionais. Por exemplo, as provas de avaliação da recuperação dos conhecimentos após a pandemia foram feitas em formato digital, e têm sido feitos testes-piloto.

No ano passado, por exemplo, foram digitalizados os exames de filosofia e foram reportados vários problemas, vários erros com a plataforma que estão a repetir-se este ano. Acho que é o descrédito deste sistema de avaliação digital que tem tudo para ser eficaz e eficiente.

Isto é novidade em Portugal, mas não é novidade no resto do mundo, nomeadamente na Europa, no Reino Unido. Infelizmente parece que as pessoas que estão à frente do processo não fazem a mínima ideia do que estão a fazer, é um amadorismo inacreditável.

Quem está preocupado com a educação pública em Portugal tem de ter ação, tem de ter reação, mas, acima de tudo, é uma grande tristeza ver o que está a acontecer e ver como é que a equipa ministerial não consegue perceber o que é que está a acontecer.

Imagino que quem deva estar furioso são os alunos que foram utilizados como cobaias deste sistema, que supostamente foi pré-testado, supostamente foi avaliado e que chega a hora do estudo principal e falha desta forma clamorosa.

Depois, também, o que está a acontecer em termos de informação, acho que o ministério, o ministro, a equipa ministerial e a equipa dirigente do EduQa têm noção que isto é um momento complicado para os alunos e para as famílias, nomeadamente com os exames de acesso ao ensino superior. Continuamos todos os dias a ver na comunicação social e nas redes sociais relatos de professores a dizer que não têm acesso aos itens, que aparecem itens incompletos, aparecem itens mal digitalizados, que a plataforma está funcional e depois deixa de estar funcional. Os professores classificadores estão preocupados porque, obviamente, a classificação de um item, ainda que em formato digital, exige cuidado e um estado de espírito de tranquilidade, para avaliação do que o aluno escreve, que muitas vezes tem uma caligrafia que não é fácil de entender. Além disso, é necessário seguir, obviamente, os critérios que a EduQa publicou relativamente à classificação dos itens.

O tempo está a passar e nós não encontramos da parte do ministério, contrariamente ao que acontece, por exemplo, no Reino Unido, uma explicação do que é que está a ser feito, do que é que está a correr mal, quais são as perspetivas de funcionamento. Isto é tudo, de facto, um descontrolo que não se percebe.

Não se percebe se aconteceu devido à fusão do IAVE com as outras estruturas do Ministério de Educação. Criou-se uma super agência, a tal EduQa e, aparentemente, as pessoas que estão à frente desta mega instituição não conseguem, obviamente, dar resposta.

Mas não é só isto. Esta é a face visível do problema, porque, obviamente, os alunos precisam das notas para o acesso ao ensino superior. Há aqui uma confusão terrível. Ainda anteontem ou ontem, o jornal “Público” dava nota de um parecer sobre o problema do item com o exame português, produzido à revelia dos conselheiros do Conselho Científico e, portanto, não se percebe que tipo de organização é esta.

A Sociedade Portuguesa de Matemática recusou-se a dar a parecer sobre a prova de Matemática, quando para isso foi solicitada, porque não reconhece validade e fiabilidade científica ao Exame Nacional de Matemática do 11º ano. Isto é uma situação gravíssima. Acho que é a primeira vez que acontece em Portugal, pelo menos que eu tenha conhecimento, e, de facto, é confrangedor este amadorismo, esta falta de profissionalismo de quem está à frente da avaliação externa em Portugal.

Corre-se o risco de ser necessário dar aos professores os exames em papel para que possam ser classificados?

Acho que sim. Não sei se a EduQa pensou num plano B, mas acho que esse cenário seria, digamos, o pior cenário, mas é um cenário que pode ser posto em campo e pode tranquilizar os alunos e as famílias que estão à espera das notas dos exames para concorrer ao ensino superior.

É sempre possível devolver todas as folhas de resposta aos agrupamentos de escolas e aos secretariados locais dos exames e é sempre possível os professores corrigirem as folhas em papel, porque os exames existem. Este processo de digitalização tem sempre uma segurança que é: o papel existe, se não o perderam, o papel existe.

Às vezes, quando o exame é em formato 100% digital, é possível que haja um problema no servidor ou que haja um problema na rede e, portanto, a resposta do aluno não fica gravada ou não fica numa cópia de backup. Aqui, esse problema não se coloca e, portanto, eu acho que os alunos podem estar tranquilos, porque, no pior dos cenários, se o ministério, a EduQa não conseguir resolver o problema da digitalização, o registo físico das respostas dos alunos existe. Os nossos professores classificadores estão muito habituados a classificar exames em papel e, portanto, não seria nada de extraordinário isso acontecer. Claro que se perde tempo, claro que os professores classificadores precisam de tempo para ler os itens, a caligrafia dos nossos alunos muitas vezes também não ajuda, precisam de tempo para conhecer os critérios de classificação dos itens.

Acho que está toda a gente a ficar deveras preocupada, nomeadamente os professores classificadores que têm de fazer esse trabalho e vão ter de fazer o trabalho sobre uma pressão psicológica superior àquilo que é normal.

Ainda há tempo para que sejam respeitados os prazos de entrega das classificações e afixação dos resultados?

Segundo o ministério, há tempo. Ou melhor dizendo, segundo a EduQa, porque ainda não ouvimos uma palavra do ministro da Educação, nem do secretário de Estado [Esta entrevista foi feita horas ante de o ministro Fernando Alexandre ter falado].

Segundo a EduQa, os problemas estão a ser resolvidos e vão ser resolvidos a tempo. O Júri Nacional de Exames mantém o calendário de publicação das notas e, portanto, em princípio o problema está a ser resolvido.

O meu problema é que eu não sei que tipo de resolução está a ser feita e não sei com que eficácia essa resolução está a ser feita. Os professores, nomeadamente os professores classificadores, deviam ter informação, não digo atualizada a hora a hora, mas se calhar atualizada diariamente sobre o estado da plataforma, sobre o estado dos itens, sobre o trabalho que eles vão ter de realizar em suas casas, com os seus computadores, com a sua internet.

Mais uma vez são os professores que carregam o sistema de ensino e estas inovações mal preparadas do Ministério da Educação e acho que ninguém sabe ao certo, exceto, eventualmente, a equipa técnica que está a tentar resolver o problema da digitalização, primeiro, se a consegue resolver ou não e, segundo, se a consegue resolver em tempo útil para que não haja problemas no acesso ao ensino superior deste ano.

Eu, de qualquer forma, acho que seria importante as pessoas de direito tranquilizarem os alunos, os professores classificadores e explicarem o que é que está a ser feito, para que não se acumule esta ansiedade, esta preocupação.

E acho importante que se fale também disto, porque, basicamente, quem está a falar disto são os professores, obviamente, e os alunos, mas isto está a passar por uma esfera que tem de ser política, tem de se apurar a responsabilidades políticas e, acima de tudo, tem de se aprender com os erros, porque isto não se pode repetir. É mau de mais para isso acontecer.

Quando fala em responsabilidades políticas, considera que é caso para o ministro demitir-se?

Não, eu acho que demitir quem quer que seja não resolve problemas. Obviamente, o ministro é o responsável político, mas não é o ministro que está à frente do processo de digitalização. Quem está à frente do processo de digitalização é a EduQa que terá técnicos superiores que estão a trabalhar nisto.

Acho que, nestas fases em que o problema está a acontecer, demitir pessoas não resolve o problema. Tem de se dar condições às pessoas que estão à frente do processo para resolver o problema, não sei se essas pessoas têm essas condições ou não.

Há um pacto de silêncio e confidencialidade, porque isto são provas de exame, mas seria importante o ministro vir tranquilizar os alunos e as famílias relativamente ao que está a acontecer.

O responsável máximo político do ministério é o primeiro-ministro e era importante que viesse tranquilizar, ou não, mas que viesse, pelo menos, apresentar um plano B a todos os alunos que estão envolvidos neste processo, a todas as pessoas classificadoras, a todas as famílias.

Mas, em nome da tranquilidade, pensa que seria melhor avançar já com esse plano B e devolver os exames em papel e entregá-los aos professores classificadores?

Não sei. Vamos ter de perguntar ao Júri Nacional de Exames, que vai ter de perguntar à EduQa e, eventualmente, ao ministro da Educação, se, de facto, os problemas estão a ser resolvidos e se a equipa que está à frente do processo tem capacidade para resolver o problema em tempo útil. Se não tiver, acho que sim, acho que é preciso adotar o plano B, se é que o EduQa pensou num plano B.

Acho que devia ter pensado e devia dizer aos alunos que não, não têm de repetir os exames, como já se questiona. Não é preciso repetir os exames porque as folhas em papel existem. No pior das hipóteses, se não se conseguir pôr a plataforma a funcionar, ou se ela continuar com as deficiências que têm sido reportadas, os professores podem classificar em papel. É o fiasco completo, mas, enfim, os alunos e as famílias podem ficar tranquilos porque os exames não desapareceram, os exames continuam a estar em papel e será sempre possível voltar àquilo que se fazia no passado.

Qual é a data limite para se conseguir cumprir os prazos finais do cronograma de classificação dos exames?

À data de hoje, estamos a 29 de junho, portanto, estamos a pouco mais de 10 dias não úteis da primeira data. Eu acho que o júri vai ter de adiar a publicação dos resultados. Imagine que todas as folhas que existem para classificar estão disponíveis hoje e os professores classificadores podem começar a classificar hoje.

São centenas, dezenas de milhares de exames, são centenas de milhares de folhas. Cada professor classificador vai receber 300 a 400 itens. As pessoas não vão trabalhar 14 horas por dia e não é porque, se calhar, não estejam na disposição de o fazer. É porque este tipo de trabalho exige concentração, que exige pausas, não é o tipo de trabalho que se pode fazer durante oito horas consecutivas.

Eu creio que sim, a menos que se resolva o problema hoje e, mesmo assim, vai ser preciso um grande esforço dos professores classificadores para conseguirem classificar todos os itens.

O exame de português, por exemplo, foi o primeiro e já se devia estar a acabar a classificação. Nesta altura, os serviços já deviam ter a maior parte dos itens classificados e estar a apurar notas dos exames. Ainda nem sequer começou a correção.

Na minha opinião, a menos que exista uma solução que esteja pronta a ser libertada para os professores classificadores, não vai ser possível cumprir este plano.

Considera que o processo está a ser transparente? Sabe-se onde estão os exames, quem fez a digitalização?

Foi a Imprensa Nacional Casa da Moeda, mas essa informação não é pública. Obviamente, a EduQa saberá. Mas, uma pessoa que vá seguindo a informação que vai aparecendo nos jornais não sabe exatamente como é que as provas estão a ser digitalizadas, onde é que estão a ser digitalizadas. Mais uma vez, pegando nos exemplos de países europeus, no Reino Unido, há vídeos a circular no YouTube em que é explicado aos alunos qual é o processo quando eles entregam a prova, o que é que acontece à prova, quem é que vai digitalizar, quem é que vai classificar, como é que as notas vão ser agregadas… Isto faz parte de uma estratégia de tranquilização das pessoas, de confiança no sistema que só é possível quando há transparência, quando as pessoas sabem o que é que está a ser feito e como é que está a ser feito.

Infelizmente, tudo o que nos chega, desde a preparação dos exames, desde a preparação dos enunciados, é secretismo, conselheiros do Conselho Científico que são confrontados com parceiros que não conhecem e, portanto, que não votaram, não discutiram, não debateram. Sociedades científicas a questionar a validade científica das provas. Outras sociedades científicas com dirigentes envolvidos na produção de manuais que têm itens que depois aparecem nos exames nacionais.

Tudo isto cria um clima de descrença e de suspeição, que eu acho é a ruína do sistema de avaliação externa e da escola pública.

Há quem considere que o sistema digital ainda não oferece segurança e defendem, no caso dos exames do 9º ano, o regresso das provas em papel…

Sou altamente defensor do sistema digital. Quando fiz parte do Conselho Diretivo do IAVE, a primeira prova digital que o IAVE fez, fui eu que fiz. O IAVE tem experiência de fazer avaliação digital, não percebo porque é que as coisas estão a ocorrer como estão.

Eu não tenho a menor dúvida que esse é o caminho. Agora, se o sistema educativo nacional está preparado para implementar esse sistema no próximo ano? Não, não está. Temos visto problemas de fuga de informação sobre as provas, e outras questões.

Também temos um problema de cidadania: os alunos e os professores vigilantes sabem que os itens não são públicos. Ainda assim, acredito que muitos alunos conseguiram fazer “printscreens” da prova. Porquê? Porque, mais uma vez, o sistema tecnicamente está mal montado.

Com os meus alunos, utilizo um software que se chama Safe Exam Browser. A prova é feita na internet. Só que o aluno, quando entra na prova, não consegue fazer absolutamente mais nada no computador. Consegue tirar a fotografia com o smartphone ou com o smartwatch ou com os óculos inteligentes. Mas no seu computador, na sua estação de trabalho, não consegue fazer absolutamente mais nada. Mas é uma estação de trabalho da faculdade, da escola, não são os alunos que trazem, como acontece com os exames do 9º ano, onde alguns alunos levam os seus computadores portáteis. Bom, isso obviamente cria uma brecha de segurança que é praticamente incontrolável.

Portanto, digital, sim, mas de uma vez por todas, os decisores do Ministério da Educação, independentemente do plano político, têm de se convencer que as escolas têm de estar equipadas com laboratórios de informática decentes e que precisam de um técnico de informática, provavelmente a tempo inteiro, para garantir que no dia da avaliação, não só que os computadores são úteis para o processo de ensino e aprendizagem ao longo do ano letivo, mas também que no dia da avaliação, por uma questão de justiça e de cuidado, todos os computadores da escola podem ser utilizados pelos alunos.

Faça-se um turno, faça-se dois turnos, façam-se quantos turnos sejam necessários, mas os alunos têm de fazer as provas digitais em equipamentos da escola e não em equipamentos próprios. Equipamentos da escola, que obviamente têm de estar bem mantidos e têm de ter plataformas seguras, em que o aluno que está a fazer o teste não consegue andar para a frente, não consegue fazer “printscreens”, e que quando sai do teste, já não volta a entrar.

Quando o ministério se convencer disto e fizer esse investimento nas escolas e nos quadros das escolas, penso que a avaliação digital vai deixar de ser problemática e toda a gente vai passar a gostar.

Isto a partir do 9º ano, penso que no 4º ano será muito cedo, porque as crianças ainda não têm familiaridade suficiente com a digitação em teclado, além de existirem imensos estudos das neurociências que demonstram que há vantagens em aprender a escrever à mão, por causa do controle mão-olho-cérebro e da motricidade fina.

Tem de ser um sistema pensado de raiz e tem de ser um investimento feito de raiz. Não pode ser este amadorismo confrangedor em que escolas não têm computador, escolas não têm técnico, escolas não têm banda larga.