I am not

I am not
quotation

quinta-feira, 4 de fevereiro de 2010

Avaliar - uma base de reflexão

Recebi este mail, que com a devida vénia, transcrevo sem mais comentários, apenas com a nota de que nunca me agradou o sistema do "peer review" - todavia, desta transcrição aqui não se pode inferir que esteja de acordo com todas as ideias expostas; apenas, que elas são uma base útil de reflexão e de debate público sobre um tema muito sensível no sistema científico internacional e nacional, e não apenas no que diz respeito a revistas. Peço desculpa da deficiência de apresentação do texto, que se desformata ao passar para o blogue:


"Envio, porventura com redundância nalguns casos (alguns receberão também esta correspondência do Snesup), transcrevendo um dos artigos abertos para facilitação de acesso.
É altura do contra-ataque (um de muitos). E vale a pena começar a reunir em rede os agentes de resistência, entrançar o vime, acumular os argumentos, e opô-los sistematicamente a todos os 'ditames institucionais' - a todo o momento e em todas as frentes.

O mito peer review é aqui praticamente demolido.
Mas a questão de fundo, nas 'humanidades', é que, na tradição em que o ocidente consiste, a unidade de criação cultural é o livro, não o artigo, a obra, não o eco, a construção do edifício, não o manejo da pequena técnica, por virtuose que possa surtir a miniatura.
A tecnicização integral do mundo académico, sob a designação cientificista de "investigação", longe de se poder vir a auto-sustentar cada vez mais num sistema em cachos de papers interremissivos (por citação, discussão, retoma, prosseguimento), tenderá à dissipação progressiva, na proporção directa ao grau de afastamento da fonte primária sustentadora: se, nas ciências exactas, nas experimentais e nas áreas tecnológicas, a fonte primária e a unidade de sentido e de saber serão o paper, em ciências humanas e sociais a fonte primária e a unidade de saber e de sentido são o livro, face ao qual o artigo sempre constituiu um desdobramento importante, mas secundário. Caracteristicamente, a imensa literatura de artigos reporta-se 'perpendicularmente' ao livro, ao autor central, ao criador primário de pensamento - e não, transversalmente, à rede que estes formam entre si. Mesmo o universitário influente expressa-se preponderantemente por livros - são estes as suas palavras -, não por artigos - apenas sílabas soletradas (de novo, em relação proporcional muito claramente directa).
Numa palavra: aquilo a cujo propósito de todo há papers e outros papéis, chama-se livro. O paradigma do 'investigador' não é o investigador, é o escritor - de livros. Os colóquios internacionais versam autores - e, quando temas, temas 'em' autores. É essa a hermenêutica crítica da retoma sobrearticuladora que constitui a nossa tradição, ao pé da qual o linguarejar farisaico e autocongratulatório hodierno da "excelência" faz figura de criada de servir em bicos dos pés, senão aos saltinhos (e é propositadamente que utiliso a retórica da deselegância).
Há estudos, colóquios, leccionação universitária, revistas monográficas, seminários, teses de mestrado e de doutoramento, propostas de comunicação, recensões críticas, trabalho de edição de obra completa, etc., etc., etc., sobre Bourdieu, Iris Murdoch, Bataille, Ortega y Gasset, Rancière, Eduardo Lourenço, Hjelmslev, Zizek, Rorty ou Vattimo porque eles escreveram livros, porque o que eles escreveram foi livros.
O futuro universitário e as futuras comunidades universitárias, condenados às galés lectivas da burocracia pseudopedagogista e às galés investigacionais da produção de papéis (a unidade métrica abaixo dos nossos antigos artigos, por sua vez compromissos menores do opúsculo e do ensaio), e cujo mundo se vê ao mesmo tempo devastado pelos estragos produzidos pela triunfal rapidez do telemático-imagético, conduzirá à extinção progressiva e generalizada da própria dimensão de pensamento na qual Há o livro. Uma longa linha hermenêutica de desgaste e erosão, de apagamento e autofagia, descerá então os degraus de paper em paper até à consumação da intrusiva imposição entrópica à qual não soube ou não quis resistir.

Acresce que o sistema de 'revisão por pares de pares' induz quase irresistivelmente a uma estrutura rígida de hierarquias mafiosas dispondo directamente das rédeas de controle do eixo nevrálgico de que depende todo o sistema (não 'há' pares: eles são escolhidos, nomeados, cooptados, negociados, quiçá indicados e indigitados...). O sistema, digo, não só de indivíduos, mas de instituições académicas e das próprias revistas, e de outros organismos enquadradores da investigação. E duplicar o qui custodiet custodies, esse erro tipicamente platónico que vai dar ao 'terceiro homem', apenas reforça o próprio paradigma.

Enfim, por definição os sistemas de aferição tendem a padronizados e homogeneizantes - e à constituição de dogmas formais e de ortodoxias -, a criatividade é divergente. E a qualidade, nacional e internacional, é reconhecida pelo tecido vivo de comunidades epistémicas, sem necessidade de carimbos. Por outro lado, questões vexatae como a das escolas e linhas filosóficas, por vezes turbulentamente divergentes, não podem ser artificialmente dirimidas por decretos formais e exteriores (neste particular, não invento, e cito o caso recente e exemplificativo de um neófito em lides filosóficas que apresenta o seu artigo a uma revista de orientação analítica: liminarmente recusado - apenas para vir a ser acolhido de braços abertos pela comunidade teórico-crítica de forte incidência socio-política e culturológica). A lógica progressivista dos sistemas de acreditação tende por força (e pela ideologia eficientista da verdade unívoca) a rebater esta dissenção-tipo em favor de uma orientação ganhadora e prevalecente. Os sistemas formais, hierárquicos e burocráticos têm horror aos estados epistemológicos abertos e ruidosos, ao problemático e à pluralidade conflitual (que o mito cientista do saber unívoco condena ipso facto como pseudo-saber), tendendo a cortar expeditamente todos os nós górdios. Sobretudo quando lhes é pedido (oportuno alibi) rigor orçamental em tempos de crise. Numa palavra - como bem viu Popper -, a ciência impaciente e afirmativa, a ciência da verdade, tende a ser antidemocrática por puros imperativos extrapolíticos de (suposta) racionalidade.

Por isso convém não esquecer que o que se joga na presente situação não conjuga apenas acidental e exteriormente o saber e o poder, o epistémico e o político: estas duas dimensões não só se cruzam, não só inerem reciprocamente uma à outra, elas partilham uma comunidade de paradigma, que infalivelmente faz corresponder, a um certo estilo de agir, um certo modo de pensar - o que ainda é o menos - e, a uma certo estilo de pensamento, um certo modo de agir, o que já é o mais.

Para além de haver uma política da cultura, a cultura é política, and I don't mean the policy, but politics as such. (Por exemplo: leccionar em inglês na universidade portuguesa, é mais cultural, ou mais político? Um bom dialecta começaria por observar que, num tal caso, 'ser puramente cultural' é uma das maneiras mais seguras de ser por isso mesmo tanto mais político. E prosseguiria).




A Avaliação de Desempenho

nos Estatutos de Carreira

"Métricas e peer review"

Teresa Alpuim

(Faculdade de Ciências da Universidade de Lisboa)

DEBATE - 27 de JANEIRO no IST - Lisboa

- Métricas: uma boa forma de avaliação?

- Avaliação pedagógica: qualidade ou facilitismo?

- Perfis: vários tipos de docentes?

- Poder de decisão: quem avalia?

- Diferenciação de desempenho: quando uma “negativa”? ou um “excelente”?

Anfiteatro QA 02.3 Torre Sul

Debate aberto a todos os docentes do ensino superior

_______________________________________________________________________________

"Métricas e peer review" - Teresa Alpuim (Faculdade de Ciências da Universidade de Lisboa)

Debate - A avaliação de desempenho nos Estatutos de Carreira - IST Lisboa - 27 de Janeiro de 2010

1

Métricas: são ou não uma boa forma de avaliação?

O caso da avaliação da investigação científica

Teresa Alpuim

Hoje em dia, a avaliação da investigação, isto é, da produtividade científica dos

académicos e investigadores, está-se a tornar quase numa obsessão. De uma

forma mais aberta ou mais velada, todos reconhecem que a avaliação da

produção intelectual criativa e inovadora é um processo delicado e complexo,

tantas vezes controverso. Basta olhar para a História da Ciência e analisar os

inúmeros casos em que as descobertas científicas de grande valor foram

duramente criticadas ou desprezadas e o tempo que foi necessário até que

estas se estabelecessem como os novos paradigmas da ciência. Mas agora,

algumas eminências pardas da Ciência, em geral, ligadas ao poder e às

organizações governamentais responsáveis pela atribuição de financiamentos,

fazem perpassar a ideia de que este problema crónico da Humanidade – o

reconhecimento de novas ideias com valor – pode facilmente ser resolvido pelo

obscuro e tortuoso processo do
peer review e pela contagem do número de

publicações em revistas especializadas. Sei que esta afirmação é polémica no

seio da comunidade científica mas é urgente discuti-la de uma forma aberta e

racional porque a recente revisão dos Estatutos das carreiras docentes obriga a

avaliações de desempenho regulares. Estas podem vir a ter consequências

positivas ou negativas, mesmo destrutivas, para as Instituições de Ensino

Superior se não formos capazes de encontrar formas sérias e sensatas de as

fazer.

A pressão para publicar e consequências

A publicação em revistas científicas especializadas é o processo como os

investigadores comunicam aos seus pares os resultados da sua investigação e,

por isso, é um passo fundamental e incontornável no desenvolvimento da

ciência e do conhecimento. A publicação é um meio de divulgar novas ideias e

não um fim em si. A discussão que se lhe segue e, muitas vezes, o tempo,

dirão se essas ideias serão absorvidas pela comunidade científica e pela

sociedade. Mas os sistemas de avaliação exigem cada vez mais que os

académicos publiquem muitos artigos a um ritmo regular. Este tipo de avaliação

incentiva a quantidade em vez da qualidade bem como a superficialidade em

vez da relevância. Assenta nos pressupostos de que a publicação em certas

revistas é garantia de qualidade, o que tentarei demonstrar que não é verdade,

e que os artigos que são publicados numa determinada revista têm todos o

_______________________________________________________________________________

"Métricas e peer review" - Teresa Alpuim (Faculdade de Ciências da Universidade de Lisboa)

Debate - A avaliação de desempenho nos Estatutos de Carreira - IST Lisboa - 27 de Janeiro de 2010

2

mesmo valor, o que, naturalmente, ainda é menos verdadeiro. Tem como

consequência a fragmentação do conhecimento científico e o desconhecimento

ou não valorização desse conhecimento pela sociedade. A forma como os

académicos se defendem desta pressão para publicar é dividirem-se em

inúmeros pequenos grupos muito especializados que funcionam em círculos

fechados e desligados uns dos outros. Em geral, são bastante avessos a ideias

verdadeiramente inovadoras que podem, de algum modo, questionar o seu

trabalho, pois têm receio que isso ponha em causa a existência do próprio

grupo. Tendem a cair em temas superficiais e demasiado especializados, pois

esta é a forma mais fácil de garantir muitas publicações. Para ver que assim é,

basta consultar as estatísticas dos índices de citação em certas áreas, por

exemplo, na
ISI Web of Knowledge.

David Parnas, professor de Engª de Software na Universidade de Limerick,

Irlanda, no seu artigo “Parem com o jogo dos números. Contar artigos atrasa o

ritmo do progresso científico”, publicado na revista
Communications of the

ACM
, escreve:

“Como cientista sénior, entristece-me ver as agências de financiamento,

presidentes de departamentos, directores de escolas e comissões de promoção

incentivarem os jovens cientistas a fazerem investigação superficial. Como leitor

do que deveriam ser revistas científicas sérias, aborrece-me ver a literatura das

Ciências da Computação ser poluída por mais e mais artigos com menos e

menos valor científico. Como alguém que muitas vezes serviu como editor ou

referee
, sinto-me ofendido com discussões que encerram que a revista está lá

para servir os autores em vez dos leitores. Os outros leitores de revistas

científicas também deviam sentir-se igualmente ofendidos e exigir a mudança.

A causa de todas estas manifestações é a política largamente disseminada de

medir os investigadores pelo número de artigos que publicam em vez da

correcção, importância, verdadeira inovação ou relevância das suas

contribuições.”

Em seguida, Parnas enumera e comenta uma série de vícios e distorções que

esta forma de avaliar está a disseminar pela sua comunidade científica,

nomeadamente: incentiva a investigação superficial, incentiva a constituição de

grupos de trabalho demasiado grandes em que os académicos mais séniores

põem o seu nome nos artigos de todos os estudantes e jovens investigadores;

incentiva a repetição; incentiva estudos pequenos e insignificantes; recompensa

a publicação de ideias incompletas (half-baked).

_______________________________________________________________________________

"Métricas e peer review" - Teresa Alpuim (Faculdade de Ciências da Universidade de Lisboa)

Debate - A avaliação de desempenho nos Estatutos de Carreira - IST Lisboa - 27 de Janeiro de 2010

3

Valoração dos diferentes tipos de publicações e actividades

Para além de contarem artigos, muitos sistemas de avaliação contam também

livros, palestras em conferências, organização de encontros científicos,

orientação de estudantes, etc. Fazendo listas exaustivas de todo o tipo de

actividades ligadas à investigação, os avaliadores que defendem este tipo de

sistema consideram-no muito completo e rigoroso. Não se apercebem de que

tudo isto são actividades diferentes, mas necessariamente interligadas para

chegar a um mesmo objectivo que é a descoberta de resultados científicos e,

esses sim, é que devem ser avaliados.

Em alguns casos a fúria avaliadora vai mais longe, atribuindo valores diferentes

a cada tipo de actividade e mesmo, atribuindo valores diferentes a cada artigo

de acordo com o tipo de revista onde é publicado, isto é, consoante o factor de

impacto da revista, o seu “prestígio”, se figura no
ISI Web of Knowledge, etc.

Fazem-se então listas e grelhas com valorações perfeitamente subjectivas e

obedecendo a critérios estabelecidos pelos burocratas da ciência mas

apresentadas como muito imparciais. Supostamente, este tipo de métodos

permite avaliar detalhadamente e com a máxima rapidez, pois (pasme-se!) nem

sequer requer que o avaliador leia com cuidado os trabalhos do avaliado.

Responde, portanto, à ideia que o sistema pretende impôr de que é

fundamental avaliar tudo e a toda a hora o que, inevitavelmente, redunda

numa avaliação superficial e distorcida, baseada em contagens de todo o tipo.

Fico arrepiada em ouvir colegas elogiar estas metodologias de contagens e

grelhas a ponto de as quererem também aplicar à avaliação dos docentes nas

suas tarefas de ensino. Imagino que números de horas de leccionação e de

disciplinas, contagens de textos de apoio e de livros pedagógicos, etc., têm, na

perspectiva dos defensores das métricas, um papel muito mais decisivo na

avaliação de um professor do que uma análise séria dos conteúdos leccionados,

rigor científico e actualidade dos mesmos, capacidade de exposição e clareza na

apresentação das matérias ou ainda vocação e capacidade de despertar o

entusiasmo dos alunos empenhados. Se fôr assim, aonde irão parar a qualidade

do nosso ensino superior e os conhecimentos dos nossos licenciados?

O processo de publicação (peer review)

Na maioria das revistas científicas, os artigos são enviados ao editor que

escolhe um ou mais (em geral, dois)
referees anónimos que devem pronunciarse

sobre a qualidade do artigo. Com base no relatório dos
referees, o editor

decide se deve ou não publicar o artigo. É evidente a necessidade deste

processo de revisão prévia, pois muitos artigos contém erros, omitem citações e

trabalho anterior relacionado, ou não trazem qualquer tipo de inovação. No

_______________________________________________________________________________

"Métricas e peer review" - Teresa Alpuim (Faculdade de Ciências da Universidade de Lisboa)

Debate - A avaliação de desempenho nos Estatutos de Carreira - IST Lisboa - 27 de Janeiro de 2010

4

entanto, a forma como é feita dá poucas garantias de imparcialidade e é muito

desequilibrada. O problema principal é que, à excepção do editor, o nome dos

referees
não é conhecido mas estes sabem quem são os autores e qual a sua

afiliação. Isto permite que os revisores digam o que muito bem entenderem

sem serem responsabilizados por nada. Alguns editores permitem que os

autores respondam directamente aos revisores, defendendo-se das suas

críticas, mas, frequentemente, estas respostas não são muito bem aceites pelos

referees
e a discussão acaba por azedar e perder o conteúdo científico.

Na minha perspectiva, o aspecto mais negativo deste processo é o facto de

estar envolto em secretismo mas também o desequilíbrio que consiste em o

árbitro conhecer a identidade do autor enquanto que este desconhece quem é

o
referee. Algumas revistas procuram alternativas a este processo de

arbitragem com o que se costuma chamar o sistema de
double blind, em que o

revisor e o autor são ambos anónimos, ou ainda o sistema em que ambos são

conhecidos um do outro. Qualquer um destes processos já representa um

progresso, embora não haja muitas revistas a pô-los em prática. Em todo o

caso, em minha opinião, num processo de arbitragem imparcial o nome dos

referees
deve ser público mas a identidade dos avaliados deve ser

desconhecida.

James Lovelock, ambientalista e cientista de renome, autor de numerosos

artigos e de alguns livros, no artigo “A ciência deve ser cada vez mais verde”,

publicado no livro “Ciência para a Terra”, descreve o processo da
peer review:

“Na minha opinião a influência mais perniciosa a que a ciência moderna é

submetida é a “inspecção dos pares”. Esta instituição nasceu quando a ciência

se apoderou do papel outrora desempenhado pela Igreja, como fonte de

conhecimento e orientação. Mas tomou como modelo a Igreja medieval com os

seus dogmas e o seu autoritarismo. Tal como essa Igreja, a ciência está muito

dividida e sectária, e existe muito mais para benefício pessoal de quem a

pratica do que para o enriquecimento do saber e esclarecimento de todos nós.

Até tem uma Inquisição, a que chamam a inspecção dos pares. Antes de um

cientista receber o subsídio que lhe permitirá fazer um trabalho de

investigação, e antes de poder publicar os resultados desse trabalho, tem de

ser examinado e obter a aprovação de um grupo anónimo dos chamados pares.

Por enquanto, esta Inquisição ainda não pode enforcar nem queimar os

hereges, mas pode negar-lhes a possibilidade de publicarem as suas conclusões

ou de receberem donativos para custearem o seu trabalho. Ela tem o poder de

destruir a carreira de qualquer cientista que se revolte. Possui um valor

marginal quanto a separar o trigo do joio no caso da investigação trivial,

sobretudo se ela se orientar no sentido da tecnologia. Mas trata-se de um

sistema profundamente desencorajador para a criatividade. Imaginem o que

_______________________________________________________________________________

"Métricas e peer review" - Teresa Alpuim (Faculdade de Ciências da Universidade de Lisboa)

Debate - A avaliação de desempenho nos Estatutos de Carreira - IST Lisboa - 27 de Janeiro de 2010

5

aconteceria nas Humanidades se os críticos fossem todos anónimos e tivessem

o poder de impedir que um livro fosse escrito ou publicado, caso não

concordassem com ele. Num mundo assim, as listas telefónicas e os manuais

técnicos serviriam perfeitamente, mas onde estariam obras como
O Deus das Moscas
ou O Triunfo dos Porcos?”

Com efeito, não faltam exemplos de respostas parvas e descabidas dos
referees

e, às vezes, mostrando uma grande ignorância sobre o assunto sobre o qual se

estão a pronunciar. Na verdade, os árbitros são pessoas e, como tal, fazem

avaliações de carácter subjectivo e também podem actuar tendo em mente os

seus próprios interesses de carreira ou de satisfação pessoal em detrimento da

garantia da livre circulação e debate de novas ideias. O processo de publicação

é permeável à falta de objectividade dos revisores cuja apreciação pode ser

influenciada por motivações menos recomendáveis como:

Fazer passar as suas ideias, ainda que em artigos assinados por outros;

Impedir a publicação de contribuições que ponham em causa ou que

critiquem trabalho seu ou de colaboradores próximos;

Impedir a publicação de inovações relevantes na sua área feitas por

outros e não por si próprios;

Obter currículo através de arbitrar muitos artigos, alguns deles em áreas

sobre as quais não têm o devido conhecimento.

Fazer ajustes de contas com o autor, quando manteve com este

rivalidades ou desacordos.

Mas a ideia de que só as contagens interessam também leva muitos autores a

utilizar tácticas pouco sérias e que em nada contribuem para o progresso da

ciência. Parnas apresenta uma lista desse tipo de truques e vícios á qual junto

mais alguns:

Dividir artificialmente a publicação do mesmo resultado ou da mesma

ideia em múltiplos artigos, de preferência em diferentes revistas, para que

esta seja mais proveitosa em termos do seu currículo;

Publicar resultados que já sabem que estão desactualizados ou que são

irrelevantes pois uma vez que o artigo “passe” é o que importa;

Publicar resultados insuficientemente validados pela quantidade e

diversidade necessárias de aplicações, experiências laboratoriais ou em

ambiente real.

Constituir grupos com o objectivo de se citarem uns aos outros ou,

mesmo, de assinarem as publicações uns dos outros de modo que todos

_______________________________________________________________________________

"Métricas e peer review" - Teresa Alpuim (Faculdade de Ciências da Universidade de Lisboa)

Debate - A avaliação de desempenho nos Estatutos de Carreira - IST Lisboa - 27 de Janeiro de 2010

6

aumentam a sua produtividade; por vezes, juntar o nome de um

investigador prestigiado a um artigo para que seja mais facilmente aceite;

Constituir pequenos grupos em torno de um tema restritivo, mas com a

dimensão suficiente para manter uma revista e uma conferência periódica,

de modo que o grupo publica para o grupo;

Organizar conferências e editar as respectivas actas onde os seus artigos

serão publicado sem dificuldade.

Isto, claro, para não falar em atitudes moralmente mais reprováveis como a

publicação de resultados forjados ou a tentativa de cair no agrado do editor da

revista convidando-o para proferir palestras, pertencer a comissões de

programa, etc. Portanto, apesar do suposto processo de publicação ser

exigente e imparcial não faltam os exemplos de artigos com erros, totalmente

irrelevantes, desactualizados, com faltas graves nas citações ou mesmo

repetindo trabalho já publicado anteriormente.

Uma história interessante e novos horizontes

Infelizmente, várias histórias recentes mostram que o trabalho científico

profundo e verdadeiramente inovador é muito difícil de publicar. Dentre esses

casos, gostaria de mencionar a batalha que os físicos João Magueijo e Andrew

Albrecht, do
Imperial College, tiveram de vencer para conseguir publicar as

suas teorias inovadoras, mas polémicas, sobre a velocidade da luz variável

(VSL). No seu livro, “Mais rápido do que a própria luz”, João Magueijo conta-nos

que, após o artigo ter sido recusado pela revista
Nature, por um editor da

área de Física que ele classifica como “um atrasado mental de primeira”, ele e o

seu colaborador resolveram enviar o trabalho para a prestigiada revista
Physical

Reviews D
(PRD). Tratando-se de uma teoria que punha em causa a

relatividade restrita e conhecendo eu o conservadorismo que é habitual na

maioria dos revisores, não me espantou saber que o
referee recusou o artigo

com uma resposta dura e agressiva, chegando a pôr em causa o

profissionalismo dos autores. Felizmente, os autores tinham a segurança

intelectual própria dos livres-pensadores e dos cientistas que trabalham com o

entusiasmo de quem só lhe interessa resolver problemas verdadeiramente

interessantes. Encetaram então uma longa troca de correspondência com o

revisor que foi azedando e resvalando cada vez mais para o plano do insulto

pessoal e cada vez menos para uma discussão com conteúdo científico.

Magueijo considera que, apesar destes desenvolvimentos, eles até tiveram

sorte porque o editor da PRD resolveu acabar com a discussão e ser, ele

próprio, o
referee do artigo sobre a VSL. Fez-lhes saber que tinha reservas

relativamente ao trabalho mas trouxe a discussão para o plano científico. Após

_______________________________________________________________________________

"Métricas e peer review" - Teresa Alpuim (Faculdade de Ciências da Universidade de Lisboa)

Debate - A avaliação de desempenho nos Estatutos de Carreira - IST Lisboa - 27 de Janeiro de 2010

7

um longo processo de discussão em que o editor foi questionando a teoria em

vários aspectos e os autores a tentaram defender, incluindo uma ida do editor

ao Imperial College com uma troca de impressões bastante acesa, o editor da

PRD resolveu publicar o trabalho, ao fim de mais de um ano do envio da

primeira versão do artigo.

A aceitação após esta longa “batalha Guttenberg”, como o próprio João

Magueijo a classifica, deixou os autores muito contentes e pensando que as

suas aventuras com a publicação daquele artigo tinham terminado. No entanto,

pouco depois, realizaram que John Moffat, um Físico da Univeridade de

Toronto, tinha descoberto uma teoria sobre a VSL que, embora teoricamente

diferente, em substância era semelhante à deles. Moffat também tinha enviado

um artigo para a PRD que foi igualmente recusado. Após prolongada discussão

com o editor e os
referees, acabara por desistir e publicara o seu trabalho

numa revista pouco conhecida. Por isso, Magueijo e Albrecht desconheciam o

trabalho de Moffat. Este escreveu-lhes uma carta, muito magoado, pedindo que

o citassem. Também escreveu à PRD pedindo para suspender a publicação do

trabalho e ameaçando proceder legalmente por estarem a violar os direitos de

autor. Magueijo teve uma boa atitude relativamente a esta situação delicada:

escreveu a Moffat, pedindo-lhe desculpa e oferecendo-lhe a sua amizade. Como

o artigo ainda estava em fase de provas, podia acrescentar a citação de Moffat

e disponibilizou-se para acrescentar uma nota a explicar a situação. Semanas

mais tarde, Magueijo foi a Toronto visitar Moffat e tornaram-se amigos.

Segundo ele, as ideias de Moffat viriam a servir-lhe de guia. Hoje, já publicaram

um artigo em conjunto.

John Moffat é um Físico com uma carreira pouco convencional: abandonou a

pintura por falta de dinheiro e começou a estudar Física e Matemática sozinho.

Ao fim de um ano já trabalhava em problemas da Física difíceis e atraíu a

atenção de Niels Bohr, Erwin Schrodinger, Dennis Sciama, Fred Hoyle e Abdus

Salam. Sob a influência de Sciama, foi aceite como aluno de doutoramento em

Cambridge, orientado por Hoyle e Salam. Para além da VSL fez outras

contribuições importantes para a Física, nomeadamente, uma teoria

gravitacional não-simétrica, em continuação da teoria do campo unificado de

Einstein, e uma teoria do campo quântico não-local. Na sua juventude, Moffat

trocou correspondência com Einstein que ficou impressionado com o seu

talento e o apoiou no lançamento de uma carreira. Segundo Magueijo, Moffat

sempre manteve relações complicadas com diversas revistas científicas.

Felizmente, alguns cientistas estão-se a preocupar com as muitas falhas do

sistema de
peer review e procuram alternativas melhores para o processo de

publicação e de divulgação de novos conhecimentos. Em algumas áreas

organizam-se arquivos
Web onde os trabalhos são publicados garantindo os

_______________________________________________________________________________

"Métricas e peer review" - Teresa Alpuim (Faculdade de Ciências da Universidade de Lisboa)

Debate - A avaliação de desempenho nos Estatutos de Carreira - IST Lisboa - 27 de Janeiro de 2010

8

direitos de autor e permitindo uma discussão aberta. A Associação Europeia de

Geociências edita uma revista,
Ocean Science, em que as contribuições sofrem

um processo de arbitragem preliminar que verifica se o assunto se enquadra na

área científica da revista e se tem qualidade científica básica. O artigo é então

publicado
on-line para uma discussão aberta onde podem participar os referees

(anónimos ou não), o editor, os autores e também qualquer membro da

associação com pequenos comentários. Após esta fase, os autores podem rever

o artigo e o editor decide sobre a sua publicação, eventualmente, reenviando

para os mesmos ou outros árbitros. Outros editores estão a seguir este

exemplo, que me parece muito mais sério e construtivo.

Os sociólogos têm-se debruçado bastante sobre a questão da produtividade

científica e do processo de publicação. Mary Frank Fox, num pequeno artigo

intitulado “Disciplinary Fragmentation, Peer Review, and the Publication

Process”, publicado na revista
The American Sociologist, constata que os níveis

de publicação na Sociologia são mais baixos do que em outras áreas, no seu

entender porque a comunidade está fragmentada em grupos que não aceitam

facilmente as ideias e os métodos uns dos outros. Isto conduz a altos níveis de

rejeição e desmoraliza os potenciais autores. Segundo Fox, a solução para este

problema passa pelos editores darem directivas precisas de rigor e

imparcialidade aos
referees e organizarem processos de open discussion: “O

processo de revisão aberta desmistifica o processo de publicação tanto para os

neófitos como para os experientes, incentiva o sentido de responsabilidade do

revisor, e submete a inspecção dos pares ao escrutínio que a fará melhorar.

Além disso, a discordância entre os pares – especialmente em áreas de

investigação emergentes – pode ser “criativa” (Harnad 1979) e a discussão

pública activa, até acalorada, pode ajudar a construir, e reconstruir, ideias e a

sua fundamentação”.

É preciso avaliar? Talvez, mas com mais ciência e mais sensatez

É preciso tempo para reconhecer a importância de uma teoria ou de um

resultado. É preciso discussão honesta, reflexão. Os investigadores precisam de

tempo para pensar com tranquilidade, para experimentar coisas diferentes e,

mesmo, malucas. Precisam de espaço para trabalhar movidos pelo seu

entusiasmo e pela sua curiosidade. Não é possível fazer-se trabalho

verdadeiramente importante e inovador estando constantemente a ser

avaliado, permanentemente condicionado com metas quantitativas de

publicações e resultados. Essas metas e objectivos serão muito adequados para

a produção industrial ou para a actividade empresarial mas não têm nada a ver

com o processo da descoberta do conhecimento. Ainda segundo Lovelock, no já

referido artigo, “um acontecimento infeliz para a evolução quer do

_______________________________________________________________________________

"Métricas e peer review" - Teresa Alpuim (Faculdade de Ciências da Universidade de Lisboa)

Debate - A avaliação de desempenho nos Estatutos de Carreira - IST Lisboa - 27 de Janeiro de 2010

9

ambientalismo quer da ciência depois da Segunda Guerra Mundial foi a criação

da hegemonia americana. (...) O centro de poder deslocou-se, e com ele o

centro da evolução das ideias e da filosofia. (...) O vigor e o espírito de

competição da vida americana são muito recomendáveis, mas são desastrosos

para a ciência. Criaram uma ética que se estendeu a todo o primeiro mundo,

em que ganhar prémios e ser rico ou poderoso são os objectivos próprios de

uma vida dedicada á ciência. Numa vida científica ditada pela vocação, a fraude

é insípida e rara. Para os novos ases da ciência, a fraude é o caminho certo,

desde que não sejam detectados. A ciência actual assemelha-se à charada

degradante dos Jogos Olímpicos.” E porque não juntar, à charada ainda mais

degradante do actual sistema financeiro?

Dantes, os académicos publicavam porque sentiam que tinham qualquer coisa

de importante para apresentar à comunidade científica e gostavam que esta

reconhecesse o mérito do seu contributo. Hoje, muitos académicos publicam

porque precisam desesperadamente dessas publicações para manter o

emprego, para poderem continuar a investigar ou para serem promovidos e

ganharem mais dinheiro. E isto faz toda a diferença e é esta pressão que está a

corromper o processo de publicação e a discussão verdadeiramente científica

no seio da comunidade académica.

Nenhum sistema de avaliação sério e honesto pode deixar de incluir uma

análise rigorosa e reflectida do conteúdo dos trabalhos de um académico. E isto

leva tempo e dá trabalho, o que é contrário à ideia de permanente avaliação

que tende a recorrer a métricas que, por sua vez, são indutoras de vícios e de

uma comunidade científica disfuncional.


---------- Mensagem encaminhada ----------
De: Sindicato Nacional do Ensino Superior - Organização
Data: 1 de fevereiro de 2010 14:21
Assunto: Ensino_superior_ Comunicações sobre avaliação de desempenho no site do SNESup









Estão já colocadas no site do SNESup as comunicações apresentadas no Debate "A avaliação de desempenho nos Estatutos de Carreira" realizado no dia 27 de Janeiro no IST:





"Métricas e peer review", de Teresa Alpuim (Faculdade de Ciências da Universidade de Lisboa)







"Perfis: vários tipos de docentes", de Catarina Fernando (Universidade da Madeira)







"Avaliação pedagógica: garantia de qualidade ou apoio ao facilitismo ?" de José Moreira (Universidade do Algarve)




Justificar completamente


"Poder de decisão: Quem avalia ?", de António Vicente (Universidade da Beira Interior)







"Diferenciação e desempenho: Quando se justifica uma avaliação negativa ? Ou Excelente ?", de António Vicente (Universidade da Beira Interior)







"Testando a aplicação dos princípios a vários projectos de regulamento" (texto de apoio)








1-2-2010 "



_____________

enviado por: jose manuel Martins jmbmarte@gmail.com

com o título: Ensino_superior_ Comunicações sobre avaliação de desempenho no site do SNESup







Sem comentários: