Recebi este mail, que com a devida vénia, transcrevo sem mais comentários, apenas com a nota de que nunca me agradou o sistema do "peer review" - todavia, desta transcrição aqui não se pode inferir que esteja de acordo com todas as ideias expostas; apenas, que elas são uma base útil de reflexão e de debate público sobre um tema muito sensível no sistema científico internacional e nacional, e não apenas no que diz respeito a revistas. Peço desculpa da deficiência de apresentação do texto, que se desformata ao passar para o blogue:
"Envio, porventura com redundância nalguns casos (alguns receberão também esta correspondência do Snesup), transcrevendo um dos artigos abertos para facilitação de acesso.
É altura do contra-ataque (um de muitos). E vale a pena começar a reunir em rede os agentes de resistência, entrançar o vime, acumular os argumentos, e opô-los sistematicamente a todos os 'ditames institucionais' - a todo o momento e em todas as frentes.
O mito peer review é aqui praticamente demolido.
Mas a questão de fundo, nas 'humanidades', é que, na tradição em que o ocidente consiste, a unidade de criação cultural é o livro, não o artigo, a obra, não o eco, a construção do edifício, não o manejo da pequena técnica, por virtuose que possa surtir a miniatura.
A tecnicização integral do mundo académico, sob a designação cientificista de "investigação", longe de se poder vir a auto-sustentar cada vez mais num sistema em cachos de papers interremissivos (por citação, discussão, retoma, prosseguimento), tenderá à dissipação progressiva, na proporção directa ao grau de afastamento da fonte primária sustentadora: se, nas ciências exactas, nas experimentais e nas áreas tecnológicas, a fonte primária e a unidade de sentido e de saber serão o paper, em ciências humanas e sociais a fonte primária e a unidade de saber e de sentido são o livro, face ao qual o artigo sempre constituiu um desdobramento importante, mas secundário. Caracteristicamente, a imensa literatura de artigos reporta-se 'perpendicularmente' ao livro, ao autor central, ao criador primário de pensamento - e não, transversalmente, à rede que estes formam entre si. Mesmo o universitário influente expressa-se preponderantemente por livros - são estes as suas palavras -, não por artigos - apenas sílabas soletradas (de novo, em relação proporcional muito claramente directa).
Numa palavra: aquilo a cujo propósito de todo há papers e outros papéis, chama-se livro. O paradigma do 'investigador' não é o investigador, é o escritor - de livros. Os colóquios internacionais versam autores - e, quando temas, temas 'em' autores. É essa a hermenêutica crítica da retoma sobrearticuladora que constitui a nossa tradição, ao pé da qual o linguarejar farisaico e autocongratulatório hodierno da "excelência" faz figura de criada de servir em bicos dos pés, senão aos saltinhos (e é propositadamente que utiliso a retórica da deselegância).
Há estudos, colóquios, leccionação universitária, revistas monográficas, seminários, teses de mestrado e de doutoramento, propostas de comunicação, recensões críticas, trabalho de edição de obra completa, etc., etc., etc., sobre Bourdieu, Iris Murdoch, Bataille, Ortega y Gasset, Rancière, Eduardo Lourenço, Hjelmslev, Zizek, Rorty ou Vattimo porque eles escreveram livros, porque o que eles escreveram foi livros.
O futuro universitário e as futuras comunidades universitárias, condenados às galés lectivas da burocracia pseudopedagogista e às galés investigacionais da produção de papéis (a unidade métrica abaixo dos nossos antigos artigos, por sua vez compromissos menores do opúsculo e do ensaio), e cujo mundo se vê ao mesmo tempo devastado pelos estragos produzidos pela triunfal rapidez do telemático-imagético, conduzirá à extinção progressiva e generalizada da própria dimensão de pensamento na qual Há o livro. Uma longa linha hermenêutica de desgaste e erosão, de apagamento e autofagia, descerá então os degraus de paper em paper até à consumação da intrusiva imposição entrópica à qual não soube ou não quis resistir.
Acresce que o sistema de 'revisão por pares de pares' induz quase irresistivelmente a uma estrutura rígida de hierarquias mafiosas dispondo directamente das rédeas de controle do eixo nevrálgico de que depende todo o sistema (não 'há' pares: eles são escolhidos, nomeados, cooptados, negociados, quiçá indicados e indigitados...). O sistema, digo, não só de indivíduos, mas de instituições académicas e das próprias revistas, e de outros organismos enquadradores da investigação. E duplicar o qui custodiet custodies, esse erro tipicamente platónico que vai dar ao 'terceiro homem', apenas reforça o próprio paradigma.
Enfim, por definição os sistemas de aferição tendem a padronizados e homogeneizantes - e à constituição de dogmas formais e de ortodoxias -, a criatividade é divergente. E a qualidade, nacional e internacional, é reconhecida pelo tecido vivo de comunidades epistémicas, sem necessidade de carimbos. Por outro lado, questões vexatae como a das escolas e linhas filosóficas, por vezes turbulentamente divergentes, não podem ser artificialmente dirimidas por decretos formais e exteriores (neste particular, não invento, e cito o caso recente e exemplificativo de um neófito em lides filosóficas que apresenta o seu artigo a uma revista de orientação analítica: liminarmente recusado - apenas para vir a ser acolhido de braços abertos pela comunidade teórico-crítica de forte incidência socio-política e culturológica). A lógica progressivista dos sistemas de acreditação tende por força (e pela ideologia eficientista da verdade unívoca) a rebater esta dissenção-tipo em favor de uma orientação ganhadora e prevalecente. Os sistemas formais, hierárquicos e burocráticos têm horror aos estados epistemológicos abertos e ruidosos, ao problemático e à pluralidade conflitual (que o mito cientista do saber unívoco condena ipso facto como pseudo-saber), tendendo a cortar expeditamente todos os nós górdios. Sobretudo quando lhes é pedido (oportuno alibi) rigor orçamental em tempos de crise. Numa palavra - como bem viu Popper -, a ciência impaciente e afirmativa, a ciência da verdade, tende a ser antidemocrática por puros imperativos extrapolíticos de (suposta) racionalidade.
Por isso convém não esquecer que o que se joga na presente situação não conjuga apenas acidental e exteriormente o saber e o poder, o epistémico e o político: estas duas dimensões não só se cruzam, não só inerem reciprocamente uma à outra, elas partilham uma comunidade de paradigma, que infalivelmente faz corresponder, a um certo estilo de agir, um certo modo de pensar - o que ainda é o menos - e, a uma certo estilo de pensamento, um certo modo de agir, o que já é o mais.
Para além de haver uma política da cultura, a cultura é política, and I don't mean the policy, but politics as such. (Por exemplo: leccionar em inglês na universidade portuguesa, é mais cultural, ou mais político? Um bom dialecta começaria por observar que, num tal caso, 'ser puramente cultural' é uma das maneiras mais seguras de ser por isso mesmo tanto mais político. E prosseguiria).
A Avaliação de Desempenho
nos Estatutos de Carreira
"Métricas e peer review"
Teresa Alpuim
(Faculdade de Ciências da Universidade de Lisboa)
DEBATE - 27 de JANEIRO no IST - Lisboa
- Métricas: uma boa forma de avaliação?
- Avaliação pedagógica: qualidade ou facilitismo?
- Perfis: vários tipos de docentes?
- Poder de decisão: quem avalia?
- Diferenciação de desempenho: quando uma “negativa”? ou um “excelente”?
Anfiteatro QA 02.3 Torre Sul
Debate aberto a todos os docentes do ensino superior
_______________________________________________________________________________
"Métricas e peer review" - Teresa Alpuim (Faculdade de Ciências da Universidade de Lisboa)
Debate - A avaliação de desempenho nos Estatutos de Carreira - IST Lisboa - 27 de Janeiro de 2010
1
Métricas: são ou não uma boa forma de avaliação?
O caso da avaliação da investigação científica
Teresa Alpuim
Hoje em dia, a avaliação da investigação, isto é, da produtividade científica dos
académicos e investigadores, está-se a tornar quase numa obsessão. De uma
forma mais aberta ou mais velada, todos reconhecem que a avaliação da
produção intelectual criativa e inovadora é um processo delicado e complexo,
tantas vezes controverso. Basta olhar para a História da Ciência e analisar os
inúmeros casos em que as descobertas científicas de grande valor foram
duramente criticadas ou desprezadas e o tempo que foi necessário até que
estas se estabelecessem como os novos paradigmas da ciência. Mas agora,
algumas eminências pardas da Ciência, em geral, ligadas ao poder e às
organizações governamentais responsáveis pela atribuição de financiamentos,
fazem perpassar a ideia de que este problema crónico da Humanidade – o
reconhecimento de novas ideias com valor – pode facilmente ser resolvido pelo
obscuro e tortuoso processo do
peer review e pela contagem do número de
publicações em revistas especializadas. Sei que esta afirmação é polémica no
seio da comunidade científica mas é urgente discuti-la de uma forma aberta e
racional porque a recente revisão dos Estatutos das carreiras docentes obriga a
avaliações de desempenho regulares. Estas podem vir a ter consequências
positivas ou negativas, mesmo destrutivas, para as Instituições de Ensino
Superior se não formos capazes de encontrar formas sérias e sensatas de as
fazer.
A pressão para publicar e consequências
A publicação em revistas científicas especializadas é o processo como os
investigadores comunicam aos seus pares os resultados da sua investigação e,
por isso, é um passo fundamental e incontornável no desenvolvimento da
ciência e do conhecimento. A publicação é um meio de divulgar novas ideias e
não um fim em si. A discussão que se lhe segue e, muitas vezes, o tempo,
dirão se essas ideias serão absorvidas pela comunidade científica e pela
sociedade. Mas os sistemas de avaliação exigem cada vez mais que os
académicos publiquem muitos artigos a um ritmo regular. Este tipo de avaliação
incentiva a quantidade em vez da qualidade bem como a superficialidade em
vez da relevância. Assenta nos pressupostos de que a publicação em certas
revistas é garantia de qualidade, o que tentarei demonstrar que não é verdade,
e que os artigos que são publicados numa determinada revista têm todos o
_______________________________________________________________________________
"Métricas e peer review" - Teresa Alpuim (Faculdade de Ciências da Universidade de Lisboa)
Debate - A avaliação de desempenho nos Estatutos de Carreira - IST Lisboa - 27 de Janeiro de 2010
2
mesmo valor, o que, naturalmente, ainda é menos verdadeiro. Tem como
consequência a fragmentação do conhecimento científico e o desconhecimento
ou não valorização desse conhecimento pela sociedade. A forma como os
académicos se defendem desta pressão para publicar é dividirem-se em
inúmeros pequenos grupos muito especializados que funcionam em círculos
fechados e desligados uns dos outros. Em geral, são bastante avessos a ideias
verdadeiramente inovadoras que podem, de algum modo, questionar o seu
trabalho, pois têm receio que isso ponha em causa a existência do próprio
grupo. Tendem a cair em temas superficiais e demasiado especializados, pois
esta é a forma mais fácil de garantir muitas publicações. Para ver que assim é,
basta consultar as estatísticas dos índices de citação em certas áreas, por
exemplo, na
ISI Web of Knowledge.
David Parnas, professor de Engª de Software na Universidade de Limerick,
Irlanda, no seu artigo “Parem com o jogo dos números. Contar artigos atrasa o
ritmo do progresso científico”, publicado na revista
Communications of the
ACM
, escreve:
“Como cientista sénior, entristece-me ver as agências de financiamento,
presidentes de departamentos, directores de escolas e comissões de promoção
incentivarem os jovens cientistas a fazerem investigação superficial. Como leitor
do que deveriam ser revistas científicas sérias, aborrece-me ver a literatura das
Ciências da Computação ser poluída por mais e mais artigos com menos e
menos valor científico. Como alguém que muitas vezes serviu como editor ou
referee
, sinto-me ofendido com discussões que encerram que a revista está lá
para servir os autores em vez dos leitores. Os outros leitores de revistas
científicas também deviam sentir-se igualmente ofendidos e exigir a mudança.
A causa de todas estas manifestações é a política largamente disseminada de
medir os investigadores pelo número de artigos que publicam em vez da
correcção, importância, verdadeira inovação ou relevância das suas
contribuições.”
Em seguida, Parnas enumera e comenta uma série de vícios e distorções que
esta forma de avaliar está a disseminar pela sua comunidade científica,
nomeadamente: incentiva a investigação superficial, incentiva a constituição de
grupos de trabalho demasiado grandes em que os académicos mais séniores
põem o seu nome nos artigos de todos os estudantes e jovens investigadores;
incentiva a repetição; incentiva estudos pequenos e insignificantes; recompensa
a publicação de ideias incompletas (half-baked).
_______________________________________________________________________________
"Métricas e peer review" - Teresa Alpuim (Faculdade de Ciências da Universidade de Lisboa)
Debate - A avaliação de desempenho nos Estatutos de Carreira - IST Lisboa - 27 de Janeiro de 2010
3
Valoração dos diferentes tipos de publicações e actividades
Para além de contarem artigos, muitos sistemas de avaliação contam também
livros, palestras em conferências, organização de encontros científicos,
orientação de estudantes, etc. Fazendo listas exaustivas de todo o tipo de
actividades ligadas à investigação, os avaliadores que defendem este tipo de
sistema consideram-no muito completo e rigoroso. Não se apercebem de que
tudo isto são actividades diferentes, mas necessariamente interligadas para
chegar a um mesmo objectivo que é a descoberta de resultados científicos e,
esses sim, é que devem ser avaliados.
Em alguns casos a fúria avaliadora vai mais longe, atribuindo valores diferentes
a cada tipo de actividade e mesmo, atribuindo valores diferentes a cada artigo
de acordo com o tipo de revista onde é publicado, isto é, consoante o factor de
impacto da revista, o seu “prestígio”, se figura no
ISI Web of Knowledge, etc.
Fazem-se então listas e grelhas com valorações perfeitamente subjectivas e
obedecendo a critérios estabelecidos pelos burocratas da ciência mas
apresentadas como muito imparciais. Supostamente, este tipo de métodos
permite avaliar detalhadamente e com a máxima rapidez, pois (pasme-se!) nem
sequer requer que o avaliador leia com cuidado os trabalhos do avaliado.
Responde, portanto, à ideia que o sistema pretende impôr de que é
fundamental avaliar tudo e a toda a hora o que, inevitavelmente, redunda
numa avaliação superficial e distorcida, baseada em contagens de todo o tipo.
Fico arrepiada em ouvir colegas elogiar estas metodologias de contagens e
grelhas a ponto de as quererem também aplicar à avaliação dos docentes nas
suas tarefas de ensino. Imagino que números de horas de leccionação e de
disciplinas, contagens de textos de apoio e de livros pedagógicos, etc., têm, na
perspectiva dos defensores das métricas, um papel muito mais decisivo na
avaliação de um professor do que uma análise séria dos conteúdos leccionados,
rigor científico e actualidade dos mesmos, capacidade de exposição e clareza na
apresentação das matérias ou ainda vocação e capacidade de despertar o
entusiasmo dos alunos empenhados. Se fôr assim, aonde irão parar a qualidade
do nosso ensino superior e os conhecimentos dos nossos licenciados?
O processo de publicação (peer review)
Na maioria das revistas científicas, os artigos são enviados ao editor que
escolhe um ou mais (em geral, dois)
referees anónimos que devem pronunciarse
sobre a qualidade do artigo. Com base no relatório dos
referees, o editor
decide se deve ou não publicar o artigo. É evidente a necessidade deste
processo de revisão prévia, pois muitos artigos contém erros, omitem citações e
trabalho anterior relacionado, ou não trazem qualquer tipo de inovação. No
_______________________________________________________________________________
"Métricas e peer review" - Teresa Alpuim (Faculdade de Ciências da Universidade de Lisboa)
Debate - A avaliação de desempenho nos Estatutos de Carreira - IST Lisboa - 27 de Janeiro de 2010
4
entanto, a forma como é feita dá poucas garantias de imparcialidade e é muito
desequilibrada. O problema principal é que, à excepção do editor, o nome dos
referees
não é conhecido mas estes sabem quem são os autores e qual a sua
afiliação. Isto permite que os revisores digam o que muito bem entenderem
sem serem responsabilizados por nada. Alguns editores permitem que os
autores respondam directamente aos revisores, defendendo-se das suas
críticas, mas, frequentemente, estas respostas não são muito bem aceites pelos
referees
e a discussão acaba por azedar e perder o conteúdo científico.
Na minha perspectiva, o aspecto mais negativo deste processo é o facto de
estar envolto em secretismo mas também o desequilíbrio que consiste em o
árbitro conhecer a identidade do autor enquanto que este desconhece quem é
o
referee. Algumas revistas procuram alternativas a este processo de
arbitragem com o que se costuma chamar o sistema de
double blind, em que o
revisor e o autor são ambos anónimos, ou ainda o sistema em que ambos são
conhecidos um do outro. Qualquer um destes processos já representa um
progresso, embora não haja muitas revistas a pô-los em prática. Em todo o
caso, em minha opinião, num processo de arbitragem imparcial o nome dos
referees
deve ser público mas a identidade dos avaliados deve ser
desconhecida.
James Lovelock, ambientalista e cientista de renome, autor de numerosos
artigos e de alguns livros, no artigo “A ciência deve ser cada vez mais verde”,
publicado no livro “Ciência para a Terra”, descreve o processo da
peer review:
“Na minha opinião a influência mais perniciosa a que a ciência moderna é
submetida é a “inspecção dos pares”. Esta instituição nasceu quando a ciência
se apoderou do papel outrora desempenhado pela Igreja, como fonte de
conhecimento e orientação. Mas tomou como modelo a Igreja medieval com os
seus dogmas e o seu autoritarismo. Tal como essa Igreja, a ciência está muito
dividida e sectária, e existe muito mais para benefício pessoal de quem a
pratica do que para o enriquecimento do saber e esclarecimento de todos nós.
Até tem uma Inquisição, a que chamam a inspecção dos pares. Antes de um
cientista receber o subsídio que lhe permitirá fazer um trabalho de
investigação, e antes de poder publicar os resultados desse trabalho, tem de
ser examinado e obter a aprovação de um grupo anónimo dos chamados pares.
Por enquanto, esta Inquisição ainda não pode enforcar nem queimar os
hereges, mas pode negar-lhes a possibilidade de publicarem as suas conclusões
ou de receberem donativos para custearem o seu trabalho. Ela tem o poder de
destruir a carreira de qualquer cientista que se revolte. Possui um valor
marginal quanto a separar o trigo do joio no caso da investigação trivial,
sobretudo se ela se orientar no sentido da tecnologia. Mas trata-se de um
sistema profundamente desencorajador para a criatividade. Imaginem o que
_______________________________________________________________________________
"Métricas e peer review" - Teresa Alpuim (Faculdade de Ciências da Universidade de Lisboa)
Debate - A avaliação de desempenho nos Estatutos de Carreira - IST Lisboa - 27 de Janeiro de 2010
5
aconteceria nas Humanidades se os críticos fossem todos anónimos e tivessem
o poder de impedir que um livro fosse escrito ou publicado, caso não
concordassem com ele. Num mundo assim, as listas telefónicas e os manuais
técnicos serviriam perfeitamente, mas onde estariam obras como
O Deus das Moscas
ou O Triunfo dos Porcos?”
Com efeito, não faltam exemplos de respostas parvas e descabidas dos
referees
e, às vezes, mostrando uma grande ignorância sobre o assunto sobre o qual se
estão a pronunciar. Na verdade, os árbitros são pessoas e, como tal, fazem
avaliações de carácter subjectivo e também podem actuar tendo em mente os
seus próprios interesses de carreira ou de satisfação pessoal em detrimento da
garantia da livre circulação e debate de novas ideias. O processo de publicação
é permeável à falta de objectividade dos revisores cuja apreciação pode ser
influenciada por motivações menos recomendáveis como:
•
Fazer passar as suas ideias, ainda que em artigos assinados por outros;
•
Impedir a publicação de contribuições que ponham em causa ou que
critiquem trabalho seu ou de colaboradores próximos;
•
Impedir a publicação de inovações relevantes na sua área feitas por
outros e não por si próprios;
•
Obter currículo através de arbitrar muitos artigos, alguns deles em áreas
sobre as quais não têm o devido conhecimento.
•
Fazer ajustes de contas com o autor, quando manteve com este
rivalidades ou desacordos.
Mas a ideia de que só as contagens interessam também leva muitos autores a
utilizar tácticas pouco sérias e que em nada contribuem para o progresso da
ciência. Parnas apresenta uma lista desse tipo de truques e vícios á qual junto
mais alguns:
•
Dividir artificialmente a publicação do mesmo resultado ou da mesma
ideia em múltiplos artigos, de preferência em diferentes revistas, para que
esta seja mais proveitosa em termos do seu currículo;
•
Publicar resultados que já sabem que estão desactualizados ou que são
irrelevantes pois uma vez que o artigo “passe” é o que importa;
•
Publicar resultados insuficientemente validados pela quantidade e
diversidade necessárias de aplicações, experiências laboratoriais ou em
ambiente real.
•
Constituir grupos com o objectivo de se citarem uns aos outros ou,
mesmo, de assinarem as publicações uns dos outros de modo que todos
_______________________________________________________________________________
"Métricas e peer review" - Teresa Alpuim (Faculdade de Ciências da Universidade de Lisboa)
Debate - A avaliação de desempenho nos Estatutos de Carreira - IST Lisboa - 27 de Janeiro de 2010
6
aumentam a sua produtividade; por vezes, juntar o nome de um
investigador prestigiado a um artigo para que seja mais facilmente aceite;
•
Constituir pequenos grupos em torno de um tema restritivo, mas com a
dimensão suficiente para manter uma revista e uma conferência periódica,
de modo que o grupo publica para o grupo;
•
Organizar conferências e editar as respectivas actas onde os seus artigos
serão publicado sem dificuldade.
Isto, claro, para não falar em atitudes moralmente mais reprováveis como a
publicação de resultados forjados ou a tentativa de cair no agrado do editor da
revista convidando-o para proferir palestras, pertencer a comissões de
programa, etc. Portanto, apesar do suposto processo de publicação ser
exigente e imparcial não faltam os exemplos de artigos com erros, totalmente
irrelevantes, desactualizados, com faltas graves nas citações ou mesmo
repetindo trabalho já publicado anteriormente.
Uma história interessante e novos horizontes
Infelizmente, várias histórias recentes mostram que o trabalho científico
profundo e verdadeiramente inovador é muito difícil de publicar. Dentre esses
casos, gostaria de mencionar a batalha que os físicos João Magueijo e Andrew
Albrecht, do
Imperial College, tiveram de vencer para conseguir publicar as
suas teorias inovadoras, mas polémicas, sobre a velocidade da luz variável
(VSL). No seu livro, “Mais rápido do que a própria luz”, João Magueijo conta-nos
que, após o artigo ter sido recusado pela revista
Nature, por um editor da
área de Física que ele classifica como “um atrasado mental de primeira”, ele e o
seu colaborador resolveram enviar o trabalho para a prestigiada revista
Physical
Reviews D
(PRD). Tratando-se de uma teoria que punha em causa a
relatividade restrita e conhecendo eu o conservadorismo que é habitual na
maioria dos revisores, não me espantou saber que o
referee recusou o artigo
com uma resposta dura e agressiva, chegando a pôr em causa o
profissionalismo dos autores. Felizmente, os autores tinham a segurança
intelectual própria dos livres-pensadores e dos cientistas que trabalham com o
entusiasmo de quem só lhe interessa resolver problemas verdadeiramente
interessantes. Encetaram então uma longa troca de correspondência com o
revisor que foi azedando e resvalando cada vez mais para o plano do insulto
pessoal e cada vez menos para uma discussão com conteúdo científico.
Magueijo considera que, apesar destes desenvolvimentos, eles até tiveram
sorte porque o editor da PRD resolveu acabar com a discussão e ser, ele
próprio, o
referee do artigo sobre a VSL. Fez-lhes saber que tinha reservas
relativamente ao trabalho mas trouxe a discussão para o plano científico. Após
_______________________________________________________________________________
"Métricas e peer review" - Teresa Alpuim (Faculdade de Ciências da Universidade de Lisboa)
Debate - A avaliação de desempenho nos Estatutos de Carreira - IST Lisboa - 27 de Janeiro de 2010
7
um longo processo de discussão em que o editor foi questionando a teoria em
vários aspectos e os autores a tentaram defender, incluindo uma ida do editor
ao Imperial College com uma troca de impressões bastante acesa, o editor da
PRD resolveu publicar o trabalho, ao fim de mais de um ano do envio da
primeira versão do artigo.
A aceitação após esta longa “batalha Guttenberg”, como o próprio João
Magueijo a classifica, deixou os autores muito contentes e pensando que as
suas aventuras com a publicação daquele artigo tinham terminado. No entanto,
pouco depois, realizaram que John Moffat, um Físico da Univeridade de
Toronto, tinha descoberto uma teoria sobre a VSL que, embora teoricamente
diferente, em substância era semelhante à deles. Moffat também tinha enviado
um artigo para a PRD que foi igualmente recusado. Após prolongada discussão
com o editor e os
referees, acabara por desistir e publicara o seu trabalho
numa revista pouco conhecida. Por isso, Magueijo e Albrecht desconheciam o
trabalho de Moffat. Este escreveu-lhes uma carta, muito magoado, pedindo que
o citassem. Também escreveu à PRD pedindo para suspender a publicação do
trabalho e ameaçando proceder legalmente por estarem a violar os direitos de
autor. Magueijo teve uma boa atitude relativamente a esta situação delicada:
escreveu a Moffat, pedindo-lhe desculpa e oferecendo-lhe a sua amizade. Como
o artigo ainda estava em fase de provas, podia acrescentar a citação de Moffat
e disponibilizou-se para acrescentar uma nota a explicar a situação. Semanas
mais tarde, Magueijo foi a Toronto visitar Moffat e tornaram-se amigos.
Segundo ele, as ideias de Moffat viriam a servir-lhe de guia. Hoje, já publicaram
um artigo em conjunto.
John Moffat é um Físico com uma carreira pouco convencional: abandonou a
pintura por falta de dinheiro e começou a estudar Física e Matemática sozinho.
Ao fim de um ano já trabalhava em problemas da Física difíceis e atraíu a
atenção de Niels Bohr, Erwin Schrodinger, Dennis Sciama, Fred Hoyle e Abdus
Salam. Sob a influência de Sciama, foi aceite como aluno de doutoramento em
Cambridge, orientado por Hoyle e Salam. Para além da VSL fez outras
contribuições importantes para a Física, nomeadamente, uma teoria
gravitacional não-simétrica, em continuação da teoria do campo unificado de
Einstein, e uma teoria do campo quântico não-local. Na sua juventude, Moffat
trocou correspondência com Einstein que ficou impressionado com o seu
talento e o apoiou no lançamento de uma carreira. Segundo Magueijo, Moffat
sempre manteve relações complicadas com diversas revistas científicas.
Felizmente, alguns cientistas estão-se a preocupar com as muitas falhas do
sistema de
peer review e procuram alternativas melhores para o processo de
publicação e de divulgação de novos conhecimentos. Em algumas áreas
organizam-se arquivos
Web onde os trabalhos são publicados garantindo os
_______________________________________________________________________________
"Métricas e peer review" - Teresa Alpuim (Faculdade de Ciências da Universidade de Lisboa)
Debate - A avaliação de desempenho nos Estatutos de Carreira - IST Lisboa - 27 de Janeiro de 2010
8
direitos de autor e permitindo uma discussão aberta. A Associação Europeia de
Geociências edita uma revista,
Ocean Science, em que as contribuições sofrem
um processo de arbitragem preliminar que verifica se o assunto se enquadra na
área científica da revista e se tem qualidade científica básica. O artigo é então
publicado
on-line para uma discussão aberta onde podem participar os referees
(anónimos ou não), o editor, os autores e também qualquer membro da
associação com pequenos comentários. Após esta fase, os autores podem rever
o artigo e o editor decide sobre a sua publicação, eventualmente, reenviando
para os mesmos ou outros árbitros. Outros editores estão a seguir este
exemplo, que me parece muito mais sério e construtivo.
Os sociólogos têm-se debruçado bastante sobre a questão da produtividade
científica e do processo de publicação. Mary Frank Fox, num pequeno artigo
intitulado “Disciplinary Fragmentation, Peer Review, and the Publication
Process”, publicado na revista
The American Sociologist, constata que os níveis
de publicação na Sociologia são mais baixos do que em outras áreas, no seu
entender porque a comunidade está fragmentada em grupos que não aceitam
facilmente as ideias e os métodos uns dos outros. Isto conduz a altos níveis de
rejeição e desmoraliza os potenciais autores. Segundo Fox, a solução para este
problema passa pelos editores darem directivas precisas de rigor e
imparcialidade aos
referees e organizarem processos de open discussion: “O
processo de revisão aberta desmistifica o processo de publicação tanto para os
neófitos como para os experientes, incentiva o sentido de responsabilidade do
revisor, e submete a inspecção dos pares ao escrutínio que a fará melhorar.
Além disso, a discordância entre os pares – especialmente em áreas de
investigação emergentes – pode ser “criativa” (Harnad 1979) e a discussão
pública activa, até acalorada, pode ajudar a construir, e reconstruir, ideias e a
sua fundamentação”.
É preciso avaliar? Talvez, mas com mais ciência e mais sensatez
É preciso tempo para reconhecer a importância de uma teoria ou de um
resultado. É preciso discussão honesta, reflexão. Os investigadores precisam de
tempo para pensar com tranquilidade, para experimentar coisas diferentes e,
mesmo, malucas. Precisam de espaço para trabalhar movidos pelo seu
entusiasmo e pela sua curiosidade. Não é possível fazer-se trabalho
verdadeiramente importante e inovador estando constantemente a ser
avaliado, permanentemente condicionado com metas quantitativas de
publicações e resultados. Essas metas e objectivos serão muito adequados para
a produção industrial ou para a actividade empresarial mas não têm nada a ver
com o processo da descoberta do conhecimento. Ainda segundo Lovelock, no já
referido artigo, “um acontecimento infeliz para a evolução quer do
_______________________________________________________________________________
"Métricas e peer review" - Teresa Alpuim (Faculdade de Ciências da Universidade de Lisboa)
Debate - A avaliação de desempenho nos Estatutos de Carreira - IST Lisboa - 27 de Janeiro de 2010
9
ambientalismo quer da ciência depois da Segunda Guerra Mundial foi a criação
da hegemonia americana. (...) O centro de poder deslocou-se, e com ele o
centro da evolução das ideias e da filosofia. (...) O vigor e o espírito de
competição da vida americana são muito recomendáveis, mas são desastrosos
para a ciência. Criaram uma ética que se estendeu a todo o primeiro mundo,
em que ganhar prémios e ser rico ou poderoso são os objectivos próprios de
uma vida dedicada á ciência. Numa vida científica ditada pela vocação, a fraude
é insípida e rara. Para os novos ases da ciência, a fraude é o caminho certo,
desde que não sejam detectados. A ciência actual assemelha-se à charada
degradante dos Jogos Olímpicos.” E porque não juntar, à charada ainda mais
degradante do actual sistema financeiro?
Dantes, os académicos publicavam porque sentiam que tinham qualquer coisa
de importante para apresentar à comunidade científica e gostavam que esta
reconhecesse o mérito do seu contributo. Hoje, muitos académicos publicam
porque precisam desesperadamente dessas publicações para manter o
emprego, para poderem continuar a investigar ou para serem promovidos e
ganharem mais dinheiro. E isto faz toda a diferença e é esta pressão que está a
corromper o processo de publicação e a discussão verdadeiramente científica
no seio da comunidade académica.
Nenhum sistema de avaliação sério e honesto pode deixar de incluir uma
análise rigorosa e reflectida do conteúdo dos trabalhos de um académico. E isto
leva tempo e dá trabalho, o que é contrário à ideia de permanente avaliação
que tende a recorrer a métricas que, por sua vez, são indutoras de vícios e de
uma comunidade científica disfuncional.
---------- Mensagem encaminhada ----------
De: Sindicato Nacional do Ensino Superior - Organização
Data: 1 de fevereiro de 2010 14:21
Assunto: Ensino_superior_ Comunicações sobre avaliação de desempenho no site do SNESup
Estão já colocadas no site do SNESup as comunicações apresentadas no Debate "A avaliação de desempenho nos Estatutos de Carreira" realizado no dia 27 de Janeiro no IST:
"Métricas e peer review", de Teresa Alpuim (Faculdade de Ciências da Universidade de Lisboa)
"Perfis: vários tipos de docentes", de Catarina Fernando (Universidade da Madeira)
"Avaliação pedagógica: garantia de qualidade ou apoio ao facilitismo ?" de José Moreira (Universidade do Algarve)
"Poder de decisão: Quem avalia ?", de António Vicente (Universidade da Beira Interior)
"Diferenciação e desempenho: Quando se justifica uma avaliação negativa ? Ou Excelente ?", de António Vicente (Universidade da Beira Interior)
"Testando a aplicação dos princípios a vários projectos de regulamento" (texto de apoio)
1-2-2010 "
_____________
enviado por: jose manuel Martins jmbmarte@gmail.com
com o título: Ensino_superior_ Comunicações sobre avaliação de desempenho no site do SNESup
Sem comentários:
Enviar um comentário