Abilitazioni e mediane ANVUR: dipaniamo il “caos strisciante” (da ROARS)
1. L’ANVUR come Schettino punta sugli scogli
Il Decreto “Criteri e parametri” (D.M. n. 76 del 7 giugno 2012) specifica che i parametri bibliometrici vadano normalizzati per l’età accademica. Tra di essi rientra anche l’h-index la cui normalizzazione è formulata in modo ancor più preciso nell’art. 17 della Delibera ANVUR n. 50 del 21/06/2012
Ai fini della procedura di abilitazione, la normalizzazione per età accademica degli indicatori avviene dividendo il valore di ogni indicatore per l’età accademica, rilevabile dalla data della prima pubblicazione scientifica pertinente al settore concorsuale.
In un documento successivo, non avente validità di delibera, ma pubblicato “a cura del Consiglio Direttivo dell’ANVUR” sul sito dell’agenzia, l’ANVUR aveva comunicato che, invece di normalizzare l’h-index, avrebbe usato un indice alternativo, il contemporary h-index. Su Roars abbiamo già spiegato che l’uso del contemporary h-index è in aperta contraddizione con il D.M. 76 e la Delibera ANVUR N. 50 e che la sua adozione renderebbe la procedura di abilitazione indifendibile nei confronti di eventuali ricorsi presentati da candidati, danneggiati dall’esclusione sancita mediante un indice in aperta contraddizione con il decreto ministeriale. Abbiamo anche riferito di come tale problema sia stato sollevato nel corso della recente audizione del ministro Profumo al CUN. Il CoNPAss ha dichiarato di essere a conoscenza di candidati che sarebbero danneggiati dall’ingiustificato cambio di indice e ha promesso assistenza legale gratuita ai ricorrenti.
A fronte di tutto ciò, desta sorpresa la scelta di pubblicare le mediane calcolate usando il contemporary h-index. Infatti, il sicuro successo di eventuali ricorsi rende molto probabile il blocco della procedura di abilitazione. Vi sono due spiegazioni plausibili per le “mediane suicide”:
Sappiamo già che il minstro teme che la numerosità degli abilitati sia eccessiva (Mediane e altre catastrofi: dichiarazioni di Profumo al CUN), ma è plausibile che non voglia prendersi la responsabilità di ritardare il procedimento per introdurre ulteriori norme potenzialmente impopolari. Meglio mandare la nave al naufragio preparandosi a scaricare la responsabilità sugli scogli, ovvero sui ricorrenti.
Le mediane calcolate seguendo il dettato del D.M. “Criteri e parametri” producevano risultati talmente paradossali da rendere evidente l’assurdità delle regole bibliometriche ostinatamente volute dell’ANVUR contro ogni evidenza scientifica e giuridica e senza un’approfondita analisi preliminare. A questo punto, piuttosto che riconoscere la propria incompetenza, meglio sfidare gli scogli e giocare d’azzardo con la carriera di qualche decina di migliaia di universitari italiani. Il contenuto del documento ANVUR sulla “normalizzazione degli indicatori per l’età accademica” convaliderebbe questa seconda spiegazione. Infatti, secondo il documento ANVUR, il nuovo indice sarebbe stato introdotto perché “si comporta bene su un campione esteso di 1400 fisici italiani” spiegando che sarebbe in grado di superare i (non meglio precisati) “problemi legati alla normalizzazione diretta dell’indice h che si otterrebbe dividendone il valore per l’età accademica”.
2. Candidati: come capisco se sono sopra le mediane?
Purtroppo, non è banale. Nelle tabelle pubblicate dall’ANVUR, per ogni settore ci sono tre mediane:
# articoli norm. # citaz. norm. indice h_c
Esaminiamole una alla volta, tenendo bene a mente che per superare il filtro bibliometrico occorre superare almeno due mediane su tre.
2.1 Numero di articoli normalizzati
È relativamente facile controllare la prima mediana che riguarda il numero di articoli pubblicati nel decennio 2002-2012 e presenti sulle versioni online di Web of Science e Scopus.
Si noti che l’ANVUR ha capito che non è in grado di stabilire con certezza quali articoli fossero pubblicati prima o dopo giugno 2002 ed ha pertanto deciso di ritenere validi anche quelli pubblicati tra gennaio e giugno 2002:
… si è quindi proceduto includendo tutti gli articoli del 2002. Con riferimento all’anno 2012, sono stati inseriti tutti gli articoli presenti sulle versioni online di Web of Science e Scopus.
Si tratta di un’ulteriore violazione del D.M. “Criteri e parametri” che parla del
numero di articoli su riviste contenute nelle principali banche dati internazionali e pubblicati nei dieci anni consecutivi precedenti la data di pubblicazione del decreto di cui all’articolo 6, comma 1, del Regolamento
Dato che l’aggiunta degli articoli pubblicati tra gennaio e giugno 2002 alza il valore delle mediane, questa violazione del D.M. potrebbe fornire ulteriore appiglio ad eventuali ricorsi.
Tornando ai nostri calcoli, dobbiamo contare il numero di articoli pubblicati nel periodo 2002-2012 su riviste presenti in almeno una delle banche dati Web of Science e Scopus. È necessaria una normalizzazione solo se l’età accademica (definita dal D.M. “Criteri e parametri” come “il periodo di tempo successivo alla data della prima pubblicazione scientifica pertinente al settore concorsuale”) è inferiore a dieci anni. Per esempio, se l’età accademica è pari a 4 anni, bisogna moltiplicare il numero di articoli per 10/4=2,5. L’argomento dell’età accademica è particolarmente spinoso e, prima di procedere con le altre mediane, merita una discussione a parte.
2.2 È lecito mentire sull’età?
Ad un ricercatore la cui vera età accademica è pari a 10 anni, ma che ha pubblicato soprattutto negli ultimi 5 anni, converrebbe “nascondere” i lavori più vecchi di 5 anni. Infatti, se la sua età accademica fosse pari a 5, applicando la normalizzazione si troverebbe a moltiplicare il numero dei suoi articoli degli ultimi 5 anni per 10/2 =2, ovvero li raddoppierebbe. Ma questo è disonesto! – direte voi. In realtà, tra le FAQ dell’ANVUR era apparsa una nota, prontamente scomparsa (Abilitazioni e ANVUR: mamma, mi sono perso la FAQ sulla manipolazione dell’età accademica!), che precisava che l’età accademica sarebbe stata calcolata solo in base ai prodotti di ricerca presentati dal candidato e non in base a quelli presenti nel sito docente:
Poiché il valore normalizzato rilevante per i candidati è quello dichiarato alla commissione, non vi è alcun incentivo razionale a manipolare l’età accademica nella compilazione del sito docente.
Insomma, una specie di strizzata d’occhio ai candidati: non massacrate l’archivio del CINECA cancellando le vostre prime pubblicazioni. Tanto, noi chiuderemo un occhio e faremo finta di vedere solo le pubblicazioni che dichiarerete nell’atto di presentare domanda di partecipazione. Se ciò fosse confermato, il candidato che non passa la mediana potrebbe provare a rifare i conti eliminando le sue prime pubblicazioni, sperando che ridurre l’età gli consenta di superare la fatidica soglia. Ovviamente, se si eliminano delle pubblicazioni si perdono anche le relative citazioni (vedi sotto), ma se le prime pubblicazioni erano poco citate, il gioco può valere la candela. Vedremo se l’ANVUR pubblicherà una FAQ che spieghi una volta per tutte se mentire sull’età, oltre che essere consentito alle signore, è lecito anche per i ricercatori. Bisogna anche capire quali strumenti tecnici e legali avranno l’ANVUR e le commissioni per verificare l’età accademica dei candidati. Se mi “dimentico” di segnalare alla commissione un mio vecchio articolo, di cosa mi rendo responsabile?
2.3 Numero di citazioni normalizzate
La seconda mediana è molto meno facile. Per ognuno dei propri prodotti di ricerca (tutti gli articoli, atti di conferenze, etc., a partire dall’inizio della propria carriera) bisogna recuperare le citazioni ricevute nelle due banche dati di Web of Science e Scopus e prendere il valore massimo. Un lavoraccio. Non sperate in facili scorciatoie. Come scrive l’ANVUR:
E’ opportuno sottolineare che tale numero non coincide in generale a quello che ogni docente può ottenere interrogando il proprio profilo in ciascuna delle due banche dati.
Aggiungiamo che il numero cercato non coincide nemmeno con il minimo, il massimo o la media dei due numeri. Dovete proprio recuperare le citazioni di tutte le vostre pubblicazioni e attribuire a ciascuno il numero di citazioni massimo tra i due numeri forniti da Web of Science e Scopus. Tale massimo non rappresenta il vero numero di citazioni, ma solo una stima per difetto. Pertanto la seconda mediana è scientificamente assai dubbia, ma i rapporti tra l’ANVUR e il rigore scientifico sono sempre stati un po’ freddini.
A questo punto, bisogna dividere il risultato per l’età accademica (definita come sopra). Come già detto, non è chiaro se sia lecito – o tacitamente tollerato – mentire sulla propria età accademica.
2.4 Contemporary h-index
Per controllare la terza mediana dovete normalizzare le citazioni dei vostri articoli, uno ad uno (meglio per voi se sapete programmare o almeno usare un foglio Excel). Recuperate le citazioni già utilizzate per la seconda mediana e normalizzatele secondo la seguente formula:
citazioni_normalizzate = 4 x citazioni / (1+età)
dove
citazioni = citazioni ricevute dall’articolo
età = anni trascorsi dalla data di pubblicazione
Per esempio, le 10 citazioni ricevute da un articolo pubblicato nel 2012, una volta normalizzate, diventeranno
citazioni_normalizzate = 4 x 10 / (1 + 0) = 40
Invece, se un articolo pubblicato nel 2009 ha ricevuto 10 citazioni, otterremo
citazioni_normalizzate = 4 x 10 / (1 + 3) = 10
mentre 10 citazioni di un articolo del 2005 diventano
citazioni_normalizzate = 4 x 10 / (1 + 7) = 5
In pratica, vengono “premiate” le citazioni degli articoli recenti e penalizzate quelle degli articoli più vecchi. Nella formula, la scelta del numero “4” non ha un particolare fondamento scientifico, ma influisce sul risultati attribuendo un importanza abnorme alle citazioni degli articoli degli ultimi tre anni. Se venisse usato un altro numero alcuni dei sub-soglia (che stanno sotto la mediana) diventerebbero super-soglia a spese di super-soglia declassati a sub-soglia.
L’ultimo passaggio è quasi banale: per ottenere il contemporary h-index, basta calcolare l’h-index usando le citazioni normalizzate. Che l’indice ottenuto abbia un particolare valore scientifico, è un’altra questione:
questo parametro non è consolidato neppure nella pratica bibliometrica. E’ stato proposto appena nel 2007 da tre ricercatori greci in un articolo (“Generalized Hirsch h-index for disclosing latent facts in citation networks”, Scientometrics, Vol. 72, No. 2 (2007) 253–280), nel quale peraltro vengono esaminate una decina di diverse normalizzazioni di h, senza pervenire alla conclusione che una sia in generale migliore delle altre.
(Caputo, Fregolent, Stella, 2012)
3. Commissari: come capisco se sono sopra la mediana?
Nel caso dei commissari la prima mediana si verifica esattamente come per i candidati: basta contare il numero di articoli pubblicati nel periodo 2002-2012 su riviste presenti in almeno una delle banche dati Web of Science e Scopus.
Per la seconda e la terza mediana, l’unica differenza rispetto ai candidati è che non si normalizza per l’età accademica. La seconda mediana riguarda il numero di citazioni accumulate nel corso della carriera. Anche in questo caso bisogna, per ogni articolo, prendere il numero massimo di citazioni tra i due numeri riportati da Web of Science e Scopus,
La terza mediana si riferisce all’h-index calcolato usando le citazioni di ogni singolo articolo, già ricavate per verificare la seconda mediana.
4. Prime conclusioni
Dal punto di vista giuridico, l’ANVUR ha consegnato le abilitazioni nelle mani degli avvocati. La scelta di usare l’h-index contemporaneo al posto dell’h-index normalizzato rende la procedura indifendibile, se qualcuno dei candidati presenterà ricorso. Una scelta difficilmente comprensibile se non alla luce della volontà di mandare tutto a monte usando i ricorrenti come capro espiatorio. Alternativamente, potrebbe essere un azzardo disperato, reso obbligato dalla consapevolezza che rispettare le regole del D.M. “Criteri e parametri” (ostinatamente volute dalla stessa ANVUR) avrebbe reso evidente l’incompetenza di chi aveva concepito regole astruse e paradossali senza adeguate valutazioni preliminari.
Nei prossimi mesi decine di migliaia di universitari e precari dedicheranno ore del loro tempo in astrusi rompicapi bibliometrici per calcolare numeri privi di base scientifica ma decisivi per la loro carriera. Siamo oramai avviluppati nel “caos strisciante”, frutto di una micidiale miscela di presunzione e incompetenza che, pur celate dietro le cabale bibliometriche, vengono smascherate ogni qual volta si getta luce su queste procedure prive di basi giuridiche e scientifiche.
“E su tutto, in questo ripugnante cimitero dell’universo, si ode un sordo e pazzesco rullìo di tamburi, un sottile e monotono lamento di flauti blasfemi che giungono da stanze inconcepibili, senza luce, di là dal Tempo; la detestabile cacofonia al cui ritmo danzano lenti, goffi e assurdi, giganteschi, tenebrosi ultimi dèi. Le cieche, mute, stolide abominazioni la cui anima è Nyarlathotep”. (H.P. Lovecraft)