Premessa
Compito dell’ANVUR è, come noto, quello di contribuire alla diffusione di una cultura della valutazione anche in Italia, con il triplice obiettivo di migliorare il funzionamento dei centri di ricerca e delle università italiane; diffondere soprattutto tra i giovani ricercatori il principio della promozione basata sul merito; incoraggiare le sedi accademiche e i centri di ricerca superiore ad “aprirsi” verso l’esterno, uscendo quindi da un meccanismo di promozione e produzione sostanzialmente localistico e particolaristico. La sociologia, disciplina tra le maggiori dell’Area 14, non può lasciarsi sfuggire l’importanza storica di questa occasione di rilancio e crescita scientifica, anche in vista di quella internazionalizzazione della ricerca cui da tempo la sociologia italiana ambisce, purtroppo con risultati ancora limitati.

Per il successo del proprio progetto, l’ANVUR ha spesso invitato alla “collaborazione di tutti coloro che, operando nelle università nei centri di ricerca, e, più in generale, nella società, credono (non solo a parole) nell’importanza della formazione superiore e della ricerca”. E’ con questo intento che abbiamo ritenuto utile proporre all’attenzione dell’ANVUR stesso, dell’Associazione Italiana di Sociologia, e dei colleghi, il risultato di alcune nostre riflessioni e valutazioni, in particolare su una delle istituzioni centrali della ricerca: le riviste scientifiche. Si tratta di un contributo che non intende porsi in alternativa, ma in funzione sinergica rispetto agli orientamenti già espressi dall’ANVUR proprio in questo settore.

I parametri di valutazione proposti per l’abilitazione scientifica nazionale (documento Anvur del 22/6/2011) rappresentano indubbiamente un importante contributo nella direzione di un innalzamento della qualità della nostra produzione scientifica e, legato a questo, di un miglioramento dei meccanismi di reclutamento. Ciò detto, va anche rilevato che lo schema di ponderazione proposto dall’ANVUR per le pubblicazioni (ibidem, p. 6) espone le riviste italiane proprio al rischio di un pesante declassamento e con ciò all’impoverimento della loro qualità scientifica. Come noto, infatti, l’ANVUR attribuisce alle pubblicazioni su riviste internazionali un punteggio triplo rispetto alle pubblicazioni su riviste nazionali. Con questa differenzazione dei punteggi (0,5 contro 1,5), le riviste italiane si vedrebbero condannate a pubblicare esclusivamente “opere prime” di giovani studiosi non ancora pronti al confronto con l’editoria internazionale, o saggi di studiosi già affermati a livello accademico con minore o punto interesse a essere valutati e a competere sul piano internazionale.
I criteri di seguito proposti per l’accreditamento e il ranking delle riviste italiane di sociologia, sono frutto di un intenso confronto tra le direzioni di alcune di esse . La proposta intende fornire un contributo alla messa a punto dei parametri di valutazione per l’abilitazione nazionale e per il VQR 2004-2010. Gli obiettivi sono tre: 1) introdurre una classificazione sistematica delle riviste italiane basata su una valutazione, rigorosa e trasparente, del loro impatto sulla ricerca e sul dibattito scientifico ; 2) migliorarne gli standard operativi adeguandoli a quelli delle riviste accreditate a livello internazionale che da tempo hanno acquisito il principio della valutazione; 3) legittimare una riduzione del differenziale di punteggio rispetto alle riviste internazionali.

I criteri
La proposta prevede una procedura articolata in quattro fasi:
1) A ciascuna rivista viene attribuito il valore dell’indice H calcolato dal software “PUBLISH OR PERISH”, a partire dai dati presenti in Google Scholar . A differenza dei data-base commerciali come ISI o Scopus, Google Scholar è ad accesso libero, di facile utilizzo e garantisce un’estesa copertura delle riviste italiane di sociologia. Inoltre, l’H-index si è dimostrato un fondamento solido e affidabile per la classificazione delle riviste scientifiche, mostrando una elevatissima correlazione sia con le classificazioni ottenute sulla base di altri indici (Journal Impact Factor-ISI) sia con quelle costruite utilizzando altri metodi (peer review) .
2) I valori dell’indice H vengono poi moltiplicati per i seguenti coefficienti:
a) 1.2 se la rivista è indicizzata nella banca dati ISI oppure in quella Scopus (più aperta alle scienze sociali e alle riviste non in lingua inglese) ;
b) 1,2 se la rivista pubblica, su base annuale, almeno la metà degli articoli in inglese.
3) Le riviste, quindi, vengono classificate in quattro categorie ordinate, usando come limiti delle categorie i tre quartili della distribuzione del punteggio assegnato nella fase precedente.
4) Infine, vengono attribuiti i seguenti punteggi: 1 alle riviste classificate nella categoria superiore; 0.75 alle riviste classificate nella seconda categoria; 0.50 alle riviste classificate nella terza categoria; 0.25 alle riviste classificate nella categoria inferiore.
Stabilito il ranking, si attribuiscono ai singoli articoli i punteggi corrispondenti alle riviste sulle quali sono state pubblicate. Nella tabella che segue, a scopo esemplificativo, sono riportati i risultati della procedura applicata alla lista di riviste predisposta dall’Ais. La graduatoria che ne risulta non va intesa come una valutazione della qualità scientifica delle riviste bensì del loro impatto – in termini di citazioni – all’interno della comunità scientifica. Per ragioni che hanno a che fare con la rapidità della ricerca scientifica e i modi e tempi di diffusione delle pubblicazioni, si propone che l’accreditamento e il ranking delle riviste siano sottoposti a revisione e quindi aggiornati con cadenza biennale. Il ranking, in altre parole, non ha validità una semper.

International Review of Sociology (Giovanni B. Sgritta)
Polis (Asher Colombo)
Rassegna italiana di sociologia (Mario Cardano)
Sociologica. Italian Journal of Sociology online (Anna Carola Freschi, Yuri Kazepov e Marco Santoro)
Stato e mercato (Francesco Ramella)
Tecnoscienza: Italian Journal of Science & Technology Studies (Paolo Magaudda, Alvise Mattozzi e Giuseppina Pellegrino)

Scarica la classificazione in formato PDF.

prima di tutto grazie per averci resi edotti del ranking proposto dalle direzioni di alcune riviste sociologiche italiane.

Devo però segnalare quella che ritengo una grave distorsione del metodo di calcolo adottato.
Nelle discipline che utilizzano l’indice H per valutare il lavoro degli studiosi, viene di norma introdotto un correttivo legato al fattore tempo: si guarda cioè al lavoro svolto negli ultimi 5 o 10 anni. Altrimenti si cristallizzano delle rendite di posizione che penalizzano i giovani studiosi a vantaggio di quelli più anziani, che magari hanno prodotto cose egregie vent’anni fa, ma poi hanno prodotto poco. E sappiamo che sono generalmente i lavori degli ultimi anni quelli più rilevanti per il dibattito scientifico.
Allo stesso modo per le riviste, se non si introduce un correttivo legato al fattore tempo, si penalizzano le nuove riviste a vantaggio di quelle che hanno una maggiore anzianità, anche se le prime possono essere più influenti sul dibattito di oggi.

La rivista “Mondi migranti”, fondata nel 2007, è appunto tra quelle penalizzate, a vantaggio di riviste che si trovano più avanti soltanto perché fondate molti anni prima, ma negli ultimi anni possono vantare un numero di citazioni nettamente inferiore. Tralascio ogni commento e ogni intento polemico sulla decisione adottata in sede AIS.

A riprova della mia tesi, riporto invece i dati di un confronto tra Mondi migranti e alcune altre riviste che ho effettuato qualche settimana fa, basandomi su un periodo omogeneo, oltre che recente: 2007-2011:

Mondi migranti ha in sintesi questi risultati:
Papers: 130 Cites/paper: 0.83 h-index: 5 Citations: 108

“Studi emigrazione” from 2007 to 2011: all

Papers: 93 Cites/paper: 0.33 h-index: 3 Citations: 31

“Rassegna italiana di Sociologia” from 2007 to 2011: all

Papers: 293 Cites/paper: 0.22 h-index: 4 Citations: 63

“Sociologia e politiche sociali” from 2007 to 2011: all

Papers: 113 Cites/paper: 0.50 h-index: 3 Citations: 57

“Etnografia e ricerca qualitativa” from 2007 to 2011: all

Papers: 134 Cites/paper: 0.22 h-index: 3 Citations: 30

“Quaderni di Sociologia” from 2007 to 2011: all

Papers: 22 Cites/paper: 1.82 h-index: 4 Citations: 40

Chiedo quindi che si discuta di questo aspetto e che il direttivo AIS prenda posizione al riguardo

“Studi di Sociologia” from 2007 to 2011: all

Papers: 94 Cites/paper: 0.12 h-index: 2 Citations: 11

L’unica rivista, tra quelle considerate, che ci precede in classifica, è “Stato e mercato”:

“Stato e mercato” from 2007 to 2011: all

Papers: 91 Cites/paper: 1.38 h-index: 6 Citations: 126

Interveniamo nella discussione, cercando di contribuirvi con qualche considerazione di metodo e qualche dato.

Ciò che dice Ambrosini non è certo privo di fondamento: è vero che l’indice H privilegia l’anzianità di esercizio (e questo nel caso sia di individui che di riviste). Ogni misura bibliometrica, però, contiene inevitabilmente un certo grado di arbitrarietà. Dunque, sia H calcolato sull’intera vita di ciascuna rivista, sia H calcolato sugli ultimi 5 anni sono arbitrari. I gradi di arbitrarietà, tuttavia, possono variare, e la scelta della finestra temporale 2007-2011 sembra un po’ più arbitraria della scelta dell’indice H calcolato sull’intera vita della rivista. La ragione è semplice: poiché il numero 5 non ha particolari proprietà scientifiche (una finestra temporale di 3, 7 o 11.3 anni è parimenti degna di considerazione), così come non ne ha la scelta di un intervallo di tempo continuo (si potrebbe scegliere un campione casuale o sistematico di anni, ad esempio), con un po’ di fine-tuning ogni direzione di rivista potrebbe trovare la combinazione di anni entro i quali la propria rivista darebbe il massimo rendimento. Al contrario, la scelta di H calcolato sull’intera vita di ciascuna rivista (ciascuna certo con la sua anzianità di circolazione, fattore che comunque contribuisce alla definizione dell’identità delle riviste) ha il vantaggio di non dover dipendere da alcuna scelta ulteriore. Certo, così facendo le riviste più giovani sono — in linea di principio — penalizzate. Il vantaggio in termini di trasparenza e di riduzione dell’arbitrio, però, non è di poco conto.

Ma prendiamo per buona la proposta di Ambrosini, applicandola in modo un po’ meno selettivo e contingente di quanto non appaia dal suo intervento sul sito AIS. Controllare un po’ di riviste e selezionare quelle con un valore H(2007-2011) inferiore a quello della rivista che ci sta a cuore si può sempre fare, ma i risultati che si ottengono vanno poi presi cum grano salis. Usando un approccio simile al suo, a noi risulta infatti la seguente graduatoria (fonte: Publish or Perish, consultato il giorno 15/12/2011 fra le 8:30 e le 9:00):

Sociologica: 10
Stato & Mercato: 7
Int.Rev.Soc.: 5
Polis: 5
RIS: 4
Sociologia del lavoro: 4
Mondi Migranti: 4
Quaderni di sociologia: 3
Riv.Int.Sci.Soc.: 3
Sociologia & Ricerca Sociale: 3
Studi di Sociologia: 2

(Si noti che Mondi Migranti ha un valore di H(2007-2011) pari a 4 e non a 5: almeno questo è il verdetto di Publish or Perish alla data di oggi).

La graduatoria che otteniamo è di certo diversa rispetto a quella che si ottiene calcolando indici H sull’intera vista delle riviste (che hanno lunghezza di vita anche molto diversa, come sappiamo: alcune 50 anni e più, altre un anno). Indubbiamente, alcune riviste godono di una rendita di posizione, che il calcolo limitato ad un periodo recente smaschera. L’anzianità comunque non è un fatto estrinseco, ma è parte integrante dell’identità di una rivista, di cui si può e anzi si deve tener conto. Ora, considerando l’ultimo quinquennio, Stato e Mercato si attesta come la più citata delle riviste “storiche”, seguita a ruota da Polis, IRS e RIS. Quest’ultima ha un onorevole posto pari merito con Sociologia del lavoro. Riviste storiche come QS, SRS e StS scendono — è vero — non poco in graduatoria. Ma Sociologica, giovane rivista coetanea di Mondi Migranti (è nata nel 2007), capeggia con un invidiabile 10. Sociologica ha alcune specificità che possono facilmente rendere conto di questo primato: pubblica in inglese, è online e free access. E ha una politica editoriale che premia contributi innovativi spesso di firme prestigiose, sebbene siano molti anche i giovani studiosi che pubblicano sulla rivista.

Ma proseguiamo nell’esercizio, adottando una finestra temporale leggermente diversa da quella proposta da Ambrosini ma basata su un criterio (storicamente, istituzionalmente) oggettivo: il periodo preso in considerazione dalla procedura di Valutazione della Qualità della Ricerca attualmente in corso (2004-2010). Ecco come si trasforma la graduatoria delle riviste riportate sopra adottando come criterio di ranking l’indice H(2004-2010):

Int. Rev. Soc.: 12
Stato & Mercato: 12
Polis: 10
Sociologica: 10
RIS: 8
Sociologia del lavoro: 8
Riv.Int.Sci.Soc.: 5
Sociologia & Ricerca Sociale: 5
Mondi Migranti: 4
Quaderni di sociologia: 4
Studi di Sociologia: 4

Come si può facilmente vedere, basta una piccola variazione nella definizione della finestra temporale di riferimento (peraltro, in questo caso, fondata su un criterio oggettivo) per cambiare l’esito dell’ordinamento. Si noti, per inciso, che con una finestra di 7 anni (anziché 5) la “rendita di posizione” delle riviste storiche si ridimensiona notevolmente e l’ordinamento basato su H-totale viene in qualche modo ripristinato.

Si tenga anche presente che nel campo delle scienze sociali la distribuzione temporale delle citazioni risulta molto più allungata di quella presente nelle scienze naturali. Come è stato osservato da Jerry Jacobs – con riferimento ai dati pubblicati nei Journal Citation Reports (ISI-Web of Knowledge) – una gran parte delle riviste di sociologia ci mette un decennio o anche più ad accumulare la metà delle proprie citazioni (journal half life).

Per concludere e riassumere: l’indice H(2007-2011) proposto, e usato, da Ambrosini appare arbitrario e suggerisce una scelta di finestra temporale ad hoc. Il periodo indicato corrisponde in effetti all’arco di vita di Mondi Migranti, lo stesso di Sociologica, che pure è tra le riviste promotrici del documento in discussione. E questo perché secondo noi (che abbiamo contribuito alla stesura del documento in rappresentanza di Sociologica e Stato e Mercato) H calcolato sull’intera vita di una rivista ha un minore carattere di arbitrarietà. Certo, non è esente da limiti e difetti — tra cui quello, oggetto di questo dibattito, di privilegiare le riviste anziane e di garantire rendite di posizione. Questi limiti possono essere presi in considerazione e si può tentare di arginarli. In alternativa ad un ranking sulla base di H-totale si potrebbero usare ad esempio sistemi di media ponderata (più o meno elaborati), che tengano conto anche dell’andamento delle citazioni negli ultimi anni (H a 5 o 7 anni). Di questo abbiamo discusso nel gruppo promotore del documento. Il problema di simili “aggiustamenti” di H è che introducono elementi di arbitrarietà che si prestano al gioco del fine-tuning, per cui bisogna rifletterci per bene cercando – TUTTI – di essere il più possibile imparziali.

L’intervento di Ambrosini è stato un primo passo in questa direzione, comunque utile:confrontarsi con le critiche altrui aiuta non solo ad affinare le proprie argomentazioni e a consolidare la propria posizione, ma anche a trovare le soluzioni più condivisibili e generalizzabili. Questo sarà compito dell’Ais, ci immaginiamo.

Maurizio Pisati, Francesco Ramella e Marco Santoro

Cari amici,

Vi ringrazio per avere preso sul serio le mie osservazioni e per avermi risposto con tanta solerzia. Vorrei ribadire un punto essenziale: io sono d’accordo sull’applicazione di criteri bibliometrici, per quanto imperfetti, al ranking delle riviste. Mi pare invece, lo ripeto, che il modo in cui avete proceduto crei discordia e allontani l’obiettivo. Nuovamente, Voi mescolate una scelta politica di principio, su cui concordo, con specificazioni di dettaglio che appaiono sempre più chiaramente partigiane, non condivise e non condivisibili.
Vi devo poi qualche risposta nel merito. Voi lasciate intendere in più punti che io abbia fatto una scelta astutamente strategica, selezionando una certa finestra temporale e alcune riviste per portare acqua al mio mulino. Non è così: avevo analizzato quei dati a ottobre, a seguito di una riunione di redazione in cui, con facile intuito, ci eravamo posti il problema del peso bibliometrico della nostra rivista. Per l’esattezza, li ho ripresi da un messaggio e-mail inviato il 28 ottobre. Non mi sono neanche dato cura di aggiornarli o di applicarli ad altre riviste dell’elenco.
Qui si inserisce un fatto che dovrebbe farci riflettere sui limiti dei dati su cui ragioniamo: all’epoca l’indice H di “Mondi migranti” era 5 e non 4. Compariva in classifica, con 9 citazioni, un articolo di Paola Bonizzoni. Ora dall’analisi PoP di Mondi migranti quell’articolo è scomparso, per ragioni a me sconosciute, mentre compare regolarmente nell’analisi individuale di Paola (Vi prego di verificare), sia pure con 7 citazioni, che sarebbero comunque sufficienti a riportare l’indice a 5.
Mi contestate poi il riferimento al 2007 e quindi a un arco di cinque anni. Nessun mistero in proposito: il 2007 è l’anno di nascita di Mondi migranti, e ho operato un confronto sulla base di dati omogenei. Casualmente, si tratta di un arco di cinque anni, che è quello che viene utilizzato, mi pare, da varie riviste internazionali per misurare il loro Impact Factor. Anche comunità scientifiche contigue alla nostra hanno introdotto dei limiti temporali per valutare l’indice H nelle comparazioni: tra gli psicologi, mi risulta sia di 10 anni. Si tratta ovviamente di scelte convenzionali, arbitrarie, come dite Voi, ma evidentemente ritenute più eque di un approccio che assume l’indice sic et simpliciter, senza considerare il fattore tempo.
Mi sembra infine che anche le Vostre analisi confermino due fatti: 1) a parte poche e circoscritte eccezioni, come Sociologica, allargando la finestra temporale si può osservare una notevole correlazione tra indice H e anzianità di servizio di una rivista; 2) non si giustifica un ranking, come quello da voi inizialmente proposto, in cui Mondi migranti e altre valide riviste varrebbero la metà di parecchie testate incluse da Voi nella fascia più alta.
Concludo con una proposta: l’AIS nomini una ristretta commissione di esperti di valutazione, possibilmente estranei alle redazioni delle riviste, che formuli una proposta di ranking basato su criteri bibliometrici, da sottoporre all’ANVUR come posizione ufficiale dell’Associazione.
Grazie dell’attenzione. Molti cordiali saluti, e auguri per il Vostro lavoro, in università e nelle riviste.

Mi dispiace non poter condividere questo approccio “protezionistico” sulle riviste di sociologia italiane. La posizione dell’ANVUR, per le riviste è, secondo me, in sintonia con un mercato libero,quale deve essere quello scientifico. Molto di più del tentativo di “difendere” le riviste italiane, così come sta emergendo da questo dibattito. Oggi ci sono riviste di diversi paesi, di qualità diverse, dove chiunque può inviare i propri prodotti ed averli valutati,accettati,rifiutati. Queste riviste hanno un ranking internazionalmente condiviso. L’unico consiglio che mi sento di dare è che anche le riviste italiane partecipino a questo ranking! Dovranno attraversare una mutazione spesso genetica ma sarà salutare. Saranno poi gli studiosi italiani, come quelli di altri paesi, a misurarsi con questo ranking e scegliere di sottoporre i propri prodotti scientifici alla rivista italiana in relazione alla sua attrattività che non è solo ma anche Impact Factor.

Ragionare di multipli per le riviste italiane, invitando gli studiosi italiani a sceglierle perchè valgono non tanto meno di quelle internazionali è fuorviante e diseducativo. E’, secondo me, una battaglia di retroguardia nell’ambito della valutazione che alla fine giustificherà tutte le grancasse protezionistiche che si vanno annunciando. Una volta tanto che l’ANVUR ha preso una decisione saggia lasciamola stare. Siamo in tempi di liberalizzazioni tentate e mal riuscite che vogliono fare entrare un pò di aria nuova nel nostro ambiente. Lasciamo che quest’aria entri pure! Se poi i colleghi mi convinceranno che la “protezione” delle riviste italiane di sociologia migliorerà la competizione internazionale nel settore sono pronto a cambiare opinione.

Cari colleghi,
prima di tutto volevo ringraziarvi per il tentativo di sistematizzazione di un meccanismo di valutazione quanto più possibile “oggettivo” delle riviste sociologiche italiane. Si tratta di una partita importante per tutta la sociologia italiana che va giocato con spirito sinergico evitando di importare nel dibattito posizioni corporative o di cordata. L’impostazione della presente discussione credo che vada nella giusta direzione e per questa ragione mi permetto di intervenire a nome di “Partecipazione e Conflitto” rivista di sociologia politica nata nel 2008 con il numero 0 ma pienamente a regime a partire dal 2009.
Credo sinceramente che tra le posizioni del collega Santoro e del collega Ambrosini vi sia lo spazio di una mediazione importante che valorizzi le riviste storiche e generaliste senza per questo penalizzare le riviste giovani e specialistiche che stanno dimostrando un marcato dinamismo contribuendo molto allo sviluppo qualitativo della sociologia italiana e non solo.
La prima riflessione riguarda la validità dello h-index. Tale misura bibliometrica, lo si è detto, è senza dubbio imperfetta, anche perché tende a privilegiare le riviste storiche e generaliste penalizzando fortemente quelle giovani e specialistiche. Il ché non è necessariamente scandaloso, dal momento che l’anzianità di una rivista dimostra la sua tenuta nel tempo che già potrebbe rappresentare un indicatore di qualità, anche se tale indicatore non può diventare una rendita di posizione non sempre sostenuta da una effettiva qualità del prodotto editoriale. Credo dunque che bisognerebbe trovare il modo per valorizzare le riviste storiche senza per questo frustrare quelle più giovani e dinamiche. In questo senso, una utile mediazione potrebbe essere quella di proporre una doppia analisi bibliometrica, una generale, come propone Santoro, cioè senza correttivi, e una che riguarda un arco temporale più ridotto. Questo sarebbe anche un modo per misurare la tenuta editoriale delle riviste vecchie e l’effettivo impatto di quelle più giovani. Inoltre mi pare di aver capito che tale valutazione non è definitiva ma andrà ripetuta a cadenza biennale e questo senza dubbio, nel tempo, rappresenterà una ulteriore possibilità di limitare certe distorsioni.
Va inoltre detto che l’indice H non rappresenta l’unico indicatore di qualità, ve ne sono altri altrettanto validi che credo dovranno essere presi in considerazione incidendo nella valutazione finale. In primo luogo, la trasparenza dei meccanismi di selezione dei saggi che ogni rivista pubblica (peer review et similia) e a cui tutte le riviste dovranno adeguarsi. In secondo luogo, la puntualità nell’uscita di ogni issue; in terzo luogo, la presenza di un comitato scientifico internazionale (almeno per il 50%); in quarto luogo, la pubblicazione di saggi di autori stranieri. Riguardo a quest’ultimo punto vorrei fare una precisazione: si parla in questo caso di articoli pubblicati in inglese. Credo che le riviste che scelgono di pubblicare articoli esclusivamente o parzialmente in inglese debbano essere giustamente valorizzate, ma non per questo dovrebbero essere penalizzate quelle riviste che, come “Partecipazione e Conflitto” e altre, pubblicano circa il 50% di saggi scritti da autori non incardinati in università italiane ma hanno comunque scelto di tradurli in italiano con uno sforzo non da poco da parte di tutto il comitato di redazione. Credo che anche da questo punto di vista sarebbe utile fare chiarezza.
Infine, l’ANVUR, se non erro, ha chiesto alle associazioni accademiche di accreditare le riviste scientifiche. A questo riguardo l’AIS, che ospita questo importante dibattito, ha già fatto circolare la bozza di un questionario che dovrà essere compilato dai direttori delle riviste. Immagino che quello sarà uno strumento utile per la definizione e misurazione di alcuni parametri di qualità che i sociologi italiani sceglieranno di darsi.
Grazie mille
Fabio de Nardis (rivista di sociologia politica “Partecipazione e Conflitto”)

Siamo i direttori di Etnografia e ricerca qualitativa, una rivista di sociologia sorta di recente (2008). Abbiamo letto la proposta di classificazione delle riviste avanzata qualche giorno fa su questo sito da Francesco Ramella e altri cinque colleghi. Mentre ne apprezziamo l’intento costruttivo, siamo in disaccordo con tale proposta su diversi punti. Eccone i principali.

Accreditamento. Ramella non dedica neppure una parola all’accreditamento, la fase della valutazione delle riviste che logicamente precede la loro classificazione in fasce di merito, come se si trattasse di una questione marginale. Noi riteniamo al contrario che una severa procedura di accreditamento sia cruciale per includere nel novero delle riviste accademiche di sociologia solo quelle che soddisfano alcuni requisiti minimi sia di carattere scientifico (per esempio, un sistema di referaggio serio, cioè anonimo, ma trasparente; una periodicità regolare; una direzione e una redazione tali da far considerare la rivista una rivista di rilevanza nazionale, non un semplice bollettino d’istituto), sia di pertinenza al settore sociologico (sappiamo bene che la sociologia è intrinsecamente eterogenea, ma qualche confine va necessariamente tracciato, altrimenti lo stesso concetto di disciplina sarebbe vanificato). Non è questa la sede per stabilire in dettaglio quali debbano essere questi requisiti e come debbano essere accertati: questo è un compito dell’Ais e il questionario che l’associazione ha inviato ai soci può fornire utili suggerimenti in proposito. Ci limitiamo a far presente l’assoluta centralità e rilevanza del problema e a raccomandare che i criteri di accreditamento siano scelti con saggezza e applicati con rigore e coerenza, escludendo da ulteriori fasi della valutazione le riviste che non li soddisfano.

Classificazione in fasce. Nei suoi due interventi su questo sito Maurizio Ambrosini ha già mostrato come l’indice H sia pesantemente influenzato dal fattore tempo e conferisca una forte rendita di posizione alle riviste che hanno più anni alle spalle. In effetti, in varie simulazioni che abbiamo fatto usando come arco di tempo gli ultimi quattro e cinque anni (periodi del tutto ragguardevoli dal punto di vista scientifico che abbiamo scelto perché sono appunto sorte nel 2007 e nel 2008 anche altre riviste, oltre a ERQ, come Partecipazione e conflitto, Mondi migranti e l’Italian Journal of Sociology of Education) i risultati sono ben diversi da quelli presentati da Ramella (consultabili nella tabella acclusa al suo intervento su questo sito). A seconda dell’intervallo considerato (2007-2011 o 2008-2011), ben 7 o 8 delle 11 riviste che Ramella colloca nel quartile più alto retrocedono in quelli inferiori, alcune addirittura nell’ultima, mentre le riviste di più recente costituzione, ora che il rango riflette le loro effettive prestazioni nel periodo considerato, migliorano notevolmente (tab. 1). In breve, per fare un paragone sportivo, usare l’indice H senza fattori correttivi che annullino il fattore tempo è come valutare due centravanti, uno di 21 anni e l’altro di 40, sulla base del numero totale dei gol segnati in carriera. A meno che non si tratti di Blissett, vincerà sempre il più vecchio, anche se le sue prestazioni attuali sono ormai mediocri. L’insediamento accademico e la reputazione di una rivista di lungo corso sono già di per sé un vantaggio competitivo. Se non riescono a tradursi in citazioni negli anni recenti, questo dovrebbe essere considerato un elemento negativo in sede di valutazione, e semmai penalizzato, non nascosto ricorrendo alla serie storica.
Riteniamo quindi assolutamente inaccettabile l’uso dell’indice H sull’intera vita di riviste, come propongono Ramella et al., e chiediamo formalmente all’Ais che, qualora essa intenda adottarlo come uno degli strumenti di valutazione, esso venga impiegato solo sull’arco temporale degli ultimi 4 o, al massimo, 5 anni.
Ulteriori perplessità sollevano i due fattori correttivi proposti da Ramella, il moltiplicatore di 1,2 attribuito alle riviste che pubblicano almeno il 50% dei loro contributi in inglese o che sono incluse nei database ISI e Scopus. A parte l’arbitrarietà delle cifre (perché non 1,1 o 1,3, perché 50% e non 40% o 57%?), non si capisce bene che senso abbiano questi fattori di correzione. Non abbiamo ovviamente niente contro l’uso dell’inglese, che tra l’altro impieghiamo frequentemente in tutto o in parte nella nostra rivista. Ma non vediamo perché chiedere un premio per questo. Semmai preoccupiamoci che l’inglese sia di buon livello (purtroppo non sempre succede). Egualmente strano ci sembra il premio conferito all’inclusione nei repertori Isi/Scopus. A prescindere dal fatto che, come sanno benissimo gli editor del settore riviste di qualsiasi casa editrice, i criteri di accesso a queste banche dati sono notevolmente opachi, gli unici due periodici sociologici italiani presenti su Scopus (su ISI non ce n’è alcuno), cioè Stato e Mercato e Sociologia, ottengono risultati così modesti [1] da fare risultare qualsiasi tipo di riconoscimento perfino imbarazzante.

Affidabilità dei dati. Il presupposto di ogni elaborazione bibliometrica è la qualità e affidabilità dei dati di base. Siccome, nel nostro caso, i numeri tendono a essere piccoli – quando consideriamo i singoli articoli ci troviamo spesso di fronte a solo 5 o 6 citazioni – la necessità di disporre di buoni dati è ancora più marcata, perché un paio di citazioni in più o meno possono fare facilmente salire o scendere l’indice H. Ora, se andiamo a vedere le citazioni alle quali si riferiscono i dati delle tabelle di Publish or perish (basta cliccare sul rigo in cui sono situati), ci accorgiamo di diverse cose interessanti. Intanto, sono incluse molte autocitazioni: così, se nel corso di un anno, uno cita un proprio articolo 6 o 7 volte raggranella un punteggio ragguardevole. Poi vi sono i casi ben noti di citazioni reciproche. Inoltre, se esiste una versione bilingue di un articolo, tutte le citazioni che vi sono contenute sono moltiplicate per due; poi se un docente include un proprio saggio nel programma del suo corso, e questo viene messo in rete, ciò vale come una citazione. E via dicendo. Insomma, alla fine il numero di citazioni di un articolo non riflette tanto il suo impatto sulla comunità scientifica, quanto il caso o l’abilità promozionale del suo autore. Si dirà che problemi di questo genere si verificano solo laddove il numero delle citazioni è molto basso. Ebbene, non è sempre così. Eccone un esempio. Sociologica è la rivista sociologica italiana di maggior successo, considerando l’alto numero di citazioni che ha ottenuto in soli 5 anni di vita. Nel 2008, nell’ambito della sua rubrica “Retrovisore”, ha meritoriamente (ri)pubblicato un famoso testo di Harrison White, “Notes on the Constituents of Social Structure”, apparso per la prima volta sotto forma di ciclostilato nel 1965 come materiale didattico del Department of Social Relations di Harvard. Apparentemente la pubblicazione su Sociologica del saggio ha ottenuto un grande successo citazionale: Publish or Perish lo riporta come il saggio più citato dalla rivista, ben 51 citazioni. Se andiamo a cercare chi sono questi 51 studiosi che l’hanno citato in questi ultimi quattro anni, rimaniamo tuttavia con un palmo di naso. Ci accorgiamo infatti che le 51 citazioni non si riferiscono affatto a Sociologica, ma che si tratta di citazioni che il saggio, che era ben conosciuto nell’ambiente sociologico americano nella sua forma originaria ciclostilata, ha ricevuto prima, spesso molti anni prima, di essere pubblicato su Sociologica. In breve, l’attribuzione di queste citazioni a Sociologica è un falso. Non intenzionale, per carità. Ma le 51 citazioni rimangono nella memoria di Publish or perish e contribuiscono in modo scorretto al gruzzolo citazionale della rivista [2] .
Insomma, senza citare altri esempi, come potremmo fare, l’affidabilità dei dati forniti da Google Scholar non appare tra le migliori. Il fatto su cui dobbiamo riflettere è che da questo tipo di dati può dipendere la carriera di giovani studiosi.

La valutazione deve usare solo metodi bibliometrici? Ciò che abbiamo appena ricordato – le distorsioni provocate dall’uso incauto degli indicatori, le trasformazione dei risultati che si possono ottenere con l’applicazione di fattori correttivi più o meno arbitrari, la fragilità dei dati – getta diversi dubbi sui metodi bibliometrici come esclusivo strumento di valutazione della qualità della ricerca. Dietro l’apparente oggettività e imparzialità di questo tipo di misurazione si possono infatti celare trascuratezze e difetti nella raccolta dei dati o manipolazioni che piegano i dati a interessi di parte. Tutto questo del resto è frequentemente discusso nell’ampia letteratura sull’assessment scientifico che si è sviluppata in questi ultimi anni. Mentre una volta i fautori dell’approccio bibliometrico costituivano la netta maggioranza, oggi il vento sta cambiando e l’approccio alternativo, quello della basato sulla peer review, sta riguadagnando terreno.
Non vogliamo entrare qui nel merito di questa controversia. Né vogliamo minimamente schierarci a priori contro l’approccio bibliometrico, che al contrario riteniamo molto utile quando è usato con cautela, buon senso e senza rigidezze talebane. Ci domandiamo tuttavia se, nella valutazione delle performance delle riviste, contino solo le citazioni che sono riuscite a raggranellare, specialmente quando piccoli numeri fanno la differenza. A nostro avviso, anche qualità come l’apertura di nuovi orizzonti d’indagine, la capacità di coinvolgere giovani ricercatori, il progetto culturale perseguito, il sostegno che le riviste, specialmente quelle nuove, possono offrire a sottosettori specialistici che trovano difficoltà ad essere rappresentati nelle riviste generaliste dovrebbero essere considerate. E tali qualità non sono facilmente rilevabili con i dati di Publish or perish. Hanno bisogno di essere accertate in maniera meno frettolosa, più delicata e paziente, quella tipica della peer review.

Conclusione. Sappiamo che c’è poco tempo e che i risultati della valutazione devono essere forniti al più presto (crediamo entro il mese di gennaio) all’ANVUR. Ma spesso la fretta è una cattiva consigliera. Forse si può chiedere una proroga o forse si può investire più tempo nell’attività di valutazione. Suggeriremmo all’Ais di nominare una commissione ristretta di esperti che si occupi della questione formulando criteri trasparenti sia per l’accreditamento che per il ranking delle riviste. Della commissione non dovrebbero far parte i membri della direzione delle riviste, che, tuttavia, potrebbero essere consultati quando è necessario. L’importante è che la valutazione sia fatta bene e imparzialmente. Non è solo in gioco il prestigio delle nostre riviste, ma anche la carriera di numerosi colleghi.

Pier Paolo Giglioli (Università di Bologna)
Alessandro Dal Lago (Università diGenova)
Giolo Fele (Università di Trento)
Marco Marzano (Università di Bergamo)

Visualizza tabella

NOTE:
1) S&M occupa il trecentosettanduesimo posto, Sociologia il quattrocentotrentanovesimo, ambedue sono situate nel quartile più basso, hanno ottenuto zero citazioni negli ultimi tre anni e godono di un SJR (la misura di Sopus dell’impatto di una rivista) di 0,025 superiore solo alle riviste che hanno ottenuto solo 0
2) Incidentalmente, questo non è l’unico caso di citazioni attribuite erroneamente a Sociologica. Ciò accade anche per altri due hits citazionali della rivista, pubblicati ambedue nel 2007: il saggio di Goldthorpe “Cultural Capital: Some Critical Observations” (35 citazioni) e il saggio di Abbott “Mechanisms and Relations” (29 citazioni). Infatti il saggio di Goldthorpe era stato pubblicato sempre nel 2007, in S. Scherer et al. (a cura di), From origin to destination, Frankfurt am Main, Campus, pp. 78-101 e un numero notevole delle citazioni attribuite da Publish or perish a Sociologica si riferisce appunto a questo volume; il saggio di Abbott era invece apparso nel 2002 nel sito web dell’autore ed è a questo che si riferiscono molteplici citazioni attribuite erroneamente alla rivista. E’ un po’ difficile, a questo punto, considerare come dati validi il numero di citazioni e l’h-index attribuiti a Sociologica.

Non entriamo ora nel merito delle osservazioni, riflessioni, proposte e controproposte degli amici di ERQ, alcune delle quali peraltro condividiamo. Vorremmo solo far notare loro, e a tutti i lettori di questo forum, che i loro calcoli sono sbagliati, almeno per quanto riguarda una rivista di recente nascita come “Sociologica”.
L’indice H della rivista per il periodo 2007-2011 è pari a 10, e resta tale anche considerando i tre articoli che vengono citati nel loro post come fonte di scorrettezza (per quanto non intenzionale, viene fortunatamente detto). Non c’è alcuna scorrettezza in termini di indice H, che è quello di cui stiamo discutendo su questo forum, a partire dal documento postato da Ramella e frutto del lavoro congiunto delle direzioni di sei riviste, tra cui appunto “Sociologica”, che se ne assumono la responsabilità in solido. Per chi non lo conoscesse a fondo, ricordiamo infatti che l’indice H indica molto semplicemente il numero H di articoli che hanno ricevuto, in un tempo dato, almeno H citazioni. I tre articoli “incriminati” – provare per credere – hanno ricevuto almeno 10 citazioni anche escludendo le citazioni a versioni precedenti o altre (es., la versione in ciclostile anni sessanta del paper di HC White, o quella in libro del saggio di Goldthorpe). Che il saggio di White sia citato 51 volte o 34 o 22 o anche 150 non fa differenza per il nostro indice H: basta che ci siano 10 citazioni alla versione pubblicata su “Sociologica”, e l’indice non subisce variazioni. Idem per gli altri due articoli. Queste citazioni ci sono. E lo sapevamo. Come ogni fonte, Google Scholar va usata con giudizio. Correttezza richiederebbe a questo punto una rettifica.

La direzione di “Sociologica. Italian Journal of Sociology”
Anna Carola Freschi, Yuri Kazepov, Marco Santoro

Ho già espresso il mio punto di vista sull’uso “cieco” dell’indice H, senza riferimento al fattore tempo, e sulla necessità di rapportarlo invece agli ultimi anni di attività delle riviste, quelli più significativi per l’incidenza sul dibattito scientifico.
Aggiungo ora soltanto un’annotazione sulla fragilità e l’opacità di questo indicatore: nella mia consultazione di fine ottobre, “Mondi migranti” compariva con 130 papers e 108 citazioni. Ora invece è stato retrocesso a 92 papers, con 85 citazioni. Anziché guadagnare terreno, ne abbiamo perso circa il 30% in termini di numero di papers conteggiati e più del 20% in termini di citazioni, con il conseguente calo di un punto dell’indice H. Il fatto strano è che alcuni articoli compaiono regolarmente nella consultazione dei dati individuali degli autori, ma non vengono poi conteggiati a beneficio della rivista.
Come è noto, il sistema è imperscrutabile: non consente di chiedere e di ottenere spiegazioni, né tanto meno rettifiche.
Ora pensare che la reputazione di una rivista, e magari anche la carriera individuale degli studiosi, possa essere appesa a strumenti di rilevazione così inaffidabili, mi pone parecchi interrogativi. A chi di dovere la risposta

Interveniamo nuovamente nel dibattito che si è aperto sui criteri di classificazione delle riviste italiane. In primo luogo, per esprimere un sincero apprezzamento per la discussione che è nata intorno alla proposta avanzata dalle sei riviste. Noi pensiamo che questo dibattito offra un contributo serio al lavoro che l’Ais si trova ad affrontare. Abbiamo letto delle critiche interessanti alla nostra proposta, bene argomentate, che ci hanno fatto riflettere. Alcune delle idee emerse nel dibattito le condividiamo pienamente. Altre solo parzialmente. Altre ancora non le condividiamo affatto. Su alcune di queste idee vorremmo dire qualcosa, in aggiunta a quanto già scritto (e detto). Prima però di entrare nel merito dei singoli punti, anticipiamo qui le conclusioni di questo lungo post.

A nostro avviso ciò che dovrebbe emergere da questo dibattito è che le riviste italiane di sociologia sono interessate e disponibili – da subito – ad un serio esercizio di valutazione, che porti non solo ad un accreditamento ma anche ad un ranking basato su criteri trasparenti e verificabili. Al di là delle differenze, pur legittime, chi è interessato a questo risultato dovrebbe fare uno sforzo per mettere in luce i possibili punti di convergenza e di mediazione che stanno emergendo dalla discussione. Di seguito cerchiamo di dare un contributo in questa direzione (ci scusiamo in anticipo per la lunghezza del testo).

1) Siamo d’accordo sull’idea che l’Ais dovrebbe procedere ad un accreditamento delle riviste, preliminare al loro ranking, utilizzando quelli che vengono definiti come “indicatori di qualità” (peer review, pubblicità delle procedure, abstract in inglese, regolarità delle uscite ecc.). L’utilità (indiretta) di questi esercizi di valutazione, infatti, dovrebbe essere di stimolare un miglioramento degli standard e delle procedure operative delle riviste italiane, nella convinzione che ciò produrrà un effetto positivo sulla qualità complessiva della produzione scientifica. Nelle discussioni che hanno preceduto la stesura del nostro documento abbiamo più volte parlato dei “requisiti necessari” per l’accreditamento, ma abbiamo preferito non articolare una proposta in merito, visto che su questo l’Ais ha avviato una raccolta d’informazioni. Nella mail di accompagnamento che abbiamo inviato al Presidente dell’Ais, dicevamo quanto segue: “Questa proposta [sul ranking] non intende porsi in alternativa al questionario elaborato dall’Ais bensì – ci auguriamo – come un suo utile complemento. Il questionario, infatti, può apportare un positivo contributo alla conoscenza della realtà e dei modi operativi delle riviste italiane. Consentirà di raccogliere utili informazioni che potranno, in futuro, servire per calibrare meglio le procedure di accreditamento, anche per quanto concerne i requisiti minimi e gli standard operativi attesi dalle riviste scientifiche”.
Ci rendiamo conto che il “futuro è adesso”. Si tratta perciò di decidere quali siano i requisiti da applicare e se debbano valere a partire dalla presente, oppure dalla prossima, tornata di valutazione (noi proponiamo un ranking delle riviste ogni due anni), in modo da consentire a tutte di adeguarsi ai parametri individuati.

2) Siamo d’accordo che gli indici-bibliometrici sono uno strumento di valutazione imperfetto, che vanno perciò usati cum grano salis. E tuttavia, alcuni dei problemi finora segnalati sono di facile correzione. Una volta pubblicati in via provvisoria i risultati della valutazione, si può perciò immaginare che venga consentito ai direttori delle riviste (o a chiunque sia interessato) di segnalare eventuali anomalie ed errori nel relativo ranking.

3) La questione centrale, però, su cui ci troviamo tutti a discutere, è un’altra. Riguarda il metodo e i criteri da utilizzare per la valutazione/classificazione delle riviste. Esistono due metodi “accreditati” a livello internazionale: 1) il primo si fonda sul peer review (stated preference approach), 2) il secondo sugli indicatori citazionali (revealed preference approach).

4) Il metodo del peer review non ci convince. Non per motivi ideologici o per fanatismo “bibliometrico”, ma per semplici motivi pragmatici. Come è ampiamente noto nella letteratura che si occupa di valutazione della ricerca, questo metodo soffre di alcuni difetti: 1) è difficile costruire un panel di esperti capaci di padroneggiare l’intera gamma di riviste presenti in un settore scientifico disciplinare; 2) esiste un forte bias soggettivo nei giudizi degli esperti, dovuto ai più svariati motivi (interessi di ricerca, orientamenti culturali, esperienze personali, posizioni nella comunità accademica ecc.). La composizione (soggettiva) del panel risulta perciò cruciale per gli esiti della valutazione.

Questo metodo – che non scartiamo a priori – contiene pure alcuni elementi positivi: consente di valutare aspetti qualitativi più difficili da rilevare con l’impatto citazionale; permette di apprezzare in maniera più adeguata esperienze di qualità ma di nicchia, oppure eterodosse ecc. Il mio timore, però, è che applicato all’interno di una comunità scientifica fortemente divisa, come la nostra, questo metodo produrrebbe risultati altamente deludenti. Poniamola così: sull’esito finale della classificazione – temiamo – graverebbe un sospetto di “parzialità” ben maggiore che non utilizzando gli indicatori bibliometrici, che perlomeno hanno il vantaggio della “ispezionabilità” dei dati e quindi della verificabilità del ranking. Non diamo per scontato che l’utilizzo del peer review produrrebbe esiti particolaristici e poco trasparenti, ma finché non si sarà affermata nel nostro paese una solida cultura della valutazione ………preferiamo affidarci al metodo bibliometrico.

Facciamo anche presente un terzo elemento del peer review, spesso ricordato nella letteratura specialistica. Queste valutazioni comportano un giudizio sulla qualità e sulla reputazione complessiva della rivista, hanno cioè a che fare con la sua immagine d’insieme, costruita attraverso tutta la sua storia (passata e presente). Come è stato rilevato – ed è comunemente accettato – questo tipo di giudizio ha un orizzonte temporale esteso: “le percezioni della qualità delle riviste tendono ad avere una memoria lunga” (Tahai e Meyer 1999, 283). A noi questo non crea problemi, come diremo tra poco, ma ci pare contraddittorio che gli amici di ERQ, che sostengono la bontà della peer review, quando parlano invece di indici bibliometrici diventino – senza se e senza ma – dei fautori degli orizzonti temporali brevi.

Qualche “buona ragione”, tuttavia, ce l’hanno. Così come ce l’hanno gli altri che sono intervenuti sullo stesso punto (Ambrosini, De Nardis).

5) Veniamo perciò alla vexata quaestio dell’arco temporale di riferimento degli indici bibliometrici. Come abbiamo già scritto, ogni intervallo temporale è di tipo convenzionale. Contiene perciò degli elementi di arbitrio. In questo dibattito è stato chiesto di fare riferimento ai 5 (oppure ai 4) anni più recenti, per tutelare le riviste più giovani. Ma allora perché non 3 o 2 anni, come alcuni indici commerciali (ISI; Scopus) fanno? Potremmo così tutelare ancora meglio le riviste nate proprio, ma proprio, da poco. Altri hanno fatto notare che, casomai, l’intervallo temporale del VQR 2004-10, sarebbe più sensato (visto che quello è il periodo di riferimento della valutazione).

Su questo punto ci permettiamo nuovamente di far notare che gli intervalli temporali troppo ristretti utilizzati dagli indici commerciali, sono stati spesso criticati proprio nel campo delle scienze sociali. L’evoluzione delle citazioni in questi settori è diversa – è più lenta e prolungata – rispetto a quella presente nelle scienze naturali. Per questo J. Jacobs (ex editor dell’AJS) propone un intervallo di 10 anni per le riviste di sociologia. Altri, in diversi settori, propongono di far riferimento a tutta la storia delle riviste (usando l’H-index), poiché “l’utilizzo solo delle pubblicazioni recenti può non riflettere accuratamente il loro intero contributo all’insieme delle conoscenze” disciplinari (Sarenko 2010, 450).

La durata di una rivista, infatti, testimonia anche (seppure non sempre) la solidità del suo progetto editoriale, la capacità di riprodursi (in senso buono), la sua legittimazione nella comunità accademica ecc. Le riviste giovani, invece, devono testare il loro valore anche attraverso la “prova del tempo”. Non sono pochi i casi di riviste-flash, nate e scomparse in un arco temporale ristretto. Dunque, vi sono “buone ragioni” per considerare tutta la storia di una rivista. Così come ci sono “buone ragioni” per prendere sul serio le osservazioni sollevate dalle riviste più giovani. Dobbiamo infatti dare loro un riconoscimento adeguato, evitando ogni sospetto che si intenda tutelare le “rendite di posizione” o salvaguardare l’inerzia di riviste storiche che hanno perso slancio.

6) La proposta che avanziamo (già anticipata in un post precedente e raccolta da De Nardis) vuole perciò essere una possibile mediazione tra la storia lunga e la storia breve delle riviste. Si tratta di fare una media tra i valori normalizzati dell’ H-index totale e quelli dell’H-index degli ultimi 5 anni (o 7 anni). Per intenderci, le riviste storiche che hanno dei buoni risultati sul primo indicatore (lungo periodo), se non li confermano anche sul secondo indicatore (breve periodo), arretrano nella graduatoria. Viceversa, riviste giovani e particolarmente dinamiche possono scalare più agevolmente la classifica. Questa proposta – a nostro avviso – tiene insieme entrambi i lati della questione e avrebbe anche l’ulteriore vantaggio di non appiattire troppo la distribuzione dei punteggi (rendendo così meno aleatorio il ranking e meno drammatici eventuali, piccoli, errori di rilevazione).
A scanso di equivoci, ci permettiamo di fare notare che le riviste che dirigiamo, alla luce dei valori H pubblicati, uscirebbero bene qualsiasi arco temporale venisse prescelto (breve o lungo che fosse). La proposta che avanziamo oggi, però, è quella che ci convince di più, dopo aver considerato le osservazioni emerse nel dibattito.

7) Abbiamo letto in alcuni post che la proposta delle sei riviste è inaccettabile. Noi pensiamo che l’unica cosa inaccettabile sia l’assenza di valutazione. Ci preoccupa, ad esempio, la mail di accompagnamento al questionario Ais, in cui si afferma che “l’AIS sta affrontando – su richiesta dell’ANVUR – il delicato compito di predisporre una griglia di indicatori che possano, in futuro, consentire non solo l’accreditamento delle riviste, ma anche una loro, al momento solo eventuale, “valutazione” in termini di peso e prestigio nella comunità scientifica.”
Noi speriamo che l’Ais faccia suo l’obiettivo del ranking delle riviste, sostenendolo da subito e in maniera attiva presso l’ANVUR. L’accreditamento “piatto” delle riviste italiane (ipotesi sondata nella scheda Ais), dove tutte valgono indistintamente 0,5, sarebbe infatti un disastro. Porterebbe ad un loro peggioramento complessivo. Dobbiamo, perciò, contrastare l’effetto-deriva-verso-il-basso che l’applicazione dei coefficienti di ponderazione ANVUR (proposti per l’abilitazione nazionale) tende a creare per le nostre riviste. Al contrario, dobbiamo spingere queste ultime verso un processo virtuoso d’internazionalizzazione e di miglioramento delle loro modalità operative, rendendole anche più trasparenti. Questa è la “questione” che stiamo affrontando in questo dibattito. Questa è la sfida che la sociologia italiana deve sapere accogliere, poiché la qualità di una comunità scientifica, che intende confrontarsi con il dibattito internazionale – e non farlo significa optare per la marginalizzazione – è determinata anche dalla qualità delle sue strutture organizzative, delle sue modalità operative e dei suoi criteri di valutazione ……..a livello nazionale.

Maurizio Pisati, Francesco Ramella e Marco Santoro

Note
1) Gli scienziati politici italiani, nel loro ranking delle riviste italiane e internazionali, hanno affiancato agli indici commerciali anche l’H-index totale.
2) Per inciso, facciamo notare che i fattori di ponderazione presenti nella nostra proposta per l’inserimento nei database commerciali non sono tesi a favorire chi è già dentro ma ad incentivare l’entrata delle altre riviste italiane di qualità (una politica attualmente seguita anche in Francia e auspicata dall’ANVUR). Il basso impact factor di Stato e mercato in Scopus è dovuto a due motivi: 1) la recente entrata nel data-base (è presente dall’anno in corso); 2) la lingua di pubblicazione (italiana…ma dal prossimo anno introdurremo la possibilità di pubblicare in inglese). Chi conosce le modalità di costruzione degli indici di impatto, sa che questi database assumono come riferimento le citazioni operate dalle riviste inserite al loro interno. E’ perciò normale che le new entries italiane – specie se non pubblicano in inglese – partano da valori bassi visto che le pubblicazioni italiane (le fonti prevalenti di citazione) non vi sono presenti. Ciò che è imbarazzante perciò non è questo, bensì l’assenza di riviste italiane di scienze sociali in questi repertori commerciali, che sono molto noti e utilizzati all’estero.

Cari colleghi, siamo costretti a constatare come nel nuovo testo pubblicato da Pisati, Ramella e Santoro su questo sito il giorno di Natale ci sia ben poco di nuovo rispetto ai loro interventi precedenti, a parte il riconoscimento dell’importanza dell’accreditamento, di cui siamo ben lieti, essendo stati noi a sollevare la questione. (A questo proposito ci auguriamo che l’Ais definisca rapidamente i requisiti minimi in modo da poterli applicare fin dalla prima valutazione, qualora questa venga effettivamente fatta).

Non possiamo quindi che ribadire il nostro netto disaccordo sull’impiego degli indicatori bibliometrici nella forma che Ramella et al. propongono. Le nostre riserve sono di tre ordini.

In primo luogo, abbiamo fortissimi dubbi sull’affidabilità dei dati di base, un problema che non sembra preoccupare i nostri interlocutori, ma che per noi è molto serio e di non “facile correzione” . Come abbiamo già affermato, se prendiamo la briga di andare a vedere da vicino a cosa si riferiscono le citazioni di Google Scholar, troviamo di tutto: draft di papers sulla cui prima pagina è scritto esplicitamente “Do not cite or quote” (ma che invece sono citati e contati), appunti di lezioni su Power Point, programmi di esame finiti chissà come sul web, citazioni attribuite a riviste non ancora esistenti, moltissime autocitazioni, lo stesso paper citato tre volte dalla stessa persona in tre modi diversi, citazioni che provengono da opere difficilmente controllabili, citazioni che appaiono e scompaiono nel tempo (come ha sottolineato Ambrosini), e via dicendo. La pretesa di stabilire un ranking credibile sulla base di questa massa eterogenea di dati a noi sembra difficilmente sostenibile.

In secondo luogo, e questo ci sembra un punto dirimente, per quanto riguarda l’arco temporale di riferimento degli indici bibliometrici davvero non capiamo perché Ramella et al. siano così ostili al fatto che le riviste partano alla pari. Per esempio (facciamo questo esempio, ma ne potremmo fare facilmente altri): che ragione c’è per cui chi avesse negli ultimi quattro anni scritto un articolo su “Mondi migranti” dovrebbe ottenere metà del punteggio concorsuale (perché è di questo di cui alla fine si tratta) di “Inchiesta”, il cui indice H è in tali anni assai più basso di quello di “Mondi migranti”? L’ingiustizia e l’arbitrarietà sono palesi.

Infine, anche se i dati fossero puliti (un compito arduo, lo ripetiamo) e se l’arco temporale dell’applicazione degli indici fosse “fair”, non si può sfuggire alla domanda di cosa misurino davvero le citazioni. Certo non l’eccellenza scientifica, se una rivista prestigiosa come le “Archives européennes de sociologie” nel ranking delle riviste sociologiche di Scopus occupa appena il duecentoduesimo posto ed è largamente superata da “Housing, theory and society” , “The journal of adult protection” e “The Journal of sport and social issues”. Non misurerà l’eccellenza, risponderebbero forse Ramella et al., ma misura l’impatto sulla comunità scientifica. Ci permettiamo di dubitarne. Il fatto è che la comunità scientifica non è unitaria, ma frammentata: coloro che attendono con ansia l’uscita di “Housing, theory and society” non sono probabilmente le stesse persone che leggono le “Archives” e viceversa. Qualsiasi ranking unitario ignora questa fondamentale verità e risulta perciò fuorviante. Con questo, non intendiamo affermare, lo abbiamo già detto nel nostro precedente intervento, che i dati bibliometrici siano assolutamente da scartare: è ovvio che ci sia differenza tra un articolo che è citato cento volte e un altro che non è citato neppure una. Ma vanno impiegati con grande cautela. Noi ne vediamo un possibile uso solo in aggiunta a valutazioni ben più approfondite e sensibili condotte col metodo della peer-review.

Da quanto scrivono, abbiamo l’impressione che anche Ramella et al. siano d’accordo sui vantaggi della peer review. Le loro obiezioni, ci pare, non sono, o non sono principalmente, rivolte al metodo, ma al contesto. Insomma, non si fidano dei giudici. Non è un’obiezione di poco conto. Il luogo deputato per l’esercizio della peer-review nell’accademia italiana sono stati i concorsi: i risultati (pur senza fare di ogni erba un fascio) sono sotto gli occhi di tutti. Per i nostri amici, è meglio un giudizio basato su dati rozzi, scelti in un arco di tempo arbitrario e il cui significato sia incerto che cadere nelle mani delle famigerate “componenti”. Mentre capiamo i motivi di questa posizione, a noi sembra che il rimedio sia peggiore del male. A nostro avviso infatti vi sono due ragioni per sciogliere il perverso legame tra valutazione delle riviste e reclutamento universitario, una interna all’uso stesso degli indicatori bibliometrici, l’altra più generale.

1) Come mostra la letteratura sulla valutazione, uno dei principali errori in cui incorrono coloro che usano i metodi bibliometrici è considerare il punteggio attribuito a una rivista un proxy per la valutazione degli articoli apparsi su quella rivista. Infatti non tutti gli articoli pubblicati su una rivista con un alto indice H o IF sono molto citati e non tutti gli articoli pubblicati su una rivista con un basso indice H o IF lo sono poco. In altre parole, l’impiego dell’indice H o dell’IF implica un’omogeneizzazione che comporta una pesante deformazione nella valutazione dei contributi individuali. E’ per questa ragione che un ampio numero di agenzie di valutazione e di organizzazioni scientifiche – come, ad esempio, The Higher Education Funding Council of England, The Research Assessment Exercise, The European Association of Science Editors, The International Council for Science, The European Science Foundation, la Deutsche Forschnungsgemeinschaft, The National Science Foundation – hanno raccomandato negli ultimi dieci anni di non usare indicatori come l’indice H o l’impact factor in decisioni che riguardino il reclutamento accademico, il progresso nella carriera o la distribuzione di fondi individuali. Nel caso italiano e in una disciplina come la nostra, queste raccomandazioni sono ancora più cogenti perché i sociologi, con buona pace di coloro a cui questo non piace, continuano ancora a scrivere libri: e questi come li valutiamo? Facciamo una valutazione degli editori? E come? Attraverso le citazioni? E degli articoli scritti su riviste straniere che ne facciamo? Li valutiamo tre o quattro volte di più di quelli scritti su riviste italiane anche se si tratta di “The journal of adult protection”? Se proprio si vuole impiegare metodi bibliometrici, che a noi continuano ad apparire abbastanza grossolani e approssimativi, nella valutazione del reclutamento accademico si abbia coraggio di andare fino in fondo e invece di ottenere un ranking degli individui attraverso la mediazione delle riviste si valuti l’indice H (“aggiustato” o combinato magari con altri indici di impatto) di tutti i concorrenti. Almeno, per quello che può servire, si saprà quanto un singolo candidato è citato sia per i suoi libri che per i suoi articoli da qualsiasi parte siano stati pubblicati.

Ricordiamoci che tutto questo dibattito è iniziato perché l’ANVUR ha differenziato i parametri per l’accesso all’abilitazione: le aree CUN da 1 a 9 sono sotto un regime (riviste ISI o Scopus; numero totale delle citazioni; indice h) , le aree CUN da 10 a 14 sono sotto un altro (numero di pubblicazioni “ponderate”). Una possibile proposta all’ANVUR da parte dell’AIS potrebbe essere quella di fare a meno della ponderazione delle singole riviste come uno dei criteri di valutazione dei candidati (una questione, come abbiamo visto, estremamente complessa e delicata) e considerare invece il numero di pubblicazioni con peer review (il repertorio di U-GOV contiene queste informazioni relative alle pubblicazioni), il numero totale di citazioni e l’indice h individuale.

2) La seconda e più generale ragione è la seguente. A nostro avviso, una delle poche innovazioni utili della nuova disciplina concorsuale consiste nel ruolo prioritario dato ai dipartimenti nel reclutamento accademico. Come alcuni di noi hanno già scritto [A. Dal Lago e P. P. Giglioli, “Imprenditori morali”, Etnografia e ricerca qualitativa, 4, 2011, 175-179], questo è l’unico modo per sbarazzarsi delle componenti e dei partiti accademici: la dialettica (perché è opportuno che via sia una dialettica) in sede di reclutamento avviene al livello in cui il reclutamento ha effetto, cioè in sede locale. Da questo punto di vista, qualsiasi insistenza su un momento centralizzato in cui venga deciso quali siano i candidati meritevoli a livello nazionale rappresenta un passo indietro e potenzialmente rimette in gioco accordi e spartizioni disdicevoli. A nostro avviso, meno decisioni centrali vi sono meglio è. Per quanto ci riguarda, le aboliremmo completamente: i candidati, purché in possesso di un requisito minimo (possesso del dottorato, per esempio), potrebbero fare domanda in qualsiasi dipartimento bandisca un posto. La legge sui ricercatori a tempo determinato permette un’articolazione del reclutamento di questo genere, e alcune sedi già la stanno mettendo in pratica (come, per esempio, la Facoltà di Sociologia dell’Università di Trento). Il punto fondamentale è che la decisione di reclutare un ricercatore invece che un altro deve avere delle conseguenze positive o negative per il dipartimento. Ci preoccupiamo (giustamente) dei vincoli in ingresso, ma dovremmo altrettanto seriamente occuparci degli esiti nel tempo delle scelte iniziali, e cioè di una valutazione in itinere ed ex-post degli effetti delle scelte del reclutamento.
Questo è il punto chiave, L’autonomia dei dipartimenti deve essere abbinata alla loro responsabilità. Un dipartimento sceglie chi vuole, ma è responsabile della scelta. Ovviamente, tutto ciò implica la necessità di una valutazione – ma dei dipartimenti e delle università, in termini della efficacia della loro politica di reclutamento. Questo è quanto si fa nei sistemi universitari avanzati. Cercare di risolvere il problema del reclutamento contando le citazioni delle riviste su cui hanno pubblicato i candidati invece di situarci in un orizzonte internazionale, rappresenta un’altra, patetica, anomalia italiana.

Alessandro Dal Lago
Giolo Fele
Pier Paolo Giglioli
Marco Marzano

Nella pausa natalizia ho finalmente letto tutto il dibattito. E’ positivo che si tratti di un dibattito reale, tra approcci differenti e punti di vista diversi, o diversamente articolati. Dovrebbe far riflettere che ciò si trova raramente all’interno delle riviste italiane di sociologia e che questa mancanza va considerata anche all’interno del dibattito sulla valutazione.
A livello internazionale la discussione di punti di vista differenti, in uno stesso numero di un Journal o attraverso diversi numeri dello stesso, è prassi consolidata, che mette in luce come rappresentare una “scuola” non significhi rappresentare una dogmatica (o una sede, un “pezzo” di disciplina o…una componente accademica). Nella sociologia italiana la passione per il dibattito non sembra molto diffusa e ciò si riflette anche sulle possibilità di accesso alla pubblicazione su questa o quella rivista. Altrove avviene il contrario, come si può verificare considerando sia riviste che abbracciano un intero ambito professional-disciplinare (es. The British Journal of Sociology) che riviste molto specializzate (come Gender&Society) o molto specializzate ed interdisciplinari (come Violence Against Women). Del resto ciò si riflette anche nell’uso delle citazioni: in Italia anche i migliori studenti arrivano al dottorato già addestrati a passar subito dalla citazione di Weber e Simmel all’ultimo articolo del loro mentore o tutor, saltando a piè pari una ricognizione critica del dibattito sul tema della loro ricerca. La debolezza nostrana del dibattito nelle e tra le riviste corrisponde ad un mercato scientifico-accademico gracile, ma anche ad una distorsione dei processi formativi di entrata nell’università e nella ricerca.
A me sembra che, per la valutazione delle riviste, la strada, più stretta ed apparentemente più rigorosa, indicata dalla proposta di Ramella, Santoro ed altri, rischi di riprodurre i difetti che si vogliono combattere: una gerarchizzazione accademica aprioristica e perciò dannosa per i giovani; la confusione tra valutazione e definizione delle “componenti”; la confusione tra lo scrivere in Inglese, la pubblicazione di articoli di colleghi stranieri e lo sviluppo di una produzione sociologica innovativa e realmente inserita nel dibattito internazionale.
Per questi motivi le osservazioni di Ambrosini, Giglioli, Fele, Dal Lago e Marzano
mi sembra mettano in campo in maniera più ampia e circostanziata il rapporto tra arbitrarietà dei metodi di valutazione, qualità scientifica della valutazione ed utilizzo accademico della medesima. Tre punti sollevati mi appaiono molto convincenti: il tema dell’accreditamento, il criterio temporale, il tema del rapporto tra valutazione e dipartimentalizzazione. Sull’accreditamento è giusto che l’AIS proponga un set di criteri minimi, quali “un sistema di referaggio serio, cioè anonimo, ma trasparente; una periodicità regolare; una direzione e una redazione…” molto qualificati. Quanto ai confini dei settori sociologici essi andrebbero pesati per le necessità che rappresentano nel senso del riconoscimento delle genealogie e delle sedimentazioni dei “discorsi autorizzati”, ma essi vanno anche controbilanciati con aperture opportune, per non penalizzare l’apporto di ambiti trasversali ed innovativi, che anche in Italia si vanno caratterizzando con loro riconoscibili coerenze interne, come gli studi sulle migrazioni o gli studi di genere. Per quel che riguarda l’arco temporale da considerare non mi sembra corretto –per un dibattitto che inizia da pochissimo tempo ad avanzare proposte operative- utilizzare regole così ampiamente retroattive, salvo che per tenere a mente quali riviste hanno introdotto da più tempo “buone pratiche”. Quanto al ruolo dei Dipartimenti, mi pare cruciale che una proposta sulla valutazione nazionale delle riviste debba inserirsi in un quadro più ampio di discussione sul reclutamento a livello dipartimentale, sulla premialità delle scelte responsabili, sui criteri per un’apertura massima delle selezioni locali e di controllo della loro trasparenza. Abolire ogni valutazione centralizzata? Ed estendere i bandi locali per ricercatori a tempo determinato? Ho perplessità sulla prima opzione perché temo, a differenza di Savona, che senza un buon sistema di valutazione le liberalizzazioni diventino rapidamente finzioni burocratiche. Al contrario la generalizzazione della figura del ricercatore a tempo determinato –anche se nell’immediato si può prestare a distorsioni localistiche che non premiano il merito- se inserito in una valutazione premiale in itinere ed ex-post, sia dei singoli che dei dipartimenti, può costituire un passo cruciale per l’internazionalizzazione della sociologia italiana, scritta in quasi qualsivoglia lingua.
Sulla lingua: l’uso dell’inglese, “obbligo” positivo da molti punti di vista, non è un indicatore esaustivo del buon livello di internazionalizzazione della disciplina (o di un singolo ricercatore). L’internazionalizzazione globalizzata della ricerca, richiederebbe di non pensare che l’anglicizzazione degli apparati concettuali sia priva di impatto culturale sulla pre-comprensione dei contesti, come pure sulle nostre scelte metodologiche e ed analitiche

L’H Index non “misura” la qualità scientifica di una rivista di sociologia né il suo impatto

Sui limiti e le forme di utilizzo dei conteggi di citazioni e dei loro derivati, con particolare attenzione alle scienze sociali, sono stati spesi fiumi d’inchiostro e sono ormai disponibili, anche in italiano, studi e ricerche recenti.
Troviamo quindi singolare che alcuni colleghi ci presentino, spacciandole come “rigorose”, graduatorie basate su un database poco affidabile, come Google Scholar (Ramella 2011 in questo blog). E’ noto che G.S. “privilegia i lavori di più recente pubblicazione”, “che hanno maggiori chances di essere presenti sul web”, e che include inoltre “informazioni errate o non pertinenti” (Diani 2008). Dello stesso parere è Baccini (2012), in un articolo che esplora altre soluzioni utili a classificare le riviste delle scienze sociali nel nostro paese.
Perché non usare allora altri database? Si potrebbe pensare ad es. a “Sociological Abstracts”, che include gli articoli pubblicati da una rivista (un indicatore della sua operosità) e, da qualche anno, anche le citazioni. Data la forte interazione, se non osmosi, tra scienze sociali e l’ambiente circostante – i sociologi non scrivono solo per i loro colleghi, a differenza di fisici o chimici – perché non usare i risultati di una semplice ricerca su Google? Essa permetterebbe di accertare, seppure in modo approssimato, l’impatto che la rivista ha sulla società in cui opera.
L’obiezione più rilevante è tuttavia un’altra. Riguarda la credenza che la cosiddetta “bibliometria” fornisca indicatori della qualità scientifica dei prodotti della ricerca – specie in discipline con un mercato ristretto e frammentato come quello che caratterizza la sociologia italiana. Questa credenza, di derivazione scientistica, stipula in modo arbitrario che tra un conteggio di citazioni (nel caso, l’indice H) e la proprietà “qualità scientifica” dei prodotti della ricerca sociologica esista in ogni caso una forte relazione semantica, un solido rapporto d’indicazione. L’uso sistematico di questi conteggi a scopi di valutazione potrebbe invece produrre nel giro di pochi anni effetti controproducenti proprio sulla qualità scientifica dei prodotti della sociologia italiana.
Infine: buon gusto (un eufemismo ogni tanto non guasta) vorrebbe che chi intenda essere valutato non cerchi di pilotare le decisioni del suo valutatore.
Ci auguriamo che l’AIS segua altre strade per stabilire un accreditamento e un ranking delle riviste italiane di sociologia. Scopo prioritario di questo esercizio di valutazione non è percorrere scorciatoie né usare definizioni operative arbitrarie della qualità scientifica, ma incoraggiare e premiare chi ha dimostrato di coltivarla negli anni.

Alberto Baldissera
Paola Borgna
Paolo Ceri
«Quaderni di Sociologia», Torino

Riferimenti bibliografici
Baccini A., L’ANVUR e la valutazione nelle scienze umane e sociali, pubblicato il 9 gennaio 2012 sul sito web http://www.roars.it/online/?p=2949

Diani M., Indicatori bibliometrici e sociologia italiana, «Quaderni di Sociologia», LII, 47, 2008, pp. 135-146.

Riceviamo e pubblichiamo.

Una discussione intorno ai progetti di ranking delle riviste scientifiche è indispensabile e urgente; sarebbe bene però che si sviluppasse a partire dal riconoscimento dell’esistenza di due fondamentali dimensioni di cui si tiene conto nelle procedure di valutazione. La prima dimensione si riferisce alla qualità del prodotto, la seconda alla sua diffusione. Tali dimensioni possono intersecarsi e risultare perfino intercambiabili ma questa non è la regola. Come ben argomentato da Giglioli et al., anche in campo scientifico, si pubblicano riviste di relativamente grande diffusione ma di non pari qualità (The Journal of sport and social issues) accanto a riviste di grande qualità sebbene non altrettanto diffuse (Archives européennes de sociologie). Una tale evidenza dovrebbe suggerire al valutatore di lavorare tenendo separati gli indicatori di qualità dagli indicatori di diffusione, per costruire due distinti indici che potrebbero essere poi riuniti al fine di ottenere un unico ranking, ovvero tenuti separati, così da procedere, come sarebbe secondo noi preferibile, a due distinte classificazioni, anche introducendo dei significativi fattori di ponderazione miranti a premiare la dimensione della qualità su quella della diffusione. In questo modo, infatti, laddove le perplessità circa l’utilizzo di indici della diffusione come misure della qualità di un prodotto dovessero condurre, come auspichiamo, alla dismissione di tale approccio, rimarrebbero saldamente in piedi procedure condivise per costruire un ranking significativo.
In realtà, facciamo pienamente nostri i rilievi mossi all’idea di una valutazione della qualità basata su un sistema citazionale; rilievi che, com’è da più parti segnalato, non sono appannaggio esclusivo di sparute, marginali e inconsapevoli minoranze locali, ma sembrano essere costitutivi dell’orientamento espresso da importanti agenzie di valutazione e organizzazioni scientifiche internazionali. D’altra parte, dal dibattito qui ospitato si è compreso chiaramente che sarebbe piuttosto agevole accordarsi su un set di indicatori non-citazionali finalizzati alla valutazione della qualità delle riviste sociologiche, mentre si fatica, e non poco, per trovare una soluzione condivisa in merito alla scelta di indicatori citazionali finalizzati allo stesso scopo.
Fatta salva questa fondamentale esigenza di distinguere qualità e diffusione delle riviste, si può ragionare, diremmo piuttosto tranquillamente, su due questioni piuttosto controverse emerse dal dibattito. La prima ha a che fare con il ricorso alla lingua inglese nella pubblicazione, la seconda con l’H-Index.
In generale si può affermare che un contributo pubblicato in lingua inglese ha maggiore probabilità di essere letto, e quindi citato, di un contributo pubblicato in lingua italiana; ma questo indipendentemente dal suo intrinseco valore. Così, paradossalmente, lo stesso articolo, più o meno valido, può aspirare a un certo numero di citazioni se scritto in inglese ma a un numero molto minore se redatto in italiano. In questo senso, la propensione di una rivista a pubblicare articoli in lingua inglese può essere trattata come un indicatore predittivo di diffusione piuttosto che come un indicatore espressivo di qualità.
In merito all’H-Index, prima di formulare una proposta di possibile (ma non proprio auspicabile) sua applicazione nella valutazione delle riviste, occorre svolgere qualche breve riflessione che consenta di prendere una chiara posizione nell’ambito del dibattito che in merito si sta svolgendo nell’AIS. L’H-Index si costituisce di citazioni, e se ci si domanda se la citazione possa essere considerata un indicatore di qualità scientifica, ci si deve disporre a trattare la questione da un punto di vista metodologico, distinguendo la parte indicante dalla parte estranea dell’indicatore medesimo. Così, come è stato sufficientemente documentato, anche in parte nel corso di questo di questo dibattito, a latere di un tipo di (1) citazione attestato-di-qualità, è possibile rinvenire alcuni altri tipi di citazione che non hanno nulla a che vedere con il concetto di qualità scientifica, come la (2) citazione critica/stroncatura, (3) la citazione autoreferenziale, (4) la citazione reverenziale, (5) la citazione captatio benevolentiæ, (6) la citazione di network, (7) la citazione casuale, etc. etc. etc. La presa d’atto che la parte estranea dell’indicatore è assai più consistente della parte indicante dovrebbe indurre ad abbandonare l’idea di trattarlo come indicatore di qualità. D’altra parte, potrebbe essere messo in campo un complesso programma di depurazione o disambiguazione, finalizzato appunto all’eliminazione delle citazioni spurie e alla selezione di quelle utilizzabili ai fini della valutazione della qualità. Ma quand’anche fosse risolta la questione della disambiguazione delle citazioni, rimarrebbe aperta la questione relativa alla valutazione delle mancate citazioni. Qui siamo di fronte al problema, assai rilevante, di discriminare i prodotti (1) che hanno un basso o nullo impatto perché sono stati letti e quindi deliberatamente non citati, dai prodotti (2) che ricevono poche o nessuna citazione, non perché non siano validi, ma perché non sono stati letti e perciò diventano difficilmente citabili. La numerosità delle citazioni è funzione della numerosità del pubblico dei potenziali “citatori”: la probabilità di citazione aumenta quanto più sono numerosi gli studiosi di un certo settore. Questo rilievo non vale solo per i comparti disciplinari (sociologia vs economia, ad esempio) ma anche, e con effetti distorcenti, all’interno dei grandi settori disciplinari in relazione alle “nicchie” specialistiche. Tanto meno numerosi sono gli studiosi che si interessano di un certo argomento, tanto più inevitabilmente basso sarà il numero delle citazioni in relazione a quello raggiungibile dai colleghi dello stesso settore che si interessano di temi più frequentati. Da un punto di vista editoriale, c’è il rischio che si inneschi un meccanismo per cui le riviste “generaliste” sarebbero portate a farsi sempre più “generaliste”, per evitare il rischio di una deflazione citazionale dovuta alla pubblicazione di contributi specialistici, necessariamente meno citati. Analogamente, una rivista citation-oriented potrebbe essere indotta a pubblicare articoli su argomenti che “tirano” piuttosto che contributi rischiosi e/o fuori moda. Così potrebbe altresì uscirne esaltato il rischio di una ulteriore dilatazione dell’effetto San Matteo, risultando preferibile puntare sul lavoro di un autore sperimentato, già al centro di una rete citazionale consolidata, piuttosto che dar credito al contributo coraggioso di un dottorando semisconosciuto. Una considerazione del tutto analoga vale a proposito dell’interdisciplinarietà, che una utilizzazione autoreferenziale dell’indice tenderebbe con ogni probabilità a deprimere: anche in questo caso infatti potrà risultare assai più conveniente puntare sulla precisa riconoscibilità – o addirittura sulla “chiusura” disciplinare dei contributi – assicurandosi così una base citazione sicura – anziché sulla produzione di confine, dalla collocazione rischiosa e precaria, ancorché spesso di grande interesse.

Per tutto ciò che si è detto, riteniamo che attualmente gli indicatori costruiti in base al numero delle citazioni siano semanticamente riferibili piuttosto al concetto di diffusione e solo residualmente a quello di qualità, e come tali vadano trattati. Peraltro nel variegato panorama di tali indicatori l’H-index riveste una posizione ibrida, di ambiguità. Esso è funzione sia della diffusione sia della produttività. Un autore che avesse prodotto un solo contributo detentore di dieci o cento o mille citazioni, avrebbe un punteggio sull’indice pari a 1, lo stesso punteggio di un suo collega produttore di dieci, cento o mille pubblicazioni, ciascuna delle quali citata una sola volta. In casi come questo è evidente che l’H-Index rischia di non rilevare né la diffusione, come nella prima circostanza, né la produttività, come nella seconda
Alla luce di tali considerazioni l’adozione dell’H-Index nella valutazione delle riviste riteniamo debba essere a nostro giudizio subordinata e adeguatamente ponderata rispetto a quella di altri indicatori non citazionali, più chiaramente rappresentativi della qualità di una rivista e tali perciò da essere proficuamente utilizzati in una procedura di ranking. A tali condizioni, occorre tenere conto, come più volte emerso nel corso della discussione, del problema relativo all’ampiezza della base temporale sulla quale l’H-Index viene calcolato. Più protratta nel tempo è questa base – più “storica” è la rivista – più meccanicamente cresce la probabilità che essa si attesti su un valore dell’indice alto. Ciò rende problematico un confronto tra riviste più attempate e riviste più giovani, penalizzando la diversa base di calcolo proprio queste ultime. Per far fronte a tale esigenza di comparazione, nel corso della discussione, è stata avanzata l’ipotesi di assumere la stessa base temporale di calcolo per tutte le riviste, restringendola agli ultimi x o y anni e assumendo come riferimento, per stabilire tale valore, il numero di anni di vita della rivista più giovane tra quelle classificabili. In questo modo però si finirebbe per privilegiare proprio le riviste più giovani – e specialmente le giovanissime – che hanno dalla loro parte l’effetto-novità, l’entusiasmo proprio delle nuove aggregazioni, gli effetti propulsivi delle attività di promozione, e così via. La proposta che qui avanziamo consiste (1) nel calcolare l’H-index con riferimento a ciascun anno di pubblicazione di una data rivista, (2) sommare gli n H-Index disponibili (tanti quanti gli anni di pubblicazione della rivista), (3) dividere infine il valore risultante per il totale degli anni di pubblicazione della rivista medesima, così da ottenere una media del valore dell’ H-Index per ogni anno di pubblicazione. Tale valore compenserebbe le fluttuazioni di breve periodo e costituirebbe una misura più attendibile di diffusione di lungo periodo della rivista, piuttosto che sfruttare meccanicamente l’effetto-memoria (nel caso si consideri globalmente l’arco temporale della sua esistenza) o enfatizzare non attendibilmente l’effetto-novità (nel caso si considerino solo gli ultimi x anni).

Enzo Campelli
Antonio Fasanella

Il dibattito sul ranking delle riviste sociologiche italiane si è sviluppato con passione e continuità e questo è anche un merito dell’AIS che, offrendo questo spazio di discussione, contribuisce a costituire una sfera pubblica che già è parte di una comunità scientifica evidentemente dinamica. Questo è un primo dato positivo che, credo, dovremmo tutti considerare.
L’articolazione del dibattito si è sviluppata facendo emergere una polarizzazione tra chi sostiene l’esigenza di valutare le riviste in base a indici citazionali e chi invece propone divesi parametri di valutazione. Nel mio primo intervento proponevo una possibile mediazione facendo però emergere una mia preferenza per la definizione di parametri di valutazione che non fossero semplicemente bibliometrici e citazionali proprio a causa delle distorsioni implicite negli strumenti di computo al momento disponibili. Giglioli, Ambrosini, Dal Lago, Fele, Ceri e altri hanno mostrato come l’h-index, soprattutto in base ai dati resi disponibili da G-Scholar, sia uno strumento fluttuante e in quanto tale inaffidabile. E’ evidente dunque che, in caso la comunità scientifico-sociale volesse dotarsi di strumenti di valutazione basati su indici bibliometrici, dovrebbe altresì accordare ad essi un valore percentualmente minimo rispetto a parametri di qualità senza dubbio più affidabili e meno ondivaghi.
Credo a questo punto che l’intervento dei colleghi Campelli e Fasanella sia molto chiarificatore. In questa sede, siamo chiamati a discutere su parametri di “qualità” e non di “diffusione”. La diffusione di un prodotto editoriale è una variabile che dipende da una molteplicità di fattori e solo una piccolissima parte di questi sono ricondubili alla effettiva qualità del prodotto stesso. Su questo tema non mi dilungo perché chi mi ha preceduto è entrato già efficacemente nel merito.
I tempi stringono, L’AIS ha fatto circolare un questionario ben strutturato e riformulato tenendo conto delle indicazioni fornite dagli stessi direttori delle riviste. In questo senso, quello strumento si profila, a mio avviso, non solo come un mezzo utile ma anche costruito seguendo una procedura democratica e condivisa, un dato che di questi tempi non guasta. Dai risultati di quel questionario potranno emergere da subito elementi sufficienti a stilare una “classifica” di qualità delle riviste accreditate.
Ho già affermato e confermo la mia idea che i parametri di qualità dovrebbero essere soprattutto i seguenti:

A) modalità di selezione dei paper pubblicati, trasparente e rigorosa (peer review et similia)
B) internazionalizzazione (effettiva e non solo nominale) del comitato scientifico
C) internazionalizzazione dei contributi (sia che siano scritti in inglese sia che siano stati tradotti in italiano per scelta redazionale)
D) continuità e puntualità di uscita

Se questi quattro indicatori dovessero essere individuati come i riferimenti valutativi primari, si potrebbe anche considerare di aggiungere un dato sulla “diffusione” degli articoli pubblicati ma tale dato (meglio se attraverso strumenti di ponderazione che non creino sacche di privilegio e rendite di posizione) dovrà comunque essere subordinato agli indicatori di qualità sopra citati.
Fabio de Nardis
rivista di sociologia politica “Partecipazione e Conflitto”

I dibattiti, quando non sono sterili, servono a dare informazioni, scambiare argomenti, chiarire le tesi che si confrontano. I post apparsi finora hanno svolto egregiamente questo compito, e hanno però anche confermato alcune delle nostre previsioni negative. Ma siamo ancora ottimisti. Le nostre posizioni, quelle principali almeno, sono ormai note. Le confermiamo, riassumendole in questo modo:

1) riteniamo inaccettabile un “accreditamento puro e semplice” delle riviste italiane;
2) avanziamo la richiesta di una classificazione basata su criteri trasparenti e verificabili;
3) riteniamo che in questa fase e nel contesto italiano i due requisiti precedenti (trasparenza e verificabilità della classificazione) siano (relativamente) meglio assicurati dal ricorso ad indici bibliometrici;
4) non escludiamo affatto (anzi lo auspichiamo) che in futuro i due sistemi di valutazione (giudizio dei pari e indici bibliometrici) possano essere utilmente integrati tra loro, secondo il principio metodologico della triangolazione.

Ciò detto, vorremmo qui fornire qualche ulteriore argomento a sostegno della nostra posizione. Alcuni degli interventi finora pubblicati hanno messo in discussione – in maniera a nostro avviso ingiustificata e parziale – non solo il metodo bibliometrico ma anche l’archivio dati (Google Scholar: da qui in avanti GS) di cui si serve il software (Publish or Perish) che fornisce la metrica citazionale (indice h) che abbiamo proposto per il ranking. Su questo punto osserviamo quanto segue.

1. Esiste una crescente letteratura che sta indagando l’affidabilità e il grado di copertura di GS (numero di pubblicazioni e di citazioni presenti nell’archivio in rapporto al totale di una disciplina). Pur rilevando alcuni problemi specifici, questa letteratura tende ad accreditare l’affidabilità di GS al pari di altri archivi bibliografici. Per questo, GS è già stato utilizzato in vari discipline per il calcolo di indici bibliometrici (Harzing 2008; Harzing e van der Wal 2007; Meier e Conkling 2008; Jacobs 2011; Sarenko 2010; Walters 2007; White 2006).

2. Una parte di questa letteratura si è anche occupata del grado di sovrapposizione con i maggiori archivi citazionali (Scopus, Web of Science), constatando che spesso GS offre una copertura più ampia (Baley et al. 2007; Meho & Yang 2007; Walters 2007), anche se i risultati variano da settore a settore (Yang e Meho 2006; Bar-Ilan 2007).

3. Per quanto riguarda le scienze sociali, GS offre una copertura più estesa grazie all’inclusione di un numero superiore di riviste (in lingue diverse), dei libri, degli atti dei convegni e di altre fonti ancora (Harding 2008). In particolare, per la sociologia è stato stimato che l’inclusione dei libri nel proprio archivio citazionale consente a GS di intercettare circa il doppio delle citazioni rispetto a WoS (Jacobs 2011, p. 5). La nostra disciplina, infatti, è basata in gran parte su una comunicazione scientifica che transita attraverso i libri. Moed (2005), ad esempio, stima che nella sociologia solamente il 37% delle citazioni provengono da articoli pubblicati su riviste.

4. Questi studi mostrano anche che il “citational noise” (duplicazioni delle citazioni, errori), nel caso di GS, risulta molto limitato (Jacobs 2011) e che la sua incidenza è molto ridotta dall’utilizzo di una metrica solida come quella fornita dall’h-index (Harzing e van der Wal 2007, p. 3).

Alla luce di queste considerazioni noi riteniamo che GS (come del resto afferma anche l’Anvur) sia un archivio sufficientemente affidabile e che i problemi segnalati in questa discussione siano facilmente risolvibili (dando ai direttori di rivista la possibilità di segnalare eventuali errori o anomalie nel calcolo dell’h-index). La nostra esperienza di calcolo dell’h-index delle riviste italiane di sociologia – esperienza che risale all’agosto 2011 e che ha visto la partecipazione indipendente di più persone in più sessioni di calcolo – non ha messo in luce anomalie significative (l’unica che ci è nota è quella segnalata da Ambrosini nel corso di questa discussione).

Veniamo perciò alle conclusioni. Non esiste un data-base o un criterio di valutazione che sia esente da critiche. GS e l’h-index non fanno eccezione. Ma molte delle osservazioni che sono state avanzate in questo dibattito sulla mancanza di trasparenza e di affidabilità degli indici bibliometrici ci sembrano ingigantite (anziché ridotte) nel caso del sistema alternativo di valutazione: la revisione dei pari (sulle cui condizioni di possibilità, e criticità, qui non ci soffermiamo, rimandando a Lamont 2009 e agli interventi raccolti in Freschi e Santoro 2010). Non ci pare inoltre che le informazioni raccolte tramite il questionario Ais possano risolvere in maniera convincente il “puzzle” del ranking. Possono invece servire per l’accreditamento: ovvero per stabilire degli standard minimi di qualità scientifica per le riviste italiane (revisione dei pari ecc.). Se si vuole andare oltre, occorre altro.

Su questo punto, non possiamo paradossalmente che far nostre le parole scritte da Alessandro Dal Lago (2011, p. 450) in un recente articolo pubblicato proprio su ERQ: “Pertanto, alla ricerca di un criterio minimo di obiettività, sono ricorso a Google Scholar, uno strumento rozzo quanto si vuole, certamente, e da prendere con le molle, ma che dà un’idea di quanto le opere di uno studioso siano citate, e quindi discusse o richiamate nelle comunità scientifiche di riferimento”. Le facciamo nostre, con questa avvertenza. La citazione è uno strumento – per quanto imperfetto – per rilevare il riconoscimento di un articolo all’interno di una comunità scientifica. Non è sicuramente lo “strumento ideale”, e sono noti i suoi limiti per la valutazione di performance individuali. E tuttavia, come è stato osservato, “specialmente a livelli di aggregazione relativamente elevati, [esso] è un buon indicatore della rilevanza/impatto del lavoro di gruppi di ricerca e istituzioni” (Baccini 2010, p. 148). Ci sembra che la classificazione delle riviste italiane di sociologia rientri in questa fattispecie.

Sta all’Ais, ora, l’associazione professionale dei sociologi accademici italiani, tirare le fila di questo dibattito avanzando la sua proposta.

Maurizio Pisati (Polis)
Francesco Ramella (Stato e Mercato)
Marco Santoro (Sociologica)

Riferimenti
Baccini, A. (2010), Valutare la ricerca scientifica. Uso e abuso degli indicatori bibliometrici, Bologna, Il Mulino.
Bailey, J., Zhang, C., Budgen, D., Turner, M. e Charters, S. (2007), Search Engine Overlaps : Do They Agree or Disagree? in Second International Workshop on Realising Evidence-Based Software Engineering (REBSE ’07).
Bar-Ilan, J. (2007), Which H-Index? – A Comparison of Wos, Scopus and Google Scholar, in “Scientometrics”, vol. 74, n. 2, pp. 257–271.
Dal Lago, A. (2011), Eccellenze. Una nota su alcuni costumi dell’accademia italiana, Etnografia e Ricerca Qualitativa, n. 3, pp. 447-455.
Freschi, A.C. e M. Santoro (2010, ed.), Thinking Academic Evaluation after Michèle Lamont’s How Professors Think, “Sociologica” 3.
Harzing, A.-W. (2008), Google Scholar – A New Data Source for Citation Analysis, http://www.harzing.com/pop_gs.htm
Harzing, A.-W. e van der Wal, R. (2007), A Google Scholar H-Index for Journals: A Better Metric to Measure Journal Impact in Economics & Business?, November, Paper submitted to the 2008 Academy of Management Annual Meeting August 8-13, 2008 – Anaheim, California.
Jacobs, J.A. (2011), Journal Rankings in Sociology: Using the H Index with Google Scholar, PSC Working Paper Series, University of Pennsylvania, 10-11-2011
Lamont, M. (2009), How Professors Think. Cambridge, Harvard UP.
Meho, L.I. e Yang, K. (2007), A New Era in Citation and Bibliometric Analyses: Web of Science, Scopus, and Google Scholar, in “Journal of the American Society for Information Science and Technology”, vol. 58, n. 13, pp. 2105–2125.
Meier J.J. e T.W. Conkling (2008), Google Scholars Coverage of the Engineering Literature: An Empirical Study, in “The Journal of Academic Librarianship”, vol. 34, no. 34, pp. 196–201.
Moed, H.F. (2005), Citation Analysis in Research Evaluation, Dordrecht, Springer.
Serenko, A. (2010),The Development of an AI Journal Ranking Based on the Revealed Preference Approach, in “Journal of Informetrics”, 4, pp. 447–459.
Walters, W.H. (2007), Google Scholar Coverage of a Multidisciplinary Field, in “Information Processing & Management”, vol. 43, n. 4, pp. 1121–1132, July 2007.
White, B. (2006), Examining the Claims of Google Scholar as a Serious Information Source, in “New Zealand Library & Information Management Journal”, vol. 50, no. 1, pp. 11–24.
Yang, K. e Meho, L.I. (2006), Citation Analysis: A Comparison of Google Scholar, Scopus, and Web Of Science, in “69th Annual Meeting of the American Society for Information Science and Technology”, Austin (US), pp. 3–8.

Nel dibattito su questo Forum sono emersi tre argomenti che pongono questioni rilevanti per la professione e richiedono un’attenzione supplementare, anche perché sono stati talvolta posti, a mio giudizio, in modo scorretto o quanto meno fuorviante. Di seguito, richiamerò i tre argomenti facendo seguire a ciascuno di essi un mio commento o una mia replica.

A1) Gli indicatori bibliometrici non misurano la qualità ma la diffusione.

Verissimo, ma questo è un problema che esiste a monte, e vale per tutte le comunità scientifiche di tutti i paesi. Oserei dire che è un problema che vale per ogni tipo di produzione culturale – al punto da non essere neppure un problema. Sulla qualità dei prodotti culturali c’è un continuo e inesauribile confronto e dibattito, che è parte integrante del mondo della cultura e della sua storia. Diceva Adorno più o meno così: “cultura è ciò che si sottrae alla sua misurazione”. Non sbagliava, in fondo. Ciò che gli indici bibliometrici misurano non è infatti “la cultura” ma appunto l’impatto sociale che un certo prodotto culturale ha sulla comunità intellettuale di riferimento. Questo può essere misurato in modo obiettivo. La qualità no. O meglio, la “misurazione” della qualità e ancor più l’accettazione dei suoi responsi è operazione così complessa e precaria che presuppone un accordo di fondo, costitutivo lo chiamerei, su chi possa legittimamente esprimere un giudizio di qualità – sia esso un’associazione professionale, un’agenzia o persino un singolo studioso (o una scuola). La comunità sociologica italiana si è strutturata a partire dagli anni sessanta in termini e forme tali da rendere oggi (sottolineo oggi) questo accordo molto difficile, se non impossibile. E’ comunque un accordo sempre difficile da trovare, e come detto precario, anche nelle migliori situazioni. Si radica qui la forza degli indicatori bibliometrici, strumenti che offrono un giudizio terzo rispetto agli attori in campo, super partes, in quanto tale “oggettivo”, sul valore delle riviste in quanto – questo il punto – istituzioni intellettuali chiamate a promuovere e a segnare il dibattito scientifico. Non è in questione la qualità in assoluto delle riviste (posto che si sappia cosa sia), ma quella sua dimensione cruciale che è l’efficacia intellettuale, per così dire, la capacità di attirare attenzione e di alimentare la crescita scientifica (anche la capacità di stimolare critica fa parte della scienza, come noto). Il giudizio “terzo” non è poi definitivo ma si modifica nel corso del tempo a seconda delle performance delle singole riviste. Che possono ovviamente scegliere di battere strade mainstream o alternative, di essere generaliste o di nicchia, di essere mono- o interdisciplinari. Lo fanno le riviste italiane come tutte le riviste del mondo. Per fare qualche esempio noto, l’ASR e AJS seguono (e in realtà fanno) il mainstream, “Theory and Society” no. Non sorprende di trovare in testa al ranking delle riviste internazionali ASR e AJS. Ma T&S segue a distanza di poco. E importanti e brillanti studiosi continuano a mandare articoli anche a T&S, perché comunque rivista prestigiosa e perché attratti dalla prospettiva di pubblicare su una rivista che ha una certa politica e identità intellettuale. Riviste come “Ethnography” e il “Journal of Contemporary Ethnography” non sono certo in vetta alla classifica delle riviste sociologiche (sono rispettivamente al 97° e al 68° posto della graduatoria ISI per la sociologia). Nessuno però afferma per questo che si tratti di riviste di scarsa qualità. Solo, sono riviste settoriali, di nicchia, in cui è possibile pubblicare studi anche di gran valore ma che non aspirano a uscire dalla cerchia degli etnografi di professione. Chi le dirige, persino chi le ha fondate, lo sa molto bene, e non reclama improbabili primati. Né chiede che il suo “gioiello” sia valutato e “conti” in astratto come se fosse ASR o AJS o anche “Gender and Society”, che sono riviste di qualità e però anche di rilevanza generale (ebbene sì, sono di rilevanza generale anche le questioni di genere, sebbene in Italia molti non se ne siano ancora accorti), e pubblicano articoli di presumibile maggior rilievo e significato per la disciplina nel suo complesso. Qualcuno nel Forum ha sostenuto l’idea che gli indici bibliometrici soffocherebbero le riviste specialistiche e quelle interdisciplinari (Campelli). Il caso di “Gender and Society” negli USA, e quello di “Stato e Mercato” in Italia, provano chiaramente che così non è. Perché ci sono riviste che possono esibire ottime performance proprio perché puntano la loro scommessa di qualità su ambiti di studio meno generali – anche se non proprio di nicchia, magari. E quando c’è la qualità, questa viene riconosciuta anche dal pubblico dei lettori, traducendosi in maggiore diffusione. E’ stato anche sollevato da altri colleghi il caso di “Archives européennes de sociologie” (alias European Journal of Sociology), rivista in effetti “storica” e prestigiosa che in Scopus – ma anche in ISI web, aggiungo – ha un ranking molto più basso di riviste apparentemente meno prestigiose e di qualità. Non ci vuole molto però a capire perché. Intanto, non è detto che una rivista solo perché specialistica (dedicata allo sport o all’abitazione, per fare due esempi evocati in questo forum) o relativamente recente debba essere di minor qualità. Mi pare che qui ci sia in gioco un bel po’ di senso comune e di spirito conservatore (le riviste che conosciamo bene perché le abbiamo lette quando andavamo a scuola e perché ci hanno scritto e ci scrivono autori importanti ai nostri tempi devono essere per definizione migliori di quelle più recenti e specialistiche, peraltro dedicate a temi di grande rilevanza sociale oggi come, ancora, lo sport o la casa). Non so da quanto tempo le riviste in questione sono entrate in questi repertori citazionali, e si sa che anche questo conta. Ma soprattutto, Fele et al. dimenticano o trascurano di ricordare un fatto essenziale, e cioè che “Arch. Eur. de soc.” pubblica in tre lingue (inglese, francese, e tedesco) e questo non può non riflettersi anche sulla sua diffusione in un mondo scientifico che è di fatto (e a meno di svolte epocali resterà ancora un bel po’) anglofono. Tra l’altro, se Fele & co. si fossero presi la briga di confrontare Scopus con Google Scholar, avrebbero scoperto (incredibile!!!) che quest’ultimo riconosce ad AES alias EJS una posizione molto più in linea con il loro giudizio (“European Journal of Sociology” ha un indice-h = 54, cui dovrebbe aggiungersi, credo, quanto si ottiene sotto il nome, o alias, “Archives Européennes de Sociologie” che ha indice-h = 16. Come prevedibile, il “Journal of Sport and Social Issues” ha un indice-h alto ma inferiore, pari a 44). Nulla di strano, dunque, nulla di preoccupante. Tutto nella norma. Questo è il normalissimo gioco della scienza che si svolge in tutto il mondo civile. Ma sembra che i sociologi italiani questo gioco non lo conoscano, o meglio non lo vogliano accettare: soprattutto, sembra di poter dire conoscendoli un po’, quando si sentono colpiti e penalizzati nel loro particulare.

A2) Non è dalla classificazione delle riviste che può passare la neutralizzazione delle componenti, e questo perché
a) le componenti potrebbero facilmente far propria la logica dell’IF con effetti perversi immaginabili (Baldissera et al.)
b) le componenti potranno scomparire solo a seguito di una modifica radicale nel meccanismo di reclutamento, e in particolare grazie all’introduzione di un sistema di reclutamento tendenzialmente su base locale e con limitatissima interferenza dal centro – sistema più o meno in nuce nell’attuale legge – attraverso cui i dipartimenti potranno finalmente chiamare direttamente chi vogliono (Fele et al.)

A questo duplice argomento, che chiama in causa un soggetto (le componenti) su cui si sono concentrate negli ultimi tempi le attenzioni critiche se non criticissime di molti sociologi incluso chi scrive, replico come segue.

Ovviamente, le riviste sono solo un tassello di un programma o progetto di riforma professionale della sociologia italiana che è molto più ampio e a 360 gradi. Ma sono un tassello importante, strategico, su cui fare leva per innescare circuiti virtuosi.

E’ abbastanza scontato che il sistema delle componenti proverà ad utilizzare l’indice-h come strumento di lotta accademica distorcendone il senso, mettendosi ad organizzare non più solo il consenso a fini concorsuali ma persino la diffusione delle idee (o dei testi). Non c’è quasi nulla che quel perverso sistema non abbia utilizzato, fatto proprio e distorto da quando si è costituito. Quindi, farà anche quello che si paventa. Si tratta però, a ben vedere, di un problema minore e forse mal posto. Da un lato, questa appropriazione indebita comunque già c’è anche se per ragioni diverse dalla costruzione di ranking (le citazioni come tutti sappiamo seguono da tempo abbastanza rigorosamente i confini delle componenti e dei loro sottogruppi o tribù…c’è una ricca aneddotica al riguardo, che nasce da esperienze diffuse e su cui molti potrebbero offrire racconti più o meno divertenti, alcuni al limite del credibile): introdurre il ranking peraltro non solo renderebbe visibili a questo punto gli effetti di questa pratica, che già c’è, ma consentirebbe al contempo di misurare paradossalmente i limiti delle componenti quando si tratti di agire sul piano – che è ad esse totalmente estraneo – del confronto scientifico: perché per citare e far crescere gli indici bisogna anche pubblicare, e pubblicare ad un certo livello, quanto meno su riviste o in luoghi che possano essere “catturati” dalle banche dati a partire dalle quali si costruiscono gli indici bibliometrici. Dall’altro lato, si tratta di un rischio che si può correre senza paura di farsi troppo male e soprattutto di minare alle radici l’auspicabile futuro buon funzionamento della nostra disciplina: come non solo la sociologia della scienza ha mostrato in lungo e in largo, ma la stessa retorica professionale della scienza dichiara, la citazione (anche se selettiva) è un’arma consentita e legittima (anche perché a doppio taglio: c’è un punto oltre il quale se non citi X o Y non danneggi X o Y ma fai male a te stesso che non li citi!) in quel campo di battaglia che è il campo scientifico, a differenza delle collusioni spartitorie e soprattutto del reclutamento al ribasso di portaborse e simili cui ci hanno abituato 30 anni di malgoverno disciplinare.

Lungi dal neutralizzarlo, a me pare che le chiamate dirette auspicate e anzi invocate da Fele et al. accentuerebbero il potere delle componenti, di fatto “normalizzando” e “legalizzando” ciò che adesso viene fatto sottobanco e con un dispendio di energie di certo altrimenti meglio utilizzabile (fossimo in una sana comunità scientifica) ma che almeno funziona, a volte, da deterrente. Ora, si pensi a un dipartimento che ha spuntato le risorse per avere un posto. Chi chiamerebbe in quattro e quattr’otto il ristretto club degli ordinari di quel dipartimento se non un membro patentato della componente (o di una sua sottotribù) che in quel dipartimento ha la maggioranza se non l’unanimità (come spesso accade), e questo a prescindere dalla qualità e dal valore intellettuale dei potenziali candidati o “chiamabili” o idonei? Si invoca non a caso, come contraltare a questa deriva, la responsabilità del dipartimento, cioè l’assunzione del rischio di perderci se si persegue una politica di selezione e reclutamento che premia candidati comparativamente non all’altezza. Ma come si fa a credere che una comunità che sinora ha mostrato di essere assolutamente irresponsabile sul piano intellettuale – e lo scadimento della disciplina negli ultimi anni denunciata da tanti anche autorevolissimi colleghi lo prova senza ombra di dubbio – possa diventare all’improvviso, grazie ad un colpo di spugna legislativo o meglio ad un suo furbo utilizzo, una comunità responsabile? Come si fa a pensare seriamente che d’un tratto, e senza l’ausilio di strumenti di classificazione del valore professionale come quelli che potrebbe offrire proprio un ranking istituzionalizzato delle riviste, un dipartimento di sociologia possa sentirsi responsabile delle proprie scelte e quindi evitare quelle che sono patentemente contrarie al merito e al valore intellettuale? Un vantaggio con la chiamata diretta ci sarebbe, in effetti: si libererebbe di colpo un sacco di tempo ed energie al momento spesi per costruire cartelli e negoziare posti. Tempo ed energie da dedicare al lavoro di ricerca, magari, o magari – perché no? – alla famiglia e ai nipotini… Ma a che prezzo! La soluzione di Dal Lago e Giglioli et al. (già discussa e criticata nel blog “Per la sociologia”) mi ricorda tanto quella di uno dei miei primi maestri (che non era un sociologo ma aveva anche lui un gusto spiccato della provocazione): per risolvere il problema della mafia c’è un solo modo, legalizzarla, cioè accettare i modi di pensare e di fare mafiosi perché essi sono parte integrante, ancestrale, della cultura e della vita sociale italiana (in quanto poi “mediterranea”). Non mi sono ancora rassegnato a questa soluzione. E di certo non la caldeggio per sanare la professione che ho scelto.

A3) Gli indici bibliometrici sono arbitrari e poco affidabili, meglio perciò ricorrere, per costruire eventuali ranking, a parametri di qualità di tipo… qualitativo.

Nessuno nega la rilevanza di parametri qualitativi, e bene ha fatto l’Ais a preparare e somministrare il questionario che tutti conosciamo (a parte qualche scivolata quantofrenica che forse si poteva evitare). Ma si deve anche onestamente riconoscere che i parametri qualitativi di cui sinora si è parlato – importanti senz’altro per porre almeno dei paletti al livello inferiore, o degli standard minimi – sono così generali e così facili da soddisfare da essere di fatto inutilizzabili a fini di classificazione gerarchica e di una seria valutazione, che è tale solo quando è capace di discriminare. Si considerino i quattro parametri suggeriti da De Nardis:

“A) modalità di selezione dei paper pubblicati, trasparente e rigorosa (peer review et similia)
B) internazionalizzazione (effettiva e non solo nominale) del comitato scientifico
C) internazionalizzazione dei contributi (sia che siano scritti in inglese sia che siano stati tradotti in italiano per scelta redazionale)
D) continuità e puntualità di uscita.”

Non occorre molta immaginazione sociologica per intuire che qualunque rivista, anche la più scalcinata e provinciale, potrebbe soddisfare o dichiarare di soddisfare in poco tempo tutti questi parametri, seguendo alcune facili tattiche di aggiramento (che già ahimè vengono utilizzate, mi pare: anche perché non ci vuole molto oggi a trovare un oscuro collega straniero in qualche oscura università straniera da infilare nel board, o un qualunque paper di un qualunque studioso più o meno giovane ma naturalmente “straniero” da tradurre come “contributo internazionale”…). Con il risultato perverso, peraltro, non solo di riprodurre l’esistente ma di aggravarlo e stabilizzarlo, aggiungendo una vernice – solo una vernice, si badi – di legittimità scientifica e credibilità a riviste che sono di fatto gestite in modo familiare se non familistico, con scarsa cognizione del dibattito internazionale che conta, e il cui raggio effettivo di azione a malapena oltrepassa i confini regionali.

Per concludere, una risposta all’invito al “buon gusto” di Baldissera et al.: essere valutati nel mondo della scienza è cosa più che normale, come è normale dire onestamente e apertamente la propria in sede di valutazione, suggerendo e argomentando. Si chiama controllo o giudizio dei pari, ed è un’istituzione fondamentale del campo scientifico come Baldissera certamente sa. Sembra però che in Italia i pari siano sempre un po’ dispari, e preferiscono forse “pilotare” nel retroscena e al telefono e non in pubblico e in modo trasparente, come invece hanno provato a fare – anche qui innovando – le direzioni delle sei riviste che hanno lanciato l’appello al ranking innescando questo dibattito: il più ampio a oggi sul sito dell’Ais, mi pare. Anche questo è un risultato.

Marco Santoro, Università di Bologna

Carissimi Amici e Colleghi dell’AIS,
credo che la costruzione dei criteri di valutazione delle pubblicazioni scientifiche richieda riflessioni ispirate all’onestà intellettuale, al rigore scientifico, alla ragionevolezza e ad una visione strategica pacata e consapevole del particolare momento storico di riforma dell’università in generale e del nostro settore in particolare. La recente esperienza nella Commissione Statuto dell’Università d’Annunzio mi ha ulteriormente insegnato a valorizzare pareri e suggerimenti competenti e qualificati e bypassare quelli spinti semplicemente da livori ideologici, personali e faziosi. La legge 24/2010 non verrà riformata, al più, i decreti attuativi del Ministro Profumo – che, non scordiamolo, ha fatto davvero grandi cose come Rettore del Polito – smusseranno e ritoccheranno difetti minori di una legge che comunque l’attuale ministro ha “sposato”. Tale legge – parliamo di diritto valido e vigente – punta sull’internazionalizzazione dell’università italiana anche attraverso logiche di benchmark/compliance delle best practices. Dal mio punto di vista questa linea guida è condivisibile ma richiede alcune brevi precisazioni. “Best practice” può essere una rivista come quella di Colonia, in lingua tedesca sulla quale da almeno Leopold von Wiese in qua grandissimi pensatori vi hanno pubblicato fino a Luhmann ma quella rivista non è né ISI né Scopus così come non è indicizzata ISI o Scopus WORLD FUTURES diretta dal 2 volte candidato al Nobel Ervin Laszlo su cui hanno pubblicato studiosi di varie discipline tra cui Prigogine, tanto per dire un nome. Nella legge 240/2010 non è scritto da nessuna parte Best practices internazionali = ISI o SCOPUS. Nel programma del Rettore Profumo al Polito spiccava un punto a mio parere fondamentale e in anticipo sulla 240/2010: Internazionalizzare per il territorio e proprio di questo stiamo parlando ossia di portare le nostre collane editoriali, le nostre riviste a essere almeno bilingui italiano-inglese, se non addirittura solo in inglese, a creare comitati scientifici di respiro internazionale in grado di attivare controlli di qualità e referaggi in condizioni di simmetria informativa secondo il principio di Akerlof- Stiglitz, ricorrere anche a indici bibliometrici nella misura in cui, ad esempio, essi garantiscano l’assenza di due difetti “goedeliani”: a) che non si tratta di un club di amici che si citano a vicenda giocando sul mertoniano “effetto S. Matteo” b) che con la scusa di “contributi a spese di referaggio” di fatto dietro ad un certo bollino, ad esempio SCOPUS, non si celino banali logiche di editoria a pagamento. Secondo me la riflessione sui criteri deve evitare due opposti estremismi: da un lato una cieca fiducia – a volte per ingenuità a volte forse per né cieco né ingenuo opportunismo – in indici quali SCOPUS o ISI, dall’altro scongiurare i rigurgiti neofeudali del valore d’uso localistico del tipo l’autopubblicazione dal tipografo sotto casa senza collane, comitati scientifici e/o prefattori di rango ad attestarne la qualità.
Il primo estremismo può essere evitato prevedendo che le pubblicazioni indicizzate “pesino” qualcosina in più di quelle non indicizzate sempre che le prime non presentino i “difettucci” indicati sopra come a) e b). Tale peso leggermente maggiorato potrebbe essere accettabile se però è calcolato in condizioni di simmetria e che quindi il distinguo sia fatto tra saggio in rivista indicizzata/saggio in rivista non indicizzata. Impensabile che un saggio in rivista, ancorché indicizzata, possa pesare più di un volume monografico se questo è apparso in collana con comitato scientifico e/o con prefazione di prestigio. Faccio fatica ad esempio, a immaginare che un volume apparso per un piccolo editore-librario universitario, come ce ne sono tantissimi in Italia e prefatto, poniamo, da Habermas possa contare comparativamente meno rispetto al saggetto di 10 pagine pubblicato in una rivista indicizzata che si fa pagare il contributo per il referaggio. Il secondo estremismo si combatte con comitati scientifici, prefattori di rango, meglio se internazionali, massicce dosi di double blind peer review oppure col Panopticon di una community accademica sempre più virtuale e open source che attiva procedure di controllo incrociato in condizioni di simmetria informativa e trasparenza tra osservatore ed osservato. Spero queste mie riflessioni vi siano di una qualche utilità e vi invio i miei più cari saluti.
Andrea Pitasi

Al Presidente dell’AIS

Abbiamo visto il ranking delle riviste di sociologia che è stato pubblicato sul sito dell’Ais e anche la spiegazione dei criteri che sono stati utilizzati. Nel messaggio di accompagnamento, lei scrive che tale ranking costituisce “la base di partenza per un ulteriore approfondimento al fine di giungere a una stesura finale dell’indice di rilevanza tale da costituire uno strumento stabile, valido e affidabile con cui aggiornare la classificazione delle riviste”. E’ in questo spirito che ci accingiamo a esporre alcune riflessioni.
Partendo dal riconoscimento dello sforzo fatto, anche sulla base del dibattito che nelle scorse settimane si è sviluppato, sentiamo di dover evidenziare alcuni elementi di criticità.
Il questionario Ais, infatti, ha consentito sicuramente di raccogliere informazioni utili sulle riviste italiane di sociologia. Oltre a ciò, chi ha individuato i criteri per il ranking e ha elaborato la classifica, si è speso molto in un lavoro non facile e, probabilmente, di poca soddisfazione personale. Vista la pluralità delle posizioni espresse nel dibattito che si è sviluppato sul Forum Ais, era difficile “quadrare il cerchio”. E soprattutto era impossibile tirare fuori soluzioni che non sollevassero critiche. Inoltre, un secondo elemento ci pare positivo: i criteri sono stati resi espliciti e i risultati sono ispezionabili da parte di ognuno.
Tuttavia, persistono due aspetti fortemente problematici.
Il primo è dato dal fatto che riteniamo difficile mettere a punto una procedura rigorosa di ranking sulla base di un questionario autosomministrato. Con le informazioni così raccolte è tutt’al più possibile stabilire dei requisiti minimi per l’accreditamento, ma per il ranking sarebbero necessari ulteriori passaggi (peer review o indici bibliometrici). Abbiamo già argomentato altrove la nostra preferenza per gli strumenti bibliometrici. Perciò non torneremo su questo punto. Per il futuro auspichiamo vivamente che l’Ais adotti una procedura diversa per il ranking. O che, anche qualora decida di utilizzare un ampio set di indicatori, scelga perlomeno di farli pesare in modo diverso. È a nostro avviso davvero difficilmente sostenibile che – solo per fare un esempio – la “disponibilità di contenuti online”, che è una caratteristica facilmente accessibile a qualsiasi rivista indipendentemente dalla sua qualità scientifica, debba pesare tanto quanto “il valore assunto dagli indici bibliometrici”.
Il secondo elemento di perplessità è dato dal fatto che alcuni dei criteri utilizzati per il ranking Ais appaiono discutibili nella loro applicazione: in particolare quelli sulla “distribuzione commerciale”, sul “focus identitario” e sul “grado di istituzionalizzazione”.
Per quanto riguarda la “distribuzione commerciale”, non si può ritenere che i canali di distribuzione commerciale siano gli unici ritenuti validi per garantire l’accessibilità di una rivista scientifica. Ci pare, inoltre, che questo criterio poco abbia a che fare con la valutazione della qualità scientifica delle riviste.
Altrettanto problematico è il “focus identitario” visto che alcune riviste, che pure si collocano ai poli opposti della scala (gruppo ristretto vs disciplina nel suo insieme), ottengono cionondimeno lo stesso punteggio: si vedano, ad esempio, i casi di Comunicazionepuntodoc e della Rassegna Italiana di Sociologia. E a questo proposito aggiungiamo che un ulteriore elemento di debolezza di questo ranking è dato dal fatto che tra i vari criteri non ve ne sia alcuno che premi l’“internazionalizzazione” delle riviste.
Infine, per quanto riguarda il “grado di istituzionalizzazione nell’ambito della sociologia italiana”, non ci è chiaro cosa debba contare. Stato e Mercato, ad esempio, fondata nel 1981, su questo indicatore ha ottenuto un puntaggio di 0.37 pur essendo da tempo – con altre riviste di questo ranking – una delle riviste di riferimento della sociologia economica, del lavoro e dell’organizzazione italiana e avendo nel Comitato di redazione 6 sociologi su sette membri e nel Comitato editoriale 14 sociologi su 21 membri (0,67%).
Proprio nel nome della condivisione e della trasparenza, riteniamo quindi importante che si esplicitino meglio le modalità di calcolo dei punteggi delle varie voci, anche per dar modo alle riviste di poter contribuire alla correzione di eventuali errori.
È per questo insieme di motivi che non condividiamo i risultati di questo lavoro. Sia chiaro, non perché non sia stata adottata la proposta da noi avanzata (insieme ad altre riviste). Ma perché i criteri utilizzati non ci sembrano pienamente adeguati e i punteggi che sono stati attribuiti alle riviste sono in alcuni casi discutibili.
Può sembrare strano che a dirlo sia la rivista al vertice della classifica Ais. In realtà è proprio per questo che ci sentiamo in dovere di esplicitare le nostre perplesssità, nella speranza che le nostre critiche non appaiano viziate da interessi particolaristici. E soprattutto servano a migliorare, già da ora, i risultati della procedura, come anche lei invita a fare.
Per concludere, confidiamo che l’Ais voglia accogliere con spirito positivo queste osservazioni e tenere aperta la discussione collettiva sulle procedure di valutazione, che si è avviata a partire dal primo seminario di Roma, lo scorso ottobre.

Il direttore e la redazione di Stato e Mercato
Francesco Ramella
Luigi Burroni
Franca Maino
Emmanuele Pavolini
Roberto Pedersini
Angela Perulli
Rocco Sciarrone

Stabilire indicatori “oggettivi” per la valutazione di una rivista scientifica è obiettivo arduo e sempre opinabile, anche quando tale oggettività è sostenuta da attribuzioni statistiche, come dimostra il dibattito sugli indici citazionali che si è diversamente articolato su questo stesso forum. Per questa ragione, credo che tutta la comunità sociologica italiana debba essere grata ai/alle colleghi/colleghe che si sono caricati l’onere e la responsabilità di individuarne alcuni. In particolare, vorrei ringraziare pubblicamente la collega Agodi che si è assunta la responsabilità più gravosa sapendo che questa la avrebbe esposta a eventuali critiche, devo dire sempre cortesi e concentrate sul merito delle questioni.
La ringrazio personalmente a nome di tutta la redazione di “Partecipazione e Conflitto” anche per la correttezza dimostrata amettendo l’errore di trascrizione rispetto all’indice di “rigore” troppo basso erroneamente attribuito alla nostra rivista. Eravamo certi infatti di meritare, almeno su quel punto, una valutazione alta (a quanto pare tra le più alte) consci dello sforzo non da poco che impieghiamo a impegnare ben tre referee oltre a tutta la redazione per valutare ogni singolo contributo che ci viene proposto (avremmo certo preferito che la correzione fosse subito inserita nel file pdf sul ranking diffuso dall’AIS).
Detto ciò, siamo felici della nostra collocazione in classe AA e, al contempo, siamo consapevoli che il ranking proposto dall’AIS sia ancora del tutto provvisorio dal momento che i criteri adottati sono al vaglio degli “esperti” ANVUR e la classifica finale verrà pubblicata solo a fine mese.
Questo ci lascia un margine per discutere ancora sulla validità (utilità) di alcuni indici.
A mio avviso, sarebbe importante reintrodurre, con le dovute verifiche, una valutazione sul grado di internazionalizzazione del comitato scientifico e dei contributi pubblicati, perché la sua esclusione per i motivi comprensibili e già ben argomentati dalla Agodi penalizza comunque quelle riviste che puntano molto sull’apertura internazionale della propria produzione, sia pubblicando direttamente in inglese, sia scegliendo, almeno per il momento, di tradurre in italiano i contributi provenienti da colleghi non incardinati in Italia. Penso a questo riguardo a riviste come “Sociologica” o alla stessa “Partecipazione e Conflitto” per citarne due che sono comunque state collocate in classe AA e che potrebbero già ritenersi assolutamente soddisfatte del risultato.
Meno convincente ma, ripeto, deve ancora esprimersi l’ANVUR a riguardo, è probabilmente l’indice “commerciale” e, in un certo qual modo, lo stesso indice “identitario”. Come vedete, parlo di opinabilità degli indici non riferendomi a riviste specifiche perché credo che sia la qualità scientifica a dover essere valutata e anche a questo penserà l’ANVUR. Le riviste scientifiche hanno un mercato ridotto, quindi è a volte addirittura poco utile da parte di un editore investire troppo nella distribuzione, la circolazione scientifica avviene generalmente attraverso canali per così dire metacommerciali. Quanto all’indice identitario, non lo contesto a priori, ma credo occorra indidviduare indicatori che valorizzino le riviste effettivamente capaci di fare rete e che, pur esprimendo una chiara identità scientifica e/o tematica, non si arrocchino nella torre d’avorio di un dipartimento o di un centro di ricerca. Anche una rivista di dottorato può meritare di essere collocata in fascia alta se risponde a criteri di rigore (nella selezione dei contributi) di internazionalizzazione e di produzione scientifica.
Detto ciò, non condivido l’ipotesi di mettere momentaneamente in stand-by le riviste più giovani. Questo penalizzerebbe riviste giovani e dinamiche come “Partecipazione e Conflitto”, “Mondi Migranti” e altre che hanno scelto di farsi valutare ben sapendo che la giovane età avrebbe potuto penalizzarle e, malgrado ciò, hanno ottenuto ottimi risultati esprimendo dinamismo e qualità. Siamo tutti consapevoli che il ranking verrà periodicamente aggiornato e questo consentirà a tutte le riviste (giovani e meno giovani) di migliorare o peggiorare la propria posizione. Quindi tutte le 50 e oltre riviste accreditate, e che hanno scelto di essere valutate, meritano di essere considerate senza alcuna esclusione anagrafica o generazionale.
Detto ciò, continuo ad apprezzare il dinamismo che si sta esprimendo attraverso questo dibattito.
Fabio de Nardis
rivista di sociologia politica “Partecipazione e Conflitto”

Prima di tutto, avverto anch’io l’esigenza di ringraziare sinceramente chi si è sobbarcato l’ingrato compito di operare una sintesi delle varie posizioni e di proporre un ranking delle riviste sociologiche fondato su indicatori, se non obiettivi, apprezzabilmente trasparenti e verificabili. Ho inoltre apprezzato la proposta di mediazione sul rapporto tra indice H e anzianità delle riviste, che tanto ci aveva fatto discutere, pur rimanendo convinto che i meriti storici, se non si traducono in influenza sul dibattito degli ultimi anni, rappresentano una mera rendita di posizione.
Di certo, l’affidamento su un questionario autocompilato può rappresentare una base di partenza e un criterio per l’accesso, ma andrà superato con l’impiego di indicatori più obiettivi e meglio verificabili.
Nel tentativo di contribuire al miglioramento della soluzione proposta, condivido anch’io l’osservazione della mancanza di un criterio che richiami l’internazionalizzazione. Secondo me, gli indicatori potrebbero essere due: 1) la composizione del comitato scientifico (che ha il difetto però di potere essere facilmente gonfiato nei prossimi anni, se si imponesse come indicatore); 2) il numero di articoli di studiosi basati all’estero, pubblicati negli ultimi cinque anni, tradotti o meno in italiano.
L’altra osservazione riguarda il criterio del “focus identitario”. Mi pare discutibile,facilmente manipolabile, di dubbia utilità. Si può facilmente dichiarare di essere espressione di un’area tematica o addirittura dell’intera comunità sociologica italiana, senza tema di smentite. Nel caso di Mondi migranti, siamo stati penalizzati semplicemente da uno scrupolo di obiettività. Avremmo potuto facilmente affermare di essere la rivista di riferimento per l’area della sociologia delle migrazioni, una delle più fervide di contributi a livello nazionale e internazionale. Abbiamo invece preferito limitarci a dire: siamo espressione di un centro di ricerche, collegato con Dipartimenti unversitari e altri istituti di ricerca, i cui loghi compaiono sulla quarta di copertina. Questa risposta ci è costata un declassamento (.17) sul criterio, rispetto a chi autodichiara di rappresentare un settore di studi. Non mi pare condivisibile.
Se si vuole introdurre un criterio del genere, il focus identitario andrebbe rilevato a posteriori, analizzando un aspetto obiettivo: da dove provengono i contributi pubblicati negli ultimi cinque anni? Da quante università, dipartimenti, istituti di ricerca? Se non si può fare una verifica del genere in tempi stretti, si guardi al rapporto tra la rivista e il campo disciplinare in cui si colloca. Oppure si rinunci al criterio.
Ancora grazie, comunque, per il lavoro svolto fin qui.

Il ranking delle riviste realizzato a cura del Direttivo AIS ha confermato, nella maggior parte
dei casi, un posizionamento prevedibile, con qualche sorpresa dovuta alla posizione di alcune
giovanissime riviste che guadagnano la fascia alta della classifica. Sono contento che tra queste sia stata inserita Comunicazionepuntodoc, di cui sono Direttore responsabile.
Riconosco tuttavia, seppure con il senno di poi, che il brevissimo ciclo di vita può rappresentare un fattore di interferenza, sia in positivo sia in negativo, sulla valutazione del prodotto. È infatti plausibile immaginare che una rivista possa contare o meno, da subito, su consolidate tradizioni di ricerca, reti scientifiche, relazioni umane, competenze nell’organizzazione di eventi culturali complessi; in altre parole, potendo disporre o meno nell’immediato della dotazione che rende una rivista scientifica un prodotto di “alto rango”.
Dunque, se si assume che l’estensione temporale della vita di una rivista rappresenta un fattore strategico per il mantenimento e per il miglioramento dei suoi standard di qualità, non solo ha senso, ma diventa coerente, introdurre tra i criteri della valutazione il fattore “tempo”, individuando una soglia ragionevole al di sotto della quale una rivista non può essere valutata. Così questa soglia costituirebbe un pre-requisito che, se universalmente accettato, decreterebbe l’ammissibilità o meno al processo di accreditamento richiesto dalle singole riviste. Colpisce che nel dibattito unilaterale di pochi sociologi, quasi nessuno abbia segnalato che occorresse una certa estensione nel tempo per poter giudicare una rivista scientifica. Nessuno ha segnalato però che un criterio di questo genere andava dichiarato ex ante.
Se invece si tratta di discutere i criteri a partire dai quali il Direttivo AIS ha costruito il ranking
delle riviste italiane di Sociologia, in virtù dei quali una data rivista si è classificata in una specifica posizione, sollecito che si proceda alla revisione di tali criteri. Sono convinto che il ranking che ne potrebbe derivare sarebbe certamente più consensuale. Raccomando solo di tener conto del fattore-tempo. Non è la prima volta che la Sociologia ignora le scadenze a cui è chiamata, come tutte le comunità scientifiche. Perdere l’appuntamento con la scadenza indicata dall’ANVUR comporterebbe la scomparsa della Sociologia, a cui molti lavorano attivamente.

Cara Maria Carmela,

intervengo in veste di direttore della rivista Sociologia della comunicazione nel dibattito sul ranking delle riviste di sociologia, che ho seguito sul sito Ais negli ultimi mesi, a cui spero di poter dare un contributo costruttivo.

Nel tuo ultimo intervento del 14 febbraio notavi come nella definizione degli indicatori come Direttivo abbiate “cercato il più possibile di ricondurre la composizione degli indici a indicatori che esprimessero fatti o pratiche e non opinioni”. Porto quindi le mie osservazioni proprio in relazione all’indicatore forse più controverso, perché maggiormente soggettivo: l’identità.

Non mi è chiaro come la rivista che dirigo abbia potuto essere valutata zero in relazione a questo indicatore soggettivo, malgrado nella autocompilazione della scheda abbia evidenziato che pur a fronte di una sede (fisica) di Dipartimento della Rivista, il comitato di redazione e soprattutto il comitato scientifico siano espressione di studiosi di diverse università, sia nazionali che straniere, e rappresentino criteri di universalità di prospettive teoriche pur nel contesto dell’area disciplinare che connota la rivista – la sociologia dei processi culturali e comunicativi nel senso più ampio.
Se contano i fatti, e non le nostre impressioni, basta fare un controllo sul sito della rivista – non aggiornato al 100% ma abbastanza vicino allo stato attuale del comitato scientifico e di redazione dichiarati nella scheda. Negli indici dei fascicoli già pubblicati compaiono autori di tutte le aree culturali della sociologia italiana, chiamamole pure componenti, accanto a studiosi stranieri. Questi sono fatti che testimoniano che la rivista Sociologia della comunicazione non solo ambisce, ma si rivolge di fatto alla comunità scientifica nazionale (e oltre) degli studi sociologici sulla comunicazione e i processi culturali.
Se valutati in relazione ad altre riviste, a carattere più generalista, forse non potremo avere un’identità da 1 ma sicuramente nemmeno pari a zero; se conta qualcosa l’autovalutazione, visto che si tratta di un criterio soggettivo, ci posizioniamo accanto a riviste che come Sociologia della comunicazione non possono arrivare a un valore di 1 in quanto rappresentano una prospettiva disciplinare non generalista, ma si rivolgono a una comunità scientifica nazionale e internazionale di una specifica ma vasta area disciplinare della sociologia.

Concordiamo infine anche con i colleghi che hanno sottolineato che gli indicatori andrebbero pesati, non tutti hanno lo stesso peso, alcuni non sono neanche riconducibili alla valutazione scientifica (la diffusione commerciale, ad esempio), e rischiano di falsare il ranking finale. In particolare, mi aggiungo ai colleghi che hanno segnalato la mancata valutazione del grado di internazionalizzazione delle riviste, che potrebbe basarsi come scriveva già ieri Ambrosini sulla composizione del comitato scientifico e sul numero di articoli di studiosi basati all’estero, pubblicati negli ultimi cinque anni, indipendentemente dalla lingua di pubblicazione.

Spero di aver dato un contributo costruttivo, e colgo l’occasione per ringraziarti del lavoro per la comunità che insieme ai colleghi del Direttivo avete svolto e continuerete a portare avanti.

Cari saluti

Lella Mazzoli

Si segnala al seguente indirizzo, l’intervento di Maria Carmela Agodi “Il ranking AIS: verso una proposta il più possibile condivisa da presentare all’ANVUR”: http://www.ais-sociologia.it/alert/ranking-ais/

Ho trovato per molti versi stimolante il dibattito, plurale e rappresentativo, in ordine alla modalità di classificazione delle riviste italiane di sociologia, ospitato sul Sito dell’AIS. Mentre si sviluppava questa interessante discussione i direttori delle riviste italiane di sociologia hanno risposto ad un questionario messo a punto dal Direttivo AIS, prima debitamente sottoposto all’attenzione pubblica, sempre attraverso il sito web dell’AIS, con l’esplicita richiesta di fornire suggerimenti e/o integrazioni rispetto alla sua articolazione ai suoi contenuti. Sulla base della discussione svoltasi e delle risposte alle domande del questionario il Direttivo AIS ha costruito, in maniera coerente rispetto alle indicazioni pervenute, dei criteri che hanno condotto alla classificazione delle riviste italiane, da qualche giorno disponibile sempre sul sito dell’Associazione.
Aprire a questo punto una nuova discussione sui criteri e sulla loro applicazione può certamente costituire, da un lato, manifestazione apprezzabile di partecipazione e di vivacità di una comunità sui generis; dall’altro rende palpabile il pericolo di una regressione all’infinito che rischia di avvitarsi su se stessa, e per questa ragione controproducente alla luce delle scadenze imposte a tutta la comunità accademica italiana. Si tratta, in altre parole, di rifuggire dal fascino suadente della ricerca di assoluto, sapendo che qualunque criterio può essere sempre sottoposto alla critica e alla revisione – in un processo che all’interno della scienza si vuole infinito – e di accelerare piuttosto la chiusura dell’intero iter. Naturalmente occorre intervenire nel caso sempre possibile di errori materiali, ma, risolta questa operazione, è necessario procedere rapidamente e responsabilmente all’adempimento richiesto dall’ANVUR al Direttivo AIS.

La pubblicazione del nuovo ranking AIS proposto all’ANVUR ci lascia
perplessi.
Apprezziamo lo sforzo profuso da parte di chi, in primo luogo la
professoressa Agodi, ha cercato di trovare la quadra compatibilmente al
tempo a sua disposizione e cercando sempre di tenere in considerazione le
sollecitazioni provenienti dal dibattito pubblico che si è animato sul
sito AIS come su altri siti.
Ne è venuto fuori a nostro avviso un netto miglioramento dovuto alla nuova
normalizzazione degli indici e al peso dato ad alcuni rispetto ad altri.
Siamo però veramente amareggiati per la scelta, a nostro avviso
incomprensibile, di escludere alcune riviste per una semplice ragione
anagrafica. La rivista di sociologia politica “Partecipazione e
conflitto” era stata a nostro avviso giustamente premiata da un ottimo
posizionamento in fascia alta che, a occhio e croce, sarebbe stato
riconfermato anche con la nuova normalizzazione e si è trovata esclusa dal
ranking per una scelta verso cui avevamo espresso una netta contrarietà.
Se il ranking è destinato a essere periodicamente aggiornato (chi ci sa
quantificare il tempo previsto per la prossima valutazione?) anche le
riviste giovani avrebbero avuto modo di riverificare la loro posizione in
graduatoria. In questo modo siamo stati semplicemente esclusi da un
processo fondamentale, con tutto ciò che ne consegue in termini di
rappresentazione pubblica del nostro lavoro. E allora perché non escludere
anche riviste uscite nel 2008 o nel 2007. Secondo quale principio si
esclude una rivista, come la nostra, che ha già un netto di 11 issue
pubblicati accanto a riviste che ne hanno pubblicate appena tre o quattro?
Tra l’altro “Partecipazione e Conflitto”, seppur con il semplice numero 0,
nasce nel 2008 e non nel 2009 … ma credo che ormai importi poco.
Cordialmente
Fabio de Nardis a nome di tutta la redazione di Partecipazione e Conflitto

Riceviamo e pubblichiamo.
================

Al Presidente del GEV dell’area 14 dell’ANVUR
Prof. Ivo Colozzi

e p.c.
al Presidente del Consiglio direttivo dell’ANVUR
Prof. Stefano Fantoni

Alla Vice-Presidente del Consiglio direttivo dell’ANVUR
Prof.ssa Luisa Ribolzi

al Presidente dell’Associazione Italiana di Sociologia
prof. Alessandro Bruschi

5 aprile 2012

A seguito della pubblicazione del “Documento sulla classificazione delle riviste scientifiche
italiane” da parte del GEV dell’area 14 vogliamo esprimere tutta la nostra profonda
perplessità sulle modalità con le quali si è proceduto alla classificazione delle riviste di
Scienze Sociali e sulla sostanziale mancanza di trasparenza sulle procedure utilizzate.

A seguito dell’invito dell’ANVUR l’AIS ha lavorato alla classificazione delle riviste italiane
di scienze sociali coinvolgendo le riviste stesse e il corpo accademico. Ha costruito un
questionario dettagliato che è stato inviato alle riviste. I criteri di classificazione possono
non essere stati condivisi da tutti. Le modalità dell’operazione possono essere criticate e i
margini di miglioramento di quell’esercizio sono evidenti. Eppure l’AIS si è mossa in un
arco di tempo ristretto a seguito di un dibattito pubblico ampio, talvolta anche acceso, che si
è svolto nel sito stesso dell’AIS e in altri siti web. A seguito di questo lavoro l’AIS ha
prodotto una classificazione analitica che è stata pubblicata nel sito AIS.

Il GEV dell’area 14 ha pubblicato una nuova classificazione (in due versioni diverse), che si
discosta in modo sostanziale da quella dell’AIS (per esempio, 9 riviste sulle 22 di fascia A
secondo la classificazione dell’AIS sono state collocate in fascia B o C nella nuova
classificazione).

A differenza di quella prodotta dall’AIS, la nuova classificazione del GEV dell’area 14 non
è però accompagnata da nessun resoconto di come sono stati applicati nei diversi casi i
criteri enunciati per la definizione delle liste. Il risultato finale lascia ampio spazio a ipotesi
di aggiustamenti discrezionali che non sono accompagnati da adeguate spiegazioni.

A fronte di queste considerazioni chiediamo che il GEV dell’area 14 renda noto quanto
prima il modo in cui sono stati applicati analiticamente i criteri alle varie riviste e le
motivazioni relative, rivista per rivista. Chiediamo inoltre la ragione della pubblicazione di
due liste diverse a distanza di qualche giorno l’una dall’altra. Infine, chiediamo che il GEV
dell’area 14 renda noto, per garantire la trasparenza, l’elenco dei referee stranieri, che
secondo quanto comunicato dal GEV sono stati “scelti tra specialisti delle discipline che
avevano trasmesso gli elenchi, e selezionati in modo da evitare la sovra-rappresentazione di
orientamenti particolari”. Quantomeno vorremmo conoscere i loro commenti e suggerimenti
rispetto alla graduatoria fornita dall’AIS.

In linea generale facciamo tre osservazioni.

1. Il GEV dell’area 14 ha avuto come interlocutore pressoché unico l’AIS, “l’unica
associazione scientifica di tipo accademico del settore” sociologico – a differenza di quello
che è successo nel settore delle Scienze politiche, dove sono presenti diverse associazioni e
società scientifiche (AISIP, AISDP, SIFP, SISE, SISP).

Questo fatto avrebbe dovuto facilitare una migliore rappresentazione degli interessi e delle
diverse prospettive disciplinari. Di fatto la classificazione del GEV dell’area 14 ha smentito
la classificazione dell’AIS. Ci chiediamo se la composizione del GEV dell’area 14
rappresenti meglio dell’Associazione la pluralità degli interessi e delle diverse prospettive
disciplinari sociologiche.

2. Abbiamo assistito ad una trasformazione sostanziale degli obiettivi della classificazione
delle riviste.

In teoria la classificazione delle riviste scientifiche dell’area delle scienze sociali e politiche
avviate da ANVUR non doveva essere un fine in sé ma doveva servire a fornire solo un
criterio di base per classificare il lavoro dei singoli ricercatori. La classificazione del lavoro
dei singoli ricercatori a sua volta è solo un tassello della più ampia valutazione della qualità
della ricerca in Italia.

L’intervento nel merito da parte del GEV dell’area 14 comporta una valutazione surrettizia
della qualità delle riviste scientifiche italiane di settore. Quello che troviamo inaccettabile è
che questa implicita valutazione della qualità delle riviste sia avvenuta in un modo che ci
appare alquanto vago e frettoloso. Le conseguenze di ampia portata avrebbero dovuto
suggerire ben maggiore attenzione di quanta ne è stata offerta in questo caso.

3. Nel documento fondativo dell’ANVUR, DPR del 1 febbraio 2010, n. 76, pubblicato nella
GU 122 del 27 maggio 2010, n. 109/L, all’art. 2 (“Scopi e finalità”), si legge: “L’Agenzia
opera con le migliori prassi di valutazione dei risultati a livello internazionale e in base ai
principi di autonomia, imparzialità, professionalità, trasparenza e pubblicità degli atti”. Ci
sembra che la classificazione proposta, allo stato attuale non risponda adeguatamente a
queste finalità, a cominciare dalla trasparenza e pubblicità degli atti.

Maurizio Ambrosini, Mondi Migranti
Giolo Fele, Etnografia e Ricerca Qualitativa
Ambrogio Santambrogio, Quaderni di Teoria Sociale
Davide Sparti, Studi Culturali

Follie Anvur

Leggendo l’intervento di Marina Giaveri, (“Il manifesto” del 9 maggio 2012) sulla valutazione della ricerca universitaria da parte dell’Anvur (l’Agenzia nazionale istituita dal governo Berlusconi), si potrebbe pensare che i docenti universitari italiani saranno valutati d’ora in poi per quello che fanno davvero, e ciò in base a strumenti scientifici, oggettivi e imparziali come la peer review e gli indici bibliometrici (che misurano l’impatto di un lavoro scientifico). Finalmente saranno smascherati i fannulloni e premiati quelli che tirano la carretta dell’università, penserà qualche ottimista.
Beh, le cose non stanno proprio così. La realtà che sta emergendo nel caso della classificazione delle riviste scientifiche e della valutazione della qualità della ricerca (VQR) è quella di un’Agenzia che ha avviato un’operazione iper-burocratica nelle procedure, autoritaria nei modi, arbitraria nei metodi, sostanzialmente inutile e soprattutto incredibilmente costosa. Si sta sprecando una montagna di denaro pubblico per un processo di valutazione scientificamente dubbio e oggetto di contestazioni e proteste, mentre già si parla di ricorsi al Tar.
Per cominciare, i gruppi di esperti valutatori (GEV) delle varie aree scientifiche sono stati nominati direttamente dal Consiglio direttivo dell’Anvur senza alcuna selezione pubblica o trasparente. Il che evidentemente compromette del tutto la loro legittimità e autorevolezza. Si tratta di professori universitari in alcuni casi dall’ottimo curriculum e in altri meno o molto meno, come si può vedere facilmente in base ai loro indici bibliometrici. E soprattutto, pochissimi sono esperti di valutazione della ricerca, che oggi è un vero e proprio ambito scientifico iper-specializzato, in cui è necessario districarsi tra algoritmi, logiche culturali e telematiche. Per esempio nel GEV della mia area scientifica (14, “Scienze politiche e sociali”), nessuno dei 13 “esperti” ha pubblicazioni significative nel campo della valutazione.
In alcuni GEV, come quello di Sociologia, i criteri adottati per classificare le riviste sono a tutt’oggi sconosciuti, e ci sono fondati motivi per ritenere che si basino sul classico do ut des accademico (si veda su questo la presa di posizione di una cinquantina di professori di sociologia, tra cui il sottoscritto, leggibile sul sito della loro associazione di categoria, l’Ais, e su http://www.roars.it ). In altri, come Filosofia, la classificazione è stata imposta, anche se la Società italiana di filosofia teoretica l’aveva rifiutata con solidi argomenti. In altri ancora, come Filosofia politica, nelle direzioni o redazioni di riviste classificate in prima fascia siedono alcuni valutatori, il che configura un evidente conflitto d’interessi, come hanno denunciato Maria Chiara Pievatolo e Brunella Casalini sul “Bollettino telematico di filosofia politica”.
Quanto alla valutazione della qualità della ricerca, si tratta di tre “prodotti” (il termine ufficiale è già agghiacciante in sé e dà un’idea dello stile dell’intera faccenda) o pubblicazioni già edite che ogni docente universitario è tenuto a inviare ai valutatori. Se si voleva stabilire la produttività dei docenti e il loro “impatto” scientifico – per premiare o punire i relativi dipartimenti – bastava andare a vedere chi non aveva pubblicato nulla o era sotto i limiti della decenza. Con la tanto sbandierata peer review (o “valutazione dei pari”), invece, centinaia se non migliaia di valutatori sconosciuti (e arbitrariamente nominati) si metteranno a giudicare i colleghi (in realtà, come molti pensano, si limiteranno a leggere gli abstract in inglese). Visto come è andata in certi casi con la classificazione delle riviste, tutto fa pensare che i valutatori avranno soprattutto un occhio di riguardo per le cordate a cui appartengono (nel sub-GEV di sociologia, per esempio, la maggioranza è costituita da docenti che fanno capo al gruppo dei sociologi cattolici, proprio come la vice-presidente dell’Anvur, Luisa Ribolzi, mentre la minoranza ha un evidente ruolo cosmetico); d’altra parte, se l’università italiana è infestata dai baroni, perché costoro, grazie alla bacchetta magica dell’Anvur, dovrebbero diventare di colpo virtuosi e mettersi a giudicare oggettivamente i colleghi?
Ma quello che agghiaccia veramente è il costo dell’intera operazione. Secondo l’economista Giorgio Sirilli (vedi i suoi interventi sul sito http://www.roars.it ), più di 300 milioni di Euro tra costi diretti e indiretti. La sola Anvur costa ai contribuenti 10 milioni all’anno, ma si tratta di una valutazione per difetto. Il Consiglio direttivo costa 1.281.000 Euro all’anno in compensi (210.000 al presidente e 178.500 agli altri sei componenti, peraltro già dotati di congruo stipendio o pensione). Solo valutare 200.000 prodotti circa a 30 l’Euro l’uno (questo è l’obolo versato ai valutatori) costerà 6 milioni di Euro, senza contare gli oneri contabili e amministrativi. Tutto il resto sarà speso in compensi per i membri dei GEV, rimborsi, missioni sistema informatizzato, lavoro amministrativo ecc. (in ogni università diecine di impiegati sono al lavoro sulla valutazione e su quell’altra geniale trovata dell’U-GOV o governance del sistema accademico).
C’era bisogno che l’università italiana, vecchia, baronale, sotto-finanziata, incapace di reclutare e rinnovarsi subisse questo salasso? Invece di finanziare i progetti di ricerca e svecchiare la docenza, i ministri Gelmini e Profumo, con i loro consulenti e valutatori nominati senza trasparenza, hanno avviato un carrozzone iper-costoso che non farà che confermare i poteri accademici esistenti.
Come giustificano questo spreco di risorse, offensivo per il paese in tempo di sacrifici e sofferenza sociale, Monti, Passera, Profumo, Fornero e il resto del governo dei professori?

Alessandro Dal Lago

Questo articolo, in una versione leggermente diversa, è stato spedito in data 11 maggio 2012 al “Manifesto” e accettato. Purtroppo, come si sa, nello stesso giorno i liquidatori del giornale hanno annunciato la cessazione della pubblicazione. Anche se sopravviverà, la foliazione sarà sicuramente ridotta. Non so quindi se e quando l’articolo verrà pubblicato. Comunque la si pensi, la chiusura di “Il Manifesto” è un grave colpo inferto alla libertà di informazione e all’esistenza di un’opinione pubblica indipendente e non asservita al potere. In tema di ricerca, il giornale ha sempre ospitato un dibattito interessante e vario, con particolare attenzione alla situazione dei giovani ricercatori e dei precari, che più di tutti stanno pagando l’implosione dell’università italiana.
ADL

Ho visto l’elenco delle riviste di classe A pubblicato oggi (7.09.12) anche per l’Area 14 C1 e l’ho confrontato con le altre discipline (economia, scienza politica). Ho avuto la conferma di quanto supponevo, quando ho scritto in questo blog a proposito delle riviste e del provincialismo protettivo di marca sociologica (rispetto ad altre scienze sociali) che aveva caratterizzato quel dibattito. Guardatevi i titoli di rivistucole italiane e confrontateli con i titoli di riviste straniere (per chi le conosce). Ogni commento è inutile e questo elenco spegne ogni speranza che la sociologia italiana possa avere un sussulto di dignità. Guardate quante riviste italiane hanno gli economisti e gli scienziati della politica per parlare di vicinato.