Di Alessandro Demontis – 14 Agosto 2021
OTTENERE LA HOCKEY STICK DAL RUMORE BIANCO
Una delle email meno diffuse e più sottovalutate della vicenda del Climategate (lo scandalo che coinvolse alcune università ed alcuni ricercatori – in primis Mann, Briffa, Schmidt, Jones e altri) venne scritta da Rob Wilson, allora un accademico itinerante e molto giovane; tale email (catalogata 4241. 2006-03-07 [8]) riportava simulazioni che supportavano in modo convincente le preoccupazioni di McIntyre sullo screening ex post, un metodo di screening dei dati molto controverso. L’e-mail di Wilson era indirizzata alla maggior parte dei principali dendroclimatologi dell’epoca: Ed Cook, Rosanne D’Arrigo, Gordon Jacoby, Jan Esper, Tim Osborn, Keith Briffa, Ulf Buentgen, David Frank, Brian Luckman ed Emma Watson, nonché Philip Brohan del Met Office. Riportiamo qui di seguito l’ email di Wilson completa di traduzione:
Greetings All,
I thought you might be interested in these results. The wonderful thing about being paid properly (i. e. not by the hour) is that I have time to play.
The whole Macintyre issue got me thinking about over-fitting and the potential bias of screening against the target climate parameter. Therefore, I thought I’d play around with some randomly generated time-series and see if I could ‘reconstruct’ northern hemisphere temperatures.
I first generated 1000 random time-series in Excel – I did not try and approximate the persistence structure in tree-ring data. The autocorrelation therefore of the time-series was close to zero, although it did vary between each time-series. Playing around therefore with the AR persistent structure of these time-series would make a difference. However, as these series are generally random white noise processes, I thought this would be a conservative test of any potential bias.
I then screened the time-series against NH mean annual temperatures and retained those series that correlated at the 90% C. L. 48 series passed this screening process.
Using three different methods, I developed a NH temperature reconstruction from these data:
- simple mean of all 48 series after they had been normalised to their common period
- Stepwise multiple regression
- Principle component regression using a stepwise selection process.
The results are attached. Interestingly, the averaging method produced the best results, although for each method there is a linear trend in the model residuals – perhaps an end-effect problem of over-fitting.
The reconstructions clearly show a ‘hockey-stick’ trend. I guess this is precisely the phenomenon that Macintyre has been going on about.
It is certainly worrying, but I do not think that it is a problem so long as one screens against LOCAL temperature data and not large scale temperature where trend dominates the correlation. I guess this over-fitting issue will be relevant to studies that rely more on trend coherence rather than inter-annual coherence. It would be interesting to do a similar analysis against the NAO or PDO indices. However, I should work on other things.
Thought you’d might find it interesting though. comments welcome
Rob - Traduzione:
- Un saluto a tutti,
Ho pensato che potreste essere interessati a questi risultati. La cosa meravigliosa di essere pagato correttamente (cioè non a ore) è che ho tempo per giocare.
L’intera questione di Macintyre mi ha fatto pensare all’eccessivo adattamento e al potenziale pregiudizio dello screening rispetto al parametro climatico target. Pertanto, ho pensato di giocare con alcune serie temporali generate casualmente e vedere se potevo “ricostruire” le temperature dell’emisfero settentrionale.
Per prima cosa ho generato 1000 serie temporali casuali in Excel: non ho cercato di approssimare la struttura di persistenza nei dati degli anelli d’albero. L’autocorrelazione quindi delle serie temporali era vicina allo zero, sebbene variasse tra ciascuna serie temporale. Giocando quindi con la struttura persistente AR di queste serie temporali farebbe la differenza. Tuttavia, poiché queste serie sono generalmente processi casuali di rumore bianco, ho pensato che questo sarebbe stato un test conservativo di qualsiasi potenziale distorsione.
Ho quindi sottoposto a screening le serie temporali rispetto alle temperature medie annuali di NH e ho mantenuto quelle serie correlate alla serie CL 48 al 90% che hanno superato questo processo di screening.
Utilizzando tre diversi metodi, ho sviluppato una ricostruzione della temperatura NH da questi dati:
⦁ media semplice di tutte le 48 serie dopo che sono state normalizzate al loro periodo comune
⦁ Regressione multipla graduale
⦁ Regressione dei componenti principali mediante un processo di selezione graduale.
I risultati sono allegati. È interessante notare che il metodo della media ha prodotto i risultati migliori, sebbene per ogni metodo vi sia una tendenza lineare nei residui del modello, forse un problema di overfitting.
Le ricostruzioni mostrano chiaramente un andamento ‘bastone da hockey’. Immagino che questo sia esattamente il fenomeno di cui parla Macintyre.
È certamente preoccupante, ma non penso che sia un problema finché si schermano i dati della temperatura LOCALE e non la temperatura su larga scala dove la tendenza domina la correlazione. Immagino che questo problema di adattamento sarà rilevante per gli studi che si basano più sulla coerenza delle tendenze piuttosto che sulla coerenza interannuale. Sarebbe interessante fare un’analisi simile rispetto agli indici NAO o DOP. Tuttavia, dovrei lavorare su altre cose.
Pensavo che avreste potuto trovarlo interessante però. Commenti benvenuti
Rob
Ho evidenziato in grassetto i passi fondamentali ed importanti di questa email, perché il lettore possa rendersi conto della sua importanza. Sostanzialmente, Wilson sta informando i suoi colleghi di un problema relativo allo screening dei dati con il metodo ‘ex-post’: tramite adattamenti, medie e normalizzazioni, é riuscito a ottenere una Hockey Stick su dati generati casualmente e senza nessuna correlazione! Torneremo sul problema dello screening ‘ex-post’ più avanti, e ne vedremo davvero delle belle.
[8] http://di2.nu/foia/foia2011/mail/4241.txt
Alessandro Demontis
Perito Chimico Industriale (1992)
Tecnico Ambientale certificato CEE (1997)
