Andrew Gelman*… Οι κοινωνικές επιστήμες είναι καλές στο να κάνουν παράξενους, θαυμάσιους ισχυρισμούς σχετικά με τον τρόπο που ο κόσμος –και το ανθρώπινο μυαλό- λειτουργεί. Οι φοιτητές περπατούν πιο αργά μετά την έκθεση τους σε λέξεις σχετικές με τους ηλικιωμένους. Οι εκλογές καθορίζονται από το αποτέλεσμα των κολεγιακών ποδοσφαιρικών αγώνων. Η παχυσαρκία είναι μεταδοτική, μπορείτε να έχετε επιτυχία στις επιχειρήσεις στεκόμενοι με μια επεκτατική «στάση δύναμης», παίκτες του μπέιζμπολ με K στο όνομά τους είναι πιο πιθανό να σκοράρουν, και τυφώνες με κοριτσίστικα ονόματα είναι πιο επικίνδυνοι από τυφώνες με αγορίστικα ονόματα.
Τι κοινό έχουν όλοι οι προαναφερθέντες ισχυρισμοί; Εκδόθηκαν σε ευυπόληπτα επιστημονικά περιοδικά, δημοσιεύθηκαν στα μέσα, η έκδοσή τους εξαρτάται από την εύρεση μιας «στατιστικά σημαντικής» σύγκρισης από μικρά δείγματα. Και δεν πιστεύω ότι υπάρχουν στέρεες αποδείξεις για κανένα από αυτά.
Γίνεται φανερό ότι είναι εύκολο για τους ερευνητές να βρουν σημαντικά αποτελέσματα παραποιώντας δεδομένα –ίσως όχι επιτηδευμένα. Εξωτερικοί ερευνητές έχουν προσπαθήσει να επαναλάβουν κάποιες από αυτές τις μελέτες και απέτυχαν να καταλήξουν στα ίδια αποτελέσματα, όπως φάνηκε στο Πρότζεκτ Αναπαραγωγής της ψυχολογίας. Πολλά pixels έχουν χρησιμοποιηθεί τα τελευταία χρόνια εξηγώντας γιατί οι επιστήμονες και οι πολίτες δεν πρέπει να πιστεύουν πολλές εκδομένες και δημοσιευμένες έρευνες.
Οι άνθρωποι έχουν αρχίσει να συμφιλιώνονται με το γεγονός ότι μια ομάδα ερευνητών ή ακόμα και μια ολόκληρη υποκατηγορία της επιστήμης μπορεί να παγιδευτεί σε μια θηλιά επιβεβαίωσης θορυβωδών ευρημάτων. Αυτό σημαίνει ότι δεν μπορείτε να θεωρείτε δημοσιευμένες και κρινόμενες μελέτες ως δεδομένες. Η στατιστική σημασία δε σημαίνει ό, τι οι περισσότεροι άνθρωποι νομίζουν ότι σημαίνει. Και αυτό μας δίνει την πολυτέλεια να πάμε πέρα από τον καθορισμό του προβλήματος – και να αρχίσουμε να σκεφτόμαστε λύσεις.
Θεσμικές μεταρρυθμίσεις όπως η κριτική μετά τη δημοσίευση μπορούν να βοηθήσουν μαζί με την πιο προβεβλημένη δημοσίευση των μελετών που αναπαράγουν τα αποτελέσματα, οι οποίες τυπικά αγνοούνται για χάρη πιο θεαματικών αποτελεσμάτων. Αλλά πέρα από αυτό, οι ερευνητές χρειάζονται την ελευθερία να αποτύχουν.
Στις επιχειρήσεις, η ελευθερία να αποτύχουν δίνει στους ανθρώπους την ελευθερία να επιτύχουν. Οι περιορισμένες θυσίες και η προστασία από τη χρεοκοπία παρέχουν ένα ασφαλές μέρος για τη λήψη ρίσκων, ένα δίκτυο κοινωνικής ασφάλειας επιτρέπει στα ατομικά κεφάλαια να επενδύονται αντί να συσσωρεύονται, και ένα ευέλικτο εκπαιδευτικό σύστημα δεύτερης και τρίτης ευκαιρίας δίνει στους σπουδαστές την ελευθερία να πειραματιστούν. Αντίθετα, ένα περιβάλλον υψηλής πίεσης με μηδενική ανοχή στην αποτυχία ενθαρρύνει την παραμονή στη θέση του ακόλουθου και συντηρητικές επιλογές.
Αυτό είναι πώς μοιάζει η επιστημονική κοινότητα σήμερα. Αν πάτε στις πειραματικές επιστήμες, οι σύμβουλοι και οι επιτροπές ακαδημαϊκής θητείας προσδοκούν διαδοχικές δημοσιεύσεις και η μία επιτυχία να χτίζει πάνω στην άλλη. Αλλά εκείνες οι προσδοκίες είναι μια συνταγή μόνο για τις πιο κοινότυπες επιτυχίες. Ό, τι παρουσιάζεται ως θαρραλέα, προχωρημένη σκέψη συχνά αποδεικνύεται με μια πιο προσεκτική εξέταση ότι δεν είναι τίποτα παρά κενές θεωρητικολογίες συνοδευόμενες από ανάλυση δεδομένων που μπορούν να βρουν «στατιστική σημασία» μέσα από τον ντόρο.
Αρκετά συχνά, τα στατιστικά λάθη που οδηγούν στις πιο κοινότυπες επιτυχίες δεν αναγνωρίζονται– ούτε καν εξετάζονται, λόγω της εστίασης στο να διατηρούν οι εκδόσεις και οι καριέρες την πορεία τους. Και όταν εξετάζονται, με τη μορφή της προσπάθειας αναπαραγωγής των αποτελεσμάτων, αυτά τα λάθη μπορούν ακόμα να μείνουν ανομολόγητα. Για μένα, μια από τις πιο δυσάρεστες πλευρές της πρόσφατης συζήτησης σχετικά με την αναπαραγωγή των αποτελεσμάτων είναι η έλλειψη θέλησης των ερευνητών να παραδεχτούν, όταν οι μελέτες τους δεν βγάζουν τα ίδια αποτελέσματα, ότι ίσως έχουν κάνει λάθος, ότι ίσως έχουν βγάλει ισχυρά συμπεράσματα από έντονα δεδομένα με αντικανονικό τρόπο.
Η στατιστική είναι δύσκολη, και δεν είναι αμαρτία το να κάνουμε λάθος. Αλλά το να μην παραδέχεστε ένα λάθος, ακόμα και όταν το λάθος σας έχει φανεί και με στατιστική ανάλυση και με την αποτυχία αναπαραγωγής των αποτελεσμάτων… λοιπόν, αν έχετε αυτή τη στάση, είστε καταδικασμένοι να παραμένετε στάσιμοι αιωνίως.
Οι αληθινοί ήρωες της επιστήμης δεν είναι οι τεχνικοί που μπορούν να εκτελέσουν ένα πείραμα σε 50 ανθρώπους και να βγάλουν μια στατιστική σημασία, ένα συμβόλαιο για τη συγγραφή βιβλίων και μια ομιλία στο TED. Για να το θέσουμε καλύτερα, είναι οι άνθρωποι που αρνούνται να θεωρήσουν το ναι ως απάντηση, που δοκιμάζουν τις θεωρίες τους σε δύσκολα προβλήματα και είναι πρόθυμοι να παραδεχτούν ότι απέτυχαν. Μπορείτε να καβαλήσετε το άλογο με αυτοπεποίθηση μόνο όταν έχετε μάθει τι σημαίνει να πέφτετε.
