It takes a village om een ​​foutbalk te declassificeren

It takes a village om een ​​foutbalk te declassificeren
4.3 (86.96%) 23 votes


Men zou naïef denken dat een foutbalk op een wetenschappelijke meting niet geclassificeerd zou moeten worden als de meting zelf openbaar wordt gemaakt. Maar de regering van de Verenigde Staten (USG) dacht daar anders over toen ze vrijgaf dat haar sensorsysteem de afgelopen 30 jaar was gemeten. Bij nadere beschouwing is de aanpak van de overheid echter zinvol, omdat foutbalken hints kunnen geven over de effectiviteit van sensoren die worden gebruikt voor nationale defensie, waarbij mogelijk zwakke punten worden onthuld en de veiligheid van het land wordt aangetast.

Van de meteorengegevens werd niet verwacht dat ze grote aandacht van astronomen trekken. Maar de situatie veranderde om 6:20 P.M. EDT op 31 maart 2019, toen ik na een e-mail naar mijn student aan Harvard University, Amir Siraj, had gesuggereerd dat we door de overheidsdatabase moesten zoeken naar interstellaire meteoren – dat wil zeggen objecten die buiten het zonnestelsel voortkwamen voorafgaand aan hun botsing met de aarde.

Tijdens het verzamelen van de gegevens over vuurballen en bolides, samengesteld door een NASA Jet Propulsion Lab centrum bekend als, ontdekten we een voorlopig -het enige eerder bekende interstellaire object, dat werd gezien door gereflecteerd zonlicht toen het de buurt van de aarde passeerde op 19 oktober 2017. Het nieuwe object was een meteoriet van een meterformaat dat werd gedetecteerd toen het op 8 januari 2014 om 17:05:34 UTC in de aardse atmosfeer nabij Papoea-Nieuw-Guinea werd verbrand. Het bewoog zo snel dat zijn verleden traject werd afgeleid om ongebonden te zijn aan de zon. We berekenden dat de overtollige snelheid buiten het zonnestelsel rond de maar liefst 40 kilometer per seconde zou moeten zijn geweest.

Dit was onze gevolgtrekking van de gerapporteerde snelheid en positie van de meteoor op het moment van impact. Maar hoe zelfverzekerd moeten we zijn in deze verleidelijke conclusie, aangezien de getabelleerde USG-metingen geen foutbalken bevatten? In de, hebben we ons statistische vertrouwen gekalibreerd door foutbalken te schatten op basis van gedocumenteerde verschillen tussen metingen door USG-sensoren en onafhankelijke detectiesystemen voor andere meteoren. We hebben geprobeerd zo conservatief mogelijk te zijn om deze verschillen alleen toe te schrijven aan onjuistheden in de USG-metingen. Maar dit was niet genoeg om wijdverspreide goedkeuring van collega's te vergaren.

Zodra ons preprint online op de arXiv werd geplaatst, verwijderden critici snel onze conclusies op Twitter, Facebook en e-mail door herhaaldelijk te verwijzen naar een andere die beweerde dat de "USG-sensorgegevens over het algemeen onbetrouwbaar zijn voor baanberekeningen." Meeste meteoor "Experts" waren sceptisch over onze gevolgtrekking zonder direct bewijs dat het eigenlijk verkeerd is. In ons preprint hebben we aangegeven dat de gemeten snelheid met een onredelijk niveau van 45 procent moet worden verlaagd om de meteoor van 2014 aan de zon te laten binden, veel meer dan de verwachte onzekerheid van een USG-systeem van state of the -art-sensoren die genereus werden gefinancierd voor nationale veiligheidsdoeleinden.

Een paar weken na de indiening van ons artikel voor publicatie, ontvingen we twee negatieve referentenrapporten. Een van de scheidsrechters zei: "De resultaten van het papier hangen volledig af van een enkele meting van een onbekend instrument met onbekende onzekerheid …. Dus we hebben een diep gebrekkige claim van een interstellaire vuurbal in combinatie met een ongefundeerde schatting van de frequentie. Maar dit stelt de auteurs in staat om door te gaan en spectaculaire beweringen te doen over de ruimtelijke dichtheid van interstellaire objecten, het massale verlies van dergelijke objecten van sterren in de buurt en het aantal van dergelijke objecten die de aarde in zijn geschiedenis hebben geraakt. Zowel het uitgangspunt als de conclusies van het artikel zijn diep gebrekkig en ik beveel het niet aan om te publiceren. "

Gelukkig bezocht ik Washington, D.C., rond dezelfde tijd om de. Tijdens het diner zat ik naast het bestuurslid van de. Toen ik dit meteorverhaal aan Alan noemde, was hij geïntrigeerd om te helpen vanuit het "hek van de nationale veiligheid". Een week later organiseerde Alan een ontmoeting met de data science programmamanager voor, intelligentie en opkomende bedreigingen bij Los Alamos, en samen bedachten ze een plan om de relevante federale autoriteiten te vragen naar de declassering van de meetfout op de meteoor van 2014 en mogelijk de hele CNEOS-catalogus.

Het plan bedacht door Alan en Matt werkte perfect. Binnen een paar dagen ontmoette Matt ambtenaren bij de en sprak vervolgens met de persoon die de meteorgegevens van 2014 analyseerde. Als gevolg hiervan mochten Amir en ik de volgende formele verklaring afleggen in: "De onzekerheden op elk van de snelheidscomponenten zijn beter dan ± 10 procent (Heavner, M., privécommunicatie)."

Gegeven de CNEOS-steekproefomvang van ongeveer 200 meteoren en uitgaande van standaard Gauss-statistieken voor de gederubriceerde onzekerheden, berekenden we de waarschijnlijkheid dat de meteoor van 2014 afkomstig was van het zonnestelsel als een deel van honderdduizend. Met andere woorden, ondanks de ingrijpende twijfels van experts, impliceerde de vrijgegeven foutbalk dat de meteoor arriveerde vanuit de interstellaire ruimte met een statistische betrouwbaarheid van 99,999 procent. Dit is zeer belangrijk; toen ik me realiseerde dat mijn vrouw zo bijzonder is, ben ik met haar getrouwd.

Er zijn twee belangrijke moraal voor dit verhaal. Eerst en vooral is het duidelijk dat de meeste "experts" de neiging hebben om eerder een sceptische dan een neutrale prior te adopteren voor een opwindend wetenschappelijk resultaat dat niet afkomstig is van een van hen. De meteoor van 2014 biedt een unieke case study, omdat de meetonzekerheden niet bekend waren bij gecertificeerde experts maar terug te halen waren bij andere wetenschappers.

Er zijn verschillende mogelijke redenen voor deze 'expert bias', inclusief hun ervaring dat nieuwe resultaten zeldzaam zijn en dat conservatisme een veilige benadering is om fouten te vermijden en een goede reputatie te behouden, of de jaloezie geassocieerd met het besef dat leden van de club van ervaren experts werden opgeschept door buitenstaanders op een die de aandacht trok. Het erkennen van deze "expert bias" zou "nonxperts" moeten motiveren om dit te compenseren, door het verlagen van kritische opmerkingen en sociale druk die niet zijn geworteld in bewijs en door creatieve wetenschappers, vooral in het begin van hun loopbaan, aan te moedigen innovatieve inzichten te publiceren.

De tweede moraal is dat we heel gelukkig zijn constructieve collega's te hebben in nationale laboratoria zoals Hurd en Heavner, die toegewijd zijn om te dienen in plaats van hun ego zoals anders gebruikelijk is in de cultuur van de academische wereld, en die bereid zijn om de blauwe luchtwetenschap te promoten door het verwijderen van onnodige belemmeringen voor de openbare verspreiding van gegevens.

Dankzij Alan en Matt weten we nu dat een interstellaire meteoor is verbrand in de atmosfeer van de aarde 3,8 jaar voordat 'Oumuamua werd ontdekt. En we kunnen ook de voordelen waarderen van onbevooroordeelde collega's die ervoor kiezen niet op de weg van ontslag te springen, maar in plaats daarvan een wetenschappelijke waarheid onthullen. We kunnen alleen maar hopen dat hun voorbeeldige praktijk gatekeepers van tijdschriftpublicaties en academische clubs aanmoedigt om meer open te staan ​​en de efficiëntie van onze wetenschappelijke inspanningen te verbeteren.

Geef een reactie

Het e-mailadres wordt niet gepubliceerd. Vereiste velden zijn gemarkeerd met *