Случайно в поток новини и информация попаднах на статия в Nature Scientific Reports. Представя данни от проучване на 1500 учени за възпроизводимостта на резултатите от изследванията. Ако по-рано този проблем беше повдигнат за биологични и медицински изследвания, където, от една страна, той е обясним (неверни корелации, общата сложност на изследваните системи, понякога се обвинява дори научен софтуер), от друга страна, той има феноменологичен характер (например мишките са склонни да се държат различно с учените различни полове (1 и 2)).
Не всичко обаче е наред с повече естествени науки, като физика и инженерство, химия, екология. Изглежда, че тези много дисциплини се основават на "абсолютно" възпроизводими експерименти, проведени при най-контролирани условия, уви, удивителен - във всеки смисъл на думата - резултат от проучването: до 70% от изследователите са се сблъсквали с невъзпроизводими експерименти и резултати, получени не само от други групи учени, НО и от авторите / съавторите на публикувани научни трудове!
Всеки пясъчник възхвалява ли блатото си?
Въпреки че 52% от анкетираните посочват криза на възпроизводимостта в науката, по-малко от 31% смятат публикуваните данни за коренно неправилни, а мнозинството посочи, че все още вярват на публикуваната работа.
Въпрос: Има ли криза на възпроизводимостта на резултатите?
Разбира се, не бива да прекъсвате рамото и да линчувате цялата наука като такава само въз основа на това проучване: половината от анкетираните все още бяха учени, свързани по един или друг начин с биологични дисциплини. Както авторите отбелязват, във физиката и химията нивото на възпроизводимост и увереност в получените резултати е много по-високо (виж графиката по-долу), но все още не е 100%. Но в медицината нещата са много лоши в сравнение с останалите.
Промоционално видео:
Анекдот идва на ум:
Маркъс Мунафо, биологичен психолог от университета в Бристол, Англия, има дългогодишен интерес към възпроизводимостта на научните данни. Спомняйки си дните на студентските си дни, той казва:
Въпрос: Колко публикувани произведения във вашата индустрия могат да бъдат възпроизведени?
Широчина и дълбочина на проблема с дължината
Представете си, че сте учен. Попадате на интересна статия, но резултатите / експериментите не могат да бъдат възпроизведени в лабораторията. Логично е да напишете за това на авторите на оригиналната статия, да поискате съвет и да зададете изясняващи въпроси. Според проучването по-малко от 20% са правили това по всяко време на научната си кариера!
Авторите на изследването отбелязват, че може би подобни контакти и разговори са твърде трудни за самите учени, защото те разкриват тяхната некомпетентност и несъответствие по определени въпроси или разкриват твърде много подробности за настоящия проект.
Нещо повече, абсолютно малцинство учени се опитаха да публикуват опровержение на невъзвратими резултати, докато се изправиха срещу противопоставяне на редактори и рецензенти, които поискаха да омаловажат сравненията с първоначалното проучване. Чудно ли е, че шансът да се съобщи за невъзпроизводимостта на научните резултати е около 50%.
Първи въпрос: Опитали ли сте да възпроизведете резултатите от експеримента?
Втори въпрос: Опитали ли сте да публикувате опита си за възпроизвеждане на резултатите?
Може би тогава в лабораторията, поне да се направи тест за възпроизводимост? Най-тъжното е, че една трета от анкетираните НИКОГА дори не са мислили да създадат методи за проверка на данни за възпроизводимост. Само 40% посочват, че редовно използват такива техники.
Въпрос: Някога разработвали ли сте специални техники / технически процеси за подобряване на възпроизводимостта на резултатите?
Друг пример, биохимик от Обединеното кралство, който не иска да разкрие името й, казва, че опитите за повторение, възпроизвеждане на работа за нейния лабораторен проект просто удвояват времето и материалните разходи, без да дават или добавят нещо ново към работата. Допълнителни проверки се извършват само за иновативни проекти и необичайни резултати.
И разбира се, вечните руски въпроси, които започнаха да измъчват чужди колеги: кой е виновен и какво да прави?
Кой е виновен?
Авторите на работата идентифицират три основни проблема за възпроизводимостта на резултатите:
- Натиск от висшестоящите да публикуват работата навреме
- Избирателно отчитане (очевидно, това означава потискане на някои данни, които "развалят" цялата картина)
- Недостатъчен анализ на данни (включително статистически)
Въпрос: Кои фактори са отговорни за невъзвратимите научни резултати?
Отговори (отгоре надолу): –пробово отчитане –налягане на налягането – лош анализ / статистика –недостатъчна повтаряемост на експеримента в лабораторията –недостатъчен надзор – липса на метод или код; - Проблеми с опити за възпроизвеждане - Необходима е техническа експертиза за възпроизвеждане - Променливост на стандартните реагенти - „Неддачка и Пичалка“
Какво да правя?
От 1500 анкетирани над 1000 специалисти се изказаха в подкрепа на подобряването на статистиката при събирането и обработката на данни, подобряването на качеството на надзора от шефовете и по-строгото планиране на експериментите.
В: Кои фактори ще помогнат за подобряване на възпроизводимостта?
Отговори (отгоре надолу): - По-добро разбиране на статистиката - По-строг надзор - По-добър експериментален дизайн - Обучение - Вътрешен лабораторен преглед - Подобрени практически умения - Насърчаване на официални кръстосани проверки на данни - Междулабораторен преглед - Отделяне на повече време за управление на проекти - Повишаване на стандартите на научните списания - Отделяне на повече време за работа с лабораторни записи
Заключение и малко личен опит
Първо, дори и за мен като учен резултатите са потресаващи, въпреки че вече съм свикнал до известна степен на невъзпроизводимост на резултатите. Това е особено очевидно в творбите, изпълнявани от китайците и индианците без „одит“на трети страни под формата на американски / европейски професори. Добре е проблемът да бъде разпознат и да се мисли за неговото решаване. Тактично ще мълча за руската наука във връзка с неотдавнашния скандал, въпреки че мнозина честно си вършат работата.
Второ, статията пренебрегва (или по-скоро не разглежда) ролята на научните показатели и рецензираните научни списания за възникването и развитието на проблема с невъзвръщаемостта на резултатите от научните изследвания. Вследствие на бързината и честотата на публикациите (четене, увеличение на индексите на цитирането), качеството рязко спада и няма време за допълнителна проверка на резултатите.
Както се казва, всички герои са измислени, но базирани на реални събития. По някакъв начин един студент имаше шанс да прегледа една статия, защото не всеки професор има време и енергия за размишлено четене на статиите, затова се събира мнението на 2-3-4 студенти и лекари, от които се формира рецензията. Беше написан преглед, той посочи невъзпроизводимостта на резултатите според метода, описан в статията. Това ясно демонстрира пред професора. Но за да не развалят отношенията с „колегите“- в края на краищата те успяват във всичко - прегледът беше „коригиран“. И има публикувани 2 или 3 такива статии.
Оказва се порочен кръг. Ученият изпраща статията до редактора на списанието, където посочва „желаните“и най-важното „нежелани“рецензенти, тоест всъщност оставя само онези, които са позитивно настроени към екипа от автори. Те преразглеждат работата, но не могат да „глупаят в коментарите“и се опитват да изберат по-малкото от две злини - ето списък с въпроси, на които трябва да се отговори, след което ще публикуваме статията.
Друг пример, за който редакторът на Nature говори само преди месец, са слънчевите панели на Гразел. Поради огромния интерес към тази тема в научната общност (в края на краищата те все още искат статия в Nature!), Редакторите трябваше да създадат специален въпросник, в който трябва да посочат много параметри, да предоставят калибриране на оборудването, сертификати и т.н., за да потвърдят, че методът за измерване на ефективността панелите отговарят на някои общи принципи и стандарти.
И трето, когато за пореден път чуете за чудо-ваксина, която завладява всичко и всеки, нова история за Джобс в пола, нови батерии или опасностите / ползите от ГМО или излъчването на смартфоните, особено ако тя е популяризирана от жълти писатели от журналистиката, тогава бъдете разбиращи и не бързайте с изводи. Изчакайте потвърждението на резултатите от други групи учени, натрупването на масива и пробите от данни.