Насколько плохо фальсификация медицинских исследований в фармацевтике

Медицинские исследования основаны на доверии. Медицинские работники и редакторы журналов, читающие результаты клинического испытания, предполагают, что испытание имело место и что результаты были сообщены честно. Но примерно в 20% случаев, говорит Бен Мол, профессор акушерства и гинекологии в Monash Health, они ошибаются. Поскольку я был обеспокоен мошенничеством в исследованиях в течение 40 лет, я не был так удивлен, как многие были бы удивлены этой цифрой, но это заставило меня подумать, что, возможно, пришло время перестать предполагать, что исследование действительно произошло и о нем честно сообщается и предполагать, что исследование является мошенническим, до тех пор, пока не появятся некоторые доказательства, подтверждающие, что оно произошло и о котором было честно сообщено. Кокрановское сотрудничество, которое предоставляет «достоверную информацию», сделало шаг в этом направлении.

Как он описал на вебинаре на прошлой неделе, Ян Робертс, профессор эпидемиологии Лондонской школы гигиены и тропической медицины, начал сомневаться в честности отчетов об испытаниях после того, как его коллега спросил, знает ли он, что его систематический обзор, показывающий, что маннит снизился вдвое. смерть от черепно-мозговой травмы была основана на испытаниях, которых никогда не было. Он этого не сделал, но он приступил к расследованию судебных процессов и подтвердил, что их никогда не было. У всех них был ведущий автор, который якобы происходил из несуществующей организации и покончил с собой несколько лет спустя. Все испытания были опубликованы в престижных журналах по нейрохирургии и имели нескольких соавторов. Ни один из соавторов не участвовал в исследованиях пациентов, а некоторые не знали, что они были соавторами, до тех пор, пока исследования не были опубликованы. Когда Робертс связался с одним из журналов, редактор ответил: «Я бы не стал доверять данным». Почему, задумался Робертс, он опубликовал испытание? Ни одно из судебных разбирательств не было отозвано.

Позже Робертс, возглавлявший одну из Кокрановских групп, провел систематический обзор коллоидов в сравнении с кристаллоидами только для того, чтобы снова обнаружить, что многим испытаниям, включенным в обзор, нельзя доверять. Сейчас он скептически относится ко всем систематическим обзорам, особенно к тем, которые в основном представляют собой обзоры нескольких небольших исследований. Он сравнил первоначальную идею систематических обзоров с поиском алмазов, знания, которые можно было бы получить, если бы они были объединены в систематические обзоры; теперь он думает о систематическом обзоре как о поиске мусора. Он предложил исключить небольшие одноцентровые исследования, а не объединять их в систематические обзоры.

Мол, как и Робертс, проводил систематические обзоры только для того, чтобы понять, что большинство включенных испытаний были либо испытаниями на зомби, которые были фатально ошибочными, либо не заслуживали доверия. Он спросил, каков масштаб проблемы? Хотя количество отказов от исследований увеличивается, только около 0,04% биомедицинских исследований были отозваны, что позволяет предположить, что проблема невелика. Но анестезиолог Джон Карлайл проанализировал 526 исследований, представленных в Anesthesia, и обнаружил, что 73 (14%) содержали ложные данные, а 43 (8%) он отнес к категории зомби. Когда он смог изучить данные отдельных пациентов в 153 исследованиях, 67 (44%) имели ненадежные данные, а 40 (26%) были испытаниями на зомби. Многие испытания проводились в одних и тех же странах (Египет, Китай, Индия, Иран, Япония, Южная Корея и Турция), и когда Джон Иоаннидис, профессор Стэнфордского университета, изучил данные отдельных пациентов из испытаний, представленных из этих стран в Анестезию. в течение года он обнаружил, что многие были ложными: 100% (7/7) в Египте; 75% (3/4) в Иране; 54% (7/13) в Индии; 46% (22/48) в Китае; 40% (2/5) в Турции; 25% (5/20) в Южной Корее; и 18% (2/11) в Японии. Большинство испытаний были зомби. Иоаннидис пришел к выводу, что только в этих странах опубликованы сотни тысяч судебных процессов над зомби.

Другие получили аналогичные результаты, и, по предположениям Мола, около 20% испытаний оказались ложными. Очень немногие из этих бумаг отозваны.

Мы давно знаем, что рецензирование неэффективно при обнаружении мошенничества, особенно если рецензенты начинают, как это делало большинство до сих пор, с предположения, что об исследовании сообщается честно. Я помню, как в 1990-х годах я был частью группы по расследованию одного из самых вопиющих случаев мошенничества в Великобритании, когда статистический обозреватель исследования сказал нам, что он обнаружил множество проблем с исследованием и только надеялся, что оно было сделано лучше, чем сообщалось. . Мы спросили, задумывались ли мы когда-нибудь о том, что исследование могло быть мошенничеством, и он ответил, что нет.

Мы подошли к тому моменту, когда те, кто проводит систематические обзоры, должны начинать с предположения, что исследование является мошенничеством, до тех пор, пока у них не будет доказательств обратного. Некоторые подтверждающие доказательства получены из того, что испытание было зарегистрировано и одобрено комитетом по этике. Эндрю Грей, доцент медицины Оклендского университета, и другие разработали контрольный список, содержащий около 40 пунктов, которые можно использовать в качестве инструмента проверки на мошенничество (вы можете просмотреть контрольный список здесь). ПОВТОРНЫЙ контрольный список (управление исследованиями, этика, авторство, плагиат, проведение исследований, анализ и методы, манипуляции с изображениями, статистика, ошибки, манипулирование данными и отчетность) охватывает такие вопросы, как «этический надзор и финансирование, продуктивность исследований и рабочая нагрузка исследователей, валидность рандомизации. , достоверность результатов и представление дублирующих данных ». Контрольный список использовался для выявления исследований, которые впоследствии были отозваны, но не прошли полную оценку, которую можно было бы ожидать от инструмента клинического скрининга. (Но я должен поздравить авторов с умной аббревиатурой: некоторые говорят, что придумать аббревиатуру для исследования – самая сложная часть всего процесса.)

Робертс и другие писали о проблеме множества ненадежных и зомби-судебных процессов в BMJ шесть лет назад под провокационным заголовком: «Система знаний, лежащая в основе здравоохранения, не соответствует цели и должна измениться». Они хотели, чтобы Кокрановское сотрудничество и все, кто проводит систематические обзоры, очень серьезно отнеслись к проблеме мошенничества. Возможно, это было совпадением, но за несколько недель до вебинара Кокрановское сотрудничество подготовило рекомендации по обзору исследований, в которых было опровержение, выражение озабоченности или рецензенты обеспокоены достоверностью данных.

С отзывами легче всего справиться, но, как сказал Мол, они представляют собой лишь небольшую часть ненадежных исследований или исследований зомби. В редакционной статье Кокрановской библиотеки, сопровождающей новое руководство, признается, что нет согласия относительно того, что является ненадежным исследованием, инструменты скрининга ненадежны, и «неправильная классификация также может привести к репутационному ущербу для авторов, правовым последствиям и этическим проблемам, связанным с участниками. приняв участие в исследовании, только для того, чтобы его не учитывать ». Сотрудничество проявляет осторожность, но может потерять доверие и доход, если мир перестанет доверять Кокрановским обзорам, потому что они считаются основанными на ненадежных испытаниях.

Мошенничество с исследованиями часто рассматривается как проблема «плохих яблок», но Барбара К. Редман, выступившая на вебинаре, настаивает, что это проблема не плохих яблок, а плохих бочек, если не гнилых лесов или фруктовых садов. В своей книге «Политика расследования неправомерных действий в биомедицине: помимо подхода« плохое яблоко »» она утверждает, что неправомерное поведение в исследованиях является системной проблемой – система обеспечивает стимулы для публикации мошеннических исследований и не имеет адекватных регуляторных процессов. Исследователи прогрессируют, публикуя исследования, а поскольку система публикации построена на доверии, а экспертная оценка не предназначена для выявления мошенничества, опубликовать мошеннические исследования легко. Бизнес-модель журналов и издателей зависит от публикации, желательно большого количества исследований с минимальными затратами. У них мало стимулов для проверки на предмет мошенничества и положительного отрицательного стимула к репутационному ущербу – и, возможно, юридическому риску – от отзыва исследований. У спонсоров, университетов и других исследовательских институтов также есть стимулы для финансирования и публикации исследований и сдерживающие факторы, чтобы поднимать шум из-за мошеннических исследований, которые они, возможно, финансировали или проводили в своем учреждении – возможно, одним из их звездных исследователей. Регулирующим органам часто не хватает юридического статуса и ресурсов для реагирования на то, что явно является масштабным мошенничеством, признавая, что доказательство мошенничества в исследовании (в отличие от подозрений в его мошенничестве) является квалифицированным, сложным и трудоемким процессом. Другая проблема заключается в том, что исследования становятся все более интернациональными с участниками из многих учреждений во многих странах: кто же тогда берет на себя незавидную задачу расследования мошенничества? Науке действительно необходимо глобальное управление.

«Публикационная игра выгодна всем», – заключил Робертс, – за исключением пациентов, которым назначали лечение на основе ложных данных.

Стивен Лок, мой предшественник на посту редактора BMJ, в 1980-х беспокоился о мошенничестве в исследованиях, но люди считали его опасения эксцентричными. Исследовательские власти настаивали на том, что мошенничество было редкостью, не имело значения, потому что наука исправляла себя, и что ни один пациент не пострадал из-за научного мошенничества. Все эти причины, по которым мы не принимаем всерьез мошенничество с исследованиями, оказались ложными, и, спустя 40 лет после беспокойства Лока, мы понимаем, что проблема огромна, система поощряет мошенничество, и у нас нет адекватного способа реагирования. Возможно, пришло время перейти от предположения о том, что исследование было проведено честно и о нем было сообщено, к предположению, что оно ненадежно, до тех пор, пока не появятся некоторые доказательства обратного.

Ричард Смит был редактором BMJ до 2004 года.