Упередження публікації

Не плутати з Медіа-упередження.

Не плутати з Упередження звітування.

Упередження публікації (англ. Publication bias) - це тип упередження, яке впливає на те, яке наукове дослідження буде надруковано серед доступних для публікації. Упередження публікації є важливим, оскільки і огляди тверджень про підтримку гіпотези, і оцінки параметрів будуть упереджені, якщо початкова література містить упередження публікації. Хоча деякі преференції є бажаними—наприклад, упередження проти публікації недосконалих досліджень — тенденція науковців та редакторів журналів надавати перевагу одним результатам досліджень над іншими, зокрема результатам, які показують значущі відкриття, веде до упередженості надрукованої літератури.

Експерименти з статистично значущими результатами часто не є кращими за дослідження з нульовим результатом в частині якості планування експерименту. Однак ймовірність оприлюднення статистично значущих результатів у три рази вища за наукові праці з нульовим результатом. На упередження публікації впливають різні фактори. Наприклад, коли якийсь результат добре поширений та визнаний, публікація праць з нульовим результатом може стати популярною. Було з'ясовано, що найбільш поширеною причиною не публікації результатів дослідження є відмова науковців надати такі результати для оприлюднення. До факторів, які цьому сприяють, належать: припущення науковця, що він помилився у дослідженні, якщо не отримав бажаного результату, втрата інтересу до проблеми або очікування, що іншим нульовий результат буде нецікавим.

Спроби ідентифікувати ненадруковані дослідження часто марні або важкі. У намаганні зменшити цю проблему деякі наукові журнали вимагають, щоб дослідження, запропоновані для публікації, були попередньо зареєстровані (на стадії до початку збору даних та їх  аналізу). Таких реєстрів вже існує декілька, наприклад «Center for Open Science».

Розробляються і інші стратегії виявлення та контролю упередження публікації, наприклад зменшення ваги маленьких та нерандомізованих досліджень, оскільки вони продемонстрували велику схильність до помилки та упередження,

Визначення

Упередження публікації фіксується, коли публікація результатів досліджень залежить не лише від якості дослідження, а й від гіпотези, яка тестувалась, та важливості і напрямку зафіксованих результатів. Сам термін «упередження публікації» вперше був використаний 1959 року статистиком Теодором Стерлінгом по відношенню до галузей науки, результативне дослідження в яких буде надруковано з більшою ймовірністю. В результаті, «література такої галузі науки значною мірою складається з хибних висновків, які є наслідком [помилок першого типу]».

Упередження публікації також деколи називають «ефектом або проблемою картотеки». Походження цього терміну у тому, що результати, які не підтримують гіпотезу дослідника, часто не потрапляють далі його картотеки, що веде до упередження у надрукованих дослідженнях. Цей термін був вигаданий психологом Робертом Розенталем 1979 року.

Упередження позитивних результатів, підтип упередження публікації, виникає, коли автори з більшою ймовірністю надають для публікації або редактори приймають, позитивні результати у порівнянні з негативними або непевними. Упередження звітування про наслідки виникає, коли вимірюються та аналізуються численні наслідки, але звітування про такі наслідки залежить від їх сили та напрямку. Загальна англомовна назва для такого вибору після отримання результату — «HARKing» (англ. Hypothesizing After the Results are Known, тобто «висловлення гіпотези після того, як відомі результати»), і в цьому він є варіантом омани техаського стрільця.

Доказова база

Метааналіз загрози підтвердження стереотипу на оцінках дівчат з математики показує асиметрію, типову для упередження публікації

Існування упередження публікації у літературі найбільш повно вивчено для біомедичних досліджень. При прослідковуванні клінічних випробувань від подання їх протоколів комітетам з етики або регуляторам до публікації їх результатів виявилось, що позитивні результати клінічних випробувань будуть надруковані з більшою ймовірністю. Крім того, у публікаціях досліджень часто відсутні негативні результати, присутні у протоколах.

Присутність упередження публікації також досліджувалась у метааналізах. Найбільше на сьогодні дослідження упередження публікації у метааналізах вивчало його наявність у систематичних оглядах схем лікування з Кохранівської бібліотеки. Дослідження виявило, що позитивні статистично значимі результати у вищою на 27 % ймовірністю включаються  до метааналізу ефективності лікування, ніж інші результати, а результати, які вказують на відсутність негативного впливу, з вищою на 78 % ймовірністю потраплять до метааналізу безпечності лікування, ніж статистично значимі результати, яка вказують на наявність негативних ефектів. Докази упередження публікації були також виявлені у метааналізах, надрукованих у відомих медичних журналах.

Вплив на метааналіз

Якщо упередження публікації присутнє, надруковані дослідження не будуть репрезентативними відносно всіх належними чином виконаних досліджень, і якщо не здійснювати контроль на це упередження, воно викривить результати метааналізів та систематичних оглядів. Для накопичувальної науки це є серйозною проблемою. Наприклад, доказова медицина все більше покладається на метааналіз для оцінки доказів (симптомів тощо). Проблема особливо значуща тому, що дослідження часто здійснюються особами (людьми, дослідницькими групами, урядовими та корпоративними спонсорами), які мають фінансову або ідеологічну зацікавленість досягти прийнятних їм результатів.

Особи, які виконують метааналіз або систематичні огляди, повинні брати до уваги упередження публікації шляхом ретельного пошуку ненадрукованих досліджень та їх вивчення. Крім того були розроблені декілька методів виявлення та оцінки упередження публікації, у тому числі селективні моделі та методи, засновані на принципі воронки, наприклад тест Бегга, тест Еггера та метод обрізання та заповнення (англ. trim and fill method) Однак використання цих методів не гарантує повного усунення впливу упередження публікації і відповідно чинності висновків метааналізу

Приклади

Прикладами спроб виявити упередження публікації у клінічних дослідженнях є два метааналізи ефективності препарату Reboxetine як антидепресанта. На підставі позитивних даних клінічних досліджень, початково Reboxetine був дозволений як ліки від депресії у багатьох країнах Європи 2001 року (хоча на практиці він рідко для цього використовувався). Метааналіз 2010 року дійшов висновку, що Reboxetine є неефективним, а переважання позитивних результатів клінічних випробувань було наслідком упередження публікації, у першу чергу результатів випробувань, надрукованих виробником цього медикаменту Pfizer. Повторний метааналіз, надрукований 2011 року, який також базувався на початкових даних, виявив недоліки в метааналізі 2010 року та дійшов висновку, що Reboxetine є ефективним у лікуванні важкої депресії. Інформація про ці приклади міститься у Бена Голдакра та Петера Вільмхурста.

У соціальних науках, дослідження друкованих праць щодо зв'язку між корпоративною соціальною та фінансовою ефективністю виявило, що

«У економічних, фінансових та бухгалтерських журналах, середні кореляції цих двох аспектів були наполовину менші за відповідні кореляції у журналах з управління соціальними питаннями, бізнес-етики чи з бізнесу та суспільства».

Дослідження, яке порівнювало дослідження зв'язків між генами та хворобами з Китаю з аналогічними дослідженнями за межами Китаю, виявило, що «китайські дослідження в цілому повідомляли по сильніші зв'язки між генами та хворобами та частіше про статистично значимі результатиt». Однією з причин цього може бути вибіркова публікація (упередження публікації).

Реєстрація досліджень

У вересні 2004 року редактори декількох найбільш впливових медичних журналів США (у тому числі «The New England Journal of Medicine», «The Lancet», «Annals of Internal Medicine» та «JAMA») оголосили, що вони більше не друкуватимуть результатів вивчення медикаментів, спонсорованих фармацевтичними компаніями, якщо таке дослідження не було зареєстровано у відкритій базі даних з його початку. Також, деякі журнали, напр. «Trials», заохочують публікацію у себе протоколів досліджень. Всесвітня організація охорони здоров'я погодилась, що базова інформація про всі клінічні дослідження має реєструватись при їх початку і що така інформація повинна бути вільно доступною через Міжнародну платформу реєстрації клінічних досліджень ВООЗ. Крім того, більш поширеним стає відкритий доступ до повних протоколів досліджень та випробувань.

Див. також

• Портал «Психологія»

• AllTrials^[en]
• Підтверджувальне упередження
• Упередження експериментатора
• Упередження спонсорування
• Перелік когнітивних упереджень
• Рецензування
• Криза відтворюваності
• Селективне упередження
• Ефект Бабая (англ. Woozle effect)

Примітки

1. H. Rothstein, A. J. Sutton and M. Borenstein. (2005). Publication bias in meta-analysis: prevention, assessment and adjustments. Wiley. Chichester, England ; Hoboken, NJ.
2. Song, F.; Parekh, S.; Hooper, L.; Loke, Y. K.; Ryder, J.; Sutton, A. J.; Hing, C.; Kwok, C. S.; Pang, C.; Harvey, I. (2010). Dissemination and publication of research findings: An updated review of related biases. Health technology assessment (Winchester, England) 14 (8). с. iii, iix–xi, iix–193. PMID 20181324. doi:10.3310/hta14080. 
3. Easterbrook, P. J.; Berlin, J. A.; Gopalan, R.; Matthews, D. R. (1991). Publication bias in clinical research. Lancet 337 (8746). с. 867–872. PMID 1672966. doi:10.1016/0140-6736(91)90201-Y. 
4. Dickersin, K.; Chan, S.; Chalmers, T. C. (1987). Publication bias and clinical trials. Controlled Clinical Trials 8 (4). с. 343–353. PMID 3442991. doi:10.1016/0197-2456(87)90155-3. 
5. Luijendijk, HJ; Koolman, X (May 2012). The incentive to publish negative studies: how beta-blockers and depression got stuck in the publication cycle.. J Clin Epidemiol 65 (5). с. 488–92. doi:10.1016/j.jclinepi.2011.06.022. 
6. K. Dickersin (March 1990). The existence of publication bias and risk factors for its occurrence. JAMA 263 (10). с. 1385–1359. PMID 2406472. doi:10.1001/jama.263.10.1385. 
7. Sterling, Theodore D. (March 1959). Publication decisions and their possible effects on inferences drawn from tests of significance—or vice versa. Journal of the American Statistical Association 54 (285). с. 30–34. doi:10.2307/2282137. Процитовано 10 квітня 2011. 
8. Jeffrey D. Scargle (2000). . Journal of Scientific Exploration 14 (2). с. 94–106. Архів оригіналу за 22 січня 2015. Процитовано 4 квітня 2016. 
9. Rosenthal R (1979). File drawer problem and tolerance for null results. Psychol Bull 86. с. 638–41. doi:10.1037/0033-2909.86.3.638. 
10. D.L. Sackett (1979). Bias in analytic research. Journal of Chronic Diseases 32 (1–2). с. 51–63. PMID 447779. doi:10.1016/0021-9681(79)90012-2. 
11. N.L. Kerr (1998). . Personality and Social Psychology Review 2 (3). с. 196–217. PMID 15647155. doi:10.1207/s15327957pspr0203_4. Архів оригіналу за 4 лютого 2012. Процитовано 4 квітня 2016. 
12. Flore P. C., Wicherts J. M. (2015). Does stereotype threat influence performance of girls in stereotyped domains? A meta-analysis. J Sch Psychol 53. с. 25–44. PMID 25636259. doi:10.1016/j.jsp.2014.10.002. 
13. Dickersin, K.; Min, Y.I. (1993). NIH clinical trials and publication bias. Online J Curr Clin Trials. Doc No 50. с. [4967 words; 53 paragraphs]. PMID 8306005. 
14. Decullier E, Lheritier V, Chapuis F (2005). Fate of biomedical research protocols and publication bias in France: retrospective cohort study. BMJ 331. с. 19–22. doi:10.1136/bmj.38488.385995.8f. 
15. Song F, Parekh-Bhurke S, Hooper L, Loke Y, Ryder J, Sutton A (2009). Extent of publication bias in different categories of research cohorts: a meta-analysis of empirical studies. BMC Med Res Methodol 9. с. 79. doi:10.1186/1471-2288-9-79. 
16. Chan AW, Altman DG (2005). Identifying outcome reporting bias in randomised trials on PubMed: review of publications and survey of authors. BMJ 330. с. 753. doi:10.1136/bmj.38356.424606.8f. 
17. Riveros C, Dechartres A, Perrodeau E, Haneef R, Boutron I, Ravaud P (2013). Timing and completeness of trial results posted at ClinicalTrials.gov and published in journals. PLoS Med 10. с. e1001566. doi:10.1371/journal.pmed.1001566. 
18. Kicinski, M; Springate, D. A.; Kontopantelis, E (2015). Publication bias in meta-analyses from the Cochrane Database of Systematic Reviews. Statistics in Medicine 34. с. n/a. PMID 25988604. doi:10.1002/sim.6525. 
19. Kicinski M (2013). Publication bias in recent meta-analyses. PLoS ONE 8. с. e81823. doi:10.1371/journal.pone.0081823. 
20. Silliman N (1997). Hierarchical selection models with applications in meta-analysis. Journal of American Statistical Association 92 (439). с. 926–936. doi:10.1080/01621459.1997.10474047. 
21. Hedges L, Vevea J (1996). Estimating effect size under publication bias: small sample properties and robustness of a random effects selection model. Journal of Educational and Behavioral Statistics 21 (4). с. 299–332. doi:10.3102/10769986021004299. 
22. Begg C, Mazumdar M (1994). Operating characteristics of a rank correlation test for publication bias. Biometrics 50 (4). с. 1088–1101. doi:10.2307/2533446. 
23. Egger M, Smith G, Schneider M, Minder C (1997). Bias in meta-analysis detected by a simple, graphical test. British Medical Journal 315. с. 629–634. PMC 2127453. PMID 9310563. doi:10.1136/bmj.315.7109.629. 
24. Duval S, Tweedie R (2000). Trim and fill: A simple funnel-plot-based method of testing and adjusting for publication bias in meta-analysis. Biometrics 56 (2). с. 455–463. doi:10.1111/j.0006-341X.2000.00455.x. 
25. Sutton AJ, Song F, Gilbody SM, Abrams KR (2000). Modelling publication bias in meta-analysis: a review. Stat Methods Med Res 9. с. 421–445. doi:10.1191/096228000701555244. 
26. Kicinski, M (2014). How does under-reporting of negative and inconclusive results affect the false-positive rate in meta-analysis? A simulation study. BMJ Open 4 (8). с. e004831. PMC 4156818. PMID 25168036. doi:10.1136/bmjopen-2014-004831. 
27. Ben Goldacre. What doctors don't know about the drugs they prescribe на TED
28. Wilmshurst, Peter. . Архів оригіналу за 21 травня 2013. Процитовано 4 квітня 2016. 
29. Marc Orlitzky Institutional Logics in the Study of Organizations: The Social Construction of the Relationship between Corporate Social and Financial Performance [ 19 жовтня 2017 у Wayback Machine.]
30. Zhenglun Pan, Thomas A. Trikalinos, Fotini K. Kavvoura, Joseph Lau, John P.A. Ioannidis (2005). Local literature bias in genetic epidemiology: An empirical evaluation of the Chinese literature. PLoS Medicine 2 (12). с. e334. doi:10.1371/journal.pmed.0020334. 
31. Ling Tang Jin (2005). Selection Bias in Meta-Analyses of Gene-Disease Associations. PLoS Medicine 2 (12). с. e409. doi:10.1371/journal.pmed.0020409. 
32. (The Washington Post) (10 вересня 2004). Medical journal editors take hard line on drug research. smh.com.au. Процитовано 3 лютого 2008. 
33. Instructions for Trials authors — Study protocol. 15 лютого 2009. 
34. Dickersin, K.; Chalmers, I. (2011). Recognizing, investigating and dealing with incomplete and biased reporting of clinical research: from Francis Bacon to the WHO. J R Soc Med 104 (12). с. 532–538. PMID 22179297. doi:10.1258/jrsm.2011.11k042. 

Посилання

• The Truth Wears Off: Is there something wrong with the scientific method? — Jonah Lehrer
• Register of clinical trials conducted in the US and around the world, maintained by the National Library of Medicine, Bethesda
• Skeptic's Dictionary: positive outcome bias.
• Skeptic's Dictionary: file-drawer effect.
• Journal of Negative Results in Biomedicine
• The All Results Journals
• Journal of Articles in Support of the Null Hypothesis
• Article on 'the decline effect' and the role of publication bias in that
• Psychfiledrawer.org: Archive for replication attempts in experimental psychology