任何科學(xué)家指出分析和解釋可能存在的錯(cuò)誤，暗示微生物可以緩解自閉癥樣行為的小鼠高調(diào)研究。在論文發(fā)表后的幾個(gè)小時(shí)內(nèi)，Twitter和出版后評(píng)論網(wǎng)站PubPeer出現(xiàn)了強(qiáng)烈的反對(duì)意見。

在5月30日發(fā)表在Cell上的論文中，Sarkis Mazmanian及其同事報(bào)告說(shuō)，自閉癥男孩的糞便移植可以引發(fā)小鼠的自閉癥行為 - 來(lái)自某些微生物的分子可以緩解這些行為。

研究發(fā)表幾分鐘后，獨(dú)立專家開始在Twitter上提出關(guān)于論文中包含的三個(gè)圖表的擔(dān)憂。

鑒于被探測(cè)的變量數(shù)量非常多，發(fā)現(xiàn)一些差異并不奇怪。沒(méi)有復(fù)制樣本被測(cè)試，所以我之前的期望是這些都是虛假的，直到證明不是這樣

- Kevin Mitchell(@WiringTheBrain)2019年5月30日

他們指出，伴隨每個(gè)圖表的“p值” - 統(tǒng)計(jì)顯著性的度量 - 似乎難以置信。

“數(shù)據(jù)沒(méi)有通過(guò)我稱之為眼球測(cè)試的數(shù)據(jù)，”其中一位發(fā)言人，愛(ài)爾蘭都柏林三一學(xué)院遺傳學(xué)副教授凱文米切爾告訴Spectrum。

其他人對(duì)這項(xiàng)研究的樣本量很小表示擔(dān)憂。

甚至不讓我開始使用N個(gè)3個(gè)控件和5個(gè)用于大多數(shù)分析的案例。捐助者之間的差異很大。

- Jonathan Sebat(@sebatlab)，2019年5月30日

“你可以在論文中看到的數(shù)據(jù)非常具有誤導(dǎo)性，因?yàn)樗雌饋?lái)有很多數(shù)據(jù)點(diǎn)，但它們確實(shí)來(lái)自少數(shù)參與者，”前自閉癥研究員喬恩布羅克說(shuō)。布魯克寫了一篇文章，發(fā)表在6月13日的“媒體”雜志上，批評(píng)了小樣本量和研究人員使用的行為測(cè)試。“考慮到這項(xiàng)研究的大肆宣傳，其核心主張的證據(jù)非常微弱，”他寫道。

這些評(píng)論促使沒(méi)有參與該研究的統(tǒng)計(jì)學(xué)家托馬斯·拉姆利重新分析數(shù)據(jù)。6月16日，Lumley在他的個(gè)人博客上發(fā)布了他的重新分析。他總結(jié)說(shuō)，這項(xiàng)研究的主要發(fā)現(xiàn)之一 - 小鼠社交不到控制 - 可能是由于有缺陷的統(tǒng)計(jì)分析引起的。

分析不當(dāng)

對(duì)于所討論的分析，研究人員將每個(gè)供體 - 自閉癥五個(gè)男孩和三個(gè)對(duì)照的糞便移植到至少八只不同的小鼠中。他們發(fā)現(xiàn)，作為一個(gè)群體，患有自閉癥男孩的糞便的小鼠比對(duì)照更多地埋葬大理石，花費(fèi)更少的時(shí)間與其他小鼠互動(dòng)，并且在開放的房間中行進(jìn)更短的距離。這些結(jié)果出現(xiàn)在米切爾和其他人提出的三個(gè)圖表中。

但是在他們的統(tǒng)計(jì)分析中，研究人員似乎獨(dú)立地對(duì)每組中的小鼠進(jìn)行了治療，即使有些人從同一個(gè)捐贈(zèng)者那里得到了糞便，Lumley說(shuō)。這個(gè)錯(cuò)誤人為地夸大了每組的樣本量。根據(jù)他的再分析，糾正錯(cuò)誤后，唯一統(tǒng)計(jì)上顯著的差異是小鼠埋葬的大理石數(shù)量。

“作者的分析不適合他們的實(shí)驗(yàn)設(shè)計(jì)，也沒(méi)有明確描述，因?yàn)檎撐闹袃蓚€(gè)不同的地方都有相互矛盾的描述，”新奧克蘭大學(xué)生物統(tǒng)計(jì)學(xué)系主任Lumley說(shuō)。新西蘭。

研究人員堅(jiān)持他們最初的結(jié)果：“我們今天坐在這里，我們發(fā)現(xiàn)我們所做的統(tǒng)計(jì)數(shù)據(jù)沒(méi)有錯(cuò)誤，”帕薩迪納加州理工學(xué)院微生物學(xué)教授Mazmanian告訴Spectrum。

Mazmanian說(shuō)他已經(jīng)要求幾位統(tǒng)計(jì)人員重新分析這些數(shù)據(jù)。“我們想要做到這一點(diǎn)，”他說(shuō)。“我們將盡一切可能確保我們得出一個(gè)我們可以捍衛(wèi)的結(jié)論。”

Lumley說(shuō)他在重新分析方面很掙扎，因?yàn)殡m然Mazmanian的團(tuán)隊(duì)已經(jīng)在網(wǎng)上提供了數(shù)據(jù)，但他們?cè)趫D標(biāo)題中描述的統(tǒng)計(jì)方法與文章的方法部分沒(méi)有相符。

“圖中標(biāo)題清楚，但不是他們所做的，”拉姆利說(shuō)。“方法部分的那個(gè)不清楚。”

統(tǒng)計(jì)缺陷

Lumley開始使用標(biāo)題中描述的方法進(jìn)行再分析。該方法解釋了所有糞便移植供體之間的隨機(jī)差異，然后尋找與自閉癥供體相關(guān)的差異。

“我認(rèn)為，這是正確的分析，但它沒(méi)有給出他們給出的結(jié)果;它為差異提供了更少的證據(jù)，“Lumley說(shuō)。

然后，他根據(jù)他在“方法”部分中找到的描述以及研究人員在PubPeer上提供的其他詳細(xì)信息重新分析了數(shù)據(jù)。他能夠重現(xiàn)三張圖中每一張圖中報(bào)告的p值。

盡管如此，他說(shuō)研究人員對(duì)每只小鼠進(jìn)行治療是很奇怪的，好像它已經(jīng)接受了來(lái)自不同捐贈(zèng)者的糞便。

“這是一個(gè)奇怪的分析，”拉姆利說(shuō)。“我看不出你為什么故意這樣做的原因。”

問(wèn)題可能出在研究人員使用的稱為SPSS的軟件中，他說(shuō)：“我不知道這是否會(huì)導(dǎo)致他們的問(wèn)題，但這種情況很容易發(fā)生。”(Mazmanian說(shuō)團(tuán)隊(duì)的統(tǒng)計(jì)學(xué)家跟隨該軟件的指南。)

即使統(tǒng)計(jì)分析沒(méi)有證明是有缺陷的，批評(píng)人士說(shuō)，挑釁性的發(fā)現(xiàn)需要達(dá)到比p值更高的標(biāo)準(zhǔn)。

“p值只是總結(jié)了實(shí)驗(yàn)中的數(shù)據(jù)，”米切爾說(shuō)。“如果這是一個(gè)非同尋常的主張，如果它需要一些真正未知的新生物機(jī)制，并且沒(méi)有任何研究基礎(chǔ)強(qiáng)烈支持它，那么我們應(yīng)該要求更高標(biāo)準(zhǔn)的證據(jù)。”

米切爾說(shuō)，更高的標(biāo)準(zhǔn)是復(fù)制。另一種是注冊(cè)報(bào)告，這是一種經(jīng)過(guò)同行評(píng)審的期刊文章，研究人員在收集數(shù)據(jù)之前首先描述他們的研究方法。

該論文的批評(píng)者還指出，其中四名團(tuán)隊(duì)成員擁有與使用微生物或微生物分子作為自閉癥和其他疾病治療相關(guān)的未決或批準(zhǔn)的專利。Mazmanian還是Axial Biotherapeutics的聯(lián)合創(chuàng)始人兼董事，Axial Biotherapeutics是一家為這些疾病開發(fā)腸道治療藥物的公司。