由人工智能(AI)驅動的健康產(chǎn)品正源源不斷地進入我們的生活，從虛擬醫(yī)生應用到可穿戴傳感器和藥店聊天機器人。

IBM吹噓說它的人工智能可以“戰(zhàn)勝癌癥”。另一些人說，讀取x射線的計算機系統(tǒng)將使放射科醫(yī)生過時。

“沒有什么,我看到在我三十多年學習醫(yī)學,可以有效的和變革”作為人工智能,Eric Topol博士說,心臟病和執(zhí)行副總裁拉霍亞的斯克里普斯研究。人工智能可以幫助醫(yī)生解釋心臟核磁共振成像、CT掃描的頭和眼睛的后面的照片,并有可能接管許多平凡的醫(yī)療家務,解放醫(yī)生花更多的時間和病人說話,托波爾說。

就連過去5年批準了40多種人工智能產(chǎn)品的美國食品和藥物管理局(fda)也表示，“數(shù)字健康的潛力是革命性的?！?/p>

然而，許多醫(yī)療行業(yè)專家擔心，基于人工智能的產(chǎn)品將無法達到宣傳的效果。許多醫(yī)生和消費者維權人士擔心，以“迅速失敗，然后再修復”為信條的科技行業(yè)正在把病人置于危險之中，而監(jiān)管機構在保護消費者安全方面做得不夠。

斯坦福大學(Stanford)生物醫(yī)學倫理中心(Center for Biomedical Ethics)的兒科學教授米爾德里德·趙(Mildred Cho)說，早期的人工智能實驗提供了一個謹慎行事的理由。

Cho說，在一家醫(yī)院開發(fā)的系統(tǒng)在另一家醫(yī)院部署時經(jīng)常會失敗。用于照顧數(shù)百萬美國人的軟件已經(jīng)顯示出對少數(shù)族裔的歧視。人工智能系統(tǒng)有時會根據(jù)一些因素做出預測，這些因素與疾病的關系要小于所使用的核磁共振成像機的品牌、驗血的時間或病人是否有牧師來探望。在一個案例中，人工智能軟件錯誤地得出結論，認為患有肺炎的人如果患有哮喘，就不太可能死亡——這個錯誤可能會導致醫(yī)生剝奪哮喘患者所需的額外護理。

克利夫蘭診所(Cleveland Clinic)的心臟病學主席史蒂文·尼森(Steven Nissen)博士說:“這種情況導致嚴重的健康問題只是時間問題。”

研究公司高德納(Gartner) 7月的一份報告總結稱，僅在第三季度，醫(yī)療人工智能就吸引了16億美元的風險投資，“幾乎達到了過高預期的頂峰”?！半S著現(xiàn)實經(jīng)受考驗，人們可能會粗略地滑入幻滅的低谷?！?/p>

當人工智能產(chǎn)品被引入現(xiàn)實世界時，這種現(xiàn)實核查可能會以令人失望的結果的形式出現(xiàn)。即便是《深度醫(yī)學:人工智能如何讓醫(yī)療保健重新成為人類》(Deep Medicine: How Artificial Intelligence Can Make Healthcare Human Again)一書的作者托波爾(Topol)也承認，許多人工智能產(chǎn)品不過是空話?！斑@是一個大雜燴，”他說。

風險投資公司Venrock的合伙人鮑勃·科克博士(Bob Kocher)等專家則直言不諱。“大多數(shù)人工智能產(chǎn)品幾乎沒有證據(jù)支持它們，”Kocher說。在人工智能系統(tǒng)被大量患者使用之前，一些風險不會變得明顯?！拔覀儗⒗^續(xù)發(fā)現(xiàn)在醫(yī)療數(shù)據(jù)上使用人工智能的一系列風險和意想不到的后果，”Kocher說。

Topol說，在美國銷售的人工智能產(chǎn)品都沒有經(jīng)過隨機臨床試驗的測試，而隨機臨床試驗是最有力的醫(yī)學證據(jù)來源。第一個也是唯一一個人工智能系統(tǒng)的隨機試驗——發(fā)現(xiàn)結腸鏡檢查與計算機輔助診斷相比發(fā)現(xiàn)更多的小息肉——于10月在網(wǎng)上發(fā)表。

《歐洲臨床研究雜志》(European Journal of Clinical Investigation)今年1月發(fā)表的一篇文章稱，很少有科技初創(chuàng)公司在同行評審的期刊上發(fā)表研究成果，而同行評審的期刊可以讓其他科學家審查他們的工作。這種只在新聞稿或促銷活動中描述的“秘密研究”，往往夸大了一家公司的成就。

盡管軟件開發(fā)人員可能會吹噓他們的人工智能設備的準確性，但專家指出，人工智能模型大多是在電腦上測試的，而不是在醫(yī)院或其他醫(yī)療機構。使用未經(jīng)驗證的軟件“可能會讓患者不知不覺地變成豚鼠，”斯坦福醫(yī)療保健(Stanford Health Care)人工智能臨床整合醫(yī)學信息學主任李榮恩(Ron Li)博士說。

學習識別數(shù)據(jù)模式的人工智能系統(tǒng)通常被描述為“黑匣子”，因為即使是它們的開發(fā)人員也不知道他們是如何得出結論的。威斯康星大學麥迪遜分校(University of Wisconsin-Madison)法律與生物倫理學教授皮拉爾?奧索里奧(Pilar Ossorio)表示，考慮到人工智能是如此的新事物——而且它的許多風險未知——這個領域需要仔細的監(jiān)管。

然而，大多數(shù)人工智能設備并不需要FDA的批準。

Kocher說:“我所投資的公司都不受FDA的監(jiān)管?！?/p>

2016年，美國國會通過了一項法案，將許多類型的醫(yī)療軟件排除在聯(lián)邦審查之外，其中包括某些健身應用、電子健康記錄和幫助醫(yī)生做出醫(yī)療決定的工具。這項法案得到了科技行業(yè)的支持。

根據(jù)國家醫(yī)學研究院12月17日發(fā)布的一份關于人工智能的報告，目前很少有關于目前使用的32萬個醫(yī)療應用是否真的能改善健康的研究。

如果快速失敗意味著很多人會死，我認為我們不想快速失敗。如果有人死亡或嚴重受傷，沒有人會高興，包括投資者。

西雅圖艾倫人工智能研究所(Allen Institute for AI)首席執(zhí)行官奧倫·埃齊奧尼(Oren Etzioni)說

賓夕法尼亞大學佩雷爾曼醫(yī)學院(Perelman School of Medicine at the University of Pennsylvania)醫(yī)學倫理與衛(wèi)生政策教授伊澤基爾·伊曼紐爾(Ezekiel Emanuel)博士表示:“幾乎所有面向患者的(人工智能)產(chǎn)品都沒有真正奏效?！?/p>

FDA長期以來一直關注對患者構成最大威脅的設備。消費者維權人士也承認，與診斷或治療疾病的設備相比，一些幫助人們計算日常步數(shù)的設備需要較少的檢查。

《內科學年鑒》(Annals of Internal Medicine) 2018年的一項研究顯示，一些軟件開發(fā)人員甚至在法律要求的情況下也懶得申請FDA的許可或授權。

行業(yè)分析人士表示，人工智能開發(fā)人員對進行昂貴而耗時的試驗興趣不大。技術咨詢公司博思艾倫咨詢公司(Booz Allen Hamilton)的負責人、美國國家科學院報告的合著者約阿希姆·羅斯基(Joachim Roski)說，“這些公司主要關心的不是將自己提交給同行評議的期刊進行嚴格的評估。”“美國經(jīng)濟不是這樣運行的?！?/p>

但西雅圖艾倫人工智能研究所(Allen Institute for AI)首席執(zhí)行官奧倫?埃齊奧尼(Oren Etzioni)表示，人工智能開發(fā)商有確保其醫(yī)療產(chǎn)品安全的經(jīng)濟動機。

Etzioni說:“如果快速失敗意味著很多人會死去，我認為我們不希望快速失敗?！薄叭绻腥怂劳龌驀乐厥軅瑳]有人會高興，包括投資者。”

近年來，F(xiàn)DA因允許銷售危險醫(yī)療設備而備受指責。國際調查記者聯(lián)盟(International Consortium of Investigative Journalists)認為，在過去10年里，這些危險醫(yī)療設備導致8萬人死亡，170萬人受傷。

這些設備中有許多是通過一種被稱為510(k)途徑的有爭議的程序獲得許可使用的，該程序允許公司在沒有臨床測試的情況下銷售“中等風險”的產(chǎn)品，只要它們被認為與現(xiàn)有設備相似。

2011年，美國國家醫(yī)學研究院的一個委員會得出結論，認為510(k)程序存在根本性缺陷，F(xiàn)DA應該把它扔掉，重新開始。

相反，F(xiàn)DA正在利用這一過程為人工智能設備開綠燈。

據(jù)《美國醫(yī)學會雜志》11月的一篇文章稱，F(xiàn)DA在2017年和2018年批準的14種人工智能產(chǎn)品中，有11種通過了510(k)程序。研究稱，這些藥物似乎都沒有進行過新的臨床試驗。2018年，F(xiàn)DA批準了一款人工智能設備，該設備旨在幫助診斷肝癌和肺癌，其原理與20年前批準的成像軟件相似。該軟件本身已被清除，因為它被視為“基本上相當于”1976年以前銷售的產(chǎn)品。

FDA設備和放射健康中心的數(shù)字健康主任巴庫爾·帕特爾說，F(xiàn)DA今天批準的人工智能產(chǎn)品在很大程度上是“鎖定的”，因此它們的計算和結果在進入市場后不會改變。FDA還沒有批準“解鎖”人工智能設備，其結果可能會隨著月份的變化而變化，這是開發(fā)人員無法預測的。

為了應對人工智能產(chǎn)品的泛濫，美國食品和藥物管理局(FDA)正在測試一種完全不同的數(shù)字設備監(jiān)管方法，側重于評估公司，而不是產(chǎn)品。

FDA于2017年啟動的“預認證”試點項目，旨在“減少軟件開發(fā)人員進入市場的時間和成本”，盡可能采用“負擔最小”的系統(tǒng)。FDA官員表示，他們希望跟上人工智能軟件開發(fā)商的步伐。與x光機等傳統(tǒng)設備制造商相比，人工智能軟件開發(fā)商更新產(chǎn)品的頻率要高得多。

斯科特·戈特利布(Scott Gottlieb)在2017年擔任FDA局長時曾表示，政府監(jiān)管機構需要確保其創(chuàng)新產(chǎn)品的方法“是有效的，能夠促進創(chuàng)新，而不是阻礙創(chuàng)新”。

根據(jù)該計劃，F(xiàn)DA將對那些“表現(xiàn)出質量和組織卓越文化”的公司進行預先認證，這將允許它們提供較少的設備前期數(shù)據(jù)。

預先認證的公司可以發(fā)布帶有“流線型”審查的設備——或者完全不需要FDA審查。一旦產(chǎn)品上市，公司將負責監(jiān)控自己產(chǎn)品的安全性并向FDA匯報。蘋果、FitBit、三星、強生等九家公司被選中進行試點Johnson, Pear Therapeutics，磷，Roche, Tidepool and Life Sciences。

高風險產(chǎn)品，如用于起搏器的軟件，仍將接受FDA的全面評估。“我們絕對不希望病人受傷，”帕特爾說，他指出，如果需要，通過預先認證的設備可以被召回?！叭匀挥泻芏嘧o欄?！?/p>

但研究表明，即使是低風險和中等風險的設備也會因為對患者的嚴重風險而被召回，國家健康研究中心(National Center for Health research)主席戴安娜·扎克曼(Diana Zuckerman)說?！叭藗兛赡軙艿絺Γ驗槟承〇|西在被廣泛使用之前不需要被證明是準確或安全的?！?/p>

約翰遜,例如，約翰遜已經(jīng)召回了髖關節(jié)植入物和手術網(wǎng)。

在致FDA的一系列信件中，美國醫(yī)學會(American Medical Association)和其他機構對允許企業(yè)監(jiān)控自身績效和產(chǎn)品安全的做法是否明智提出了質疑。

“榮譽制度不是一種監(jiān)管機制，”醫(yī)師協(xié)會董事會主席杰西·艾倫菲爾德(Jesse Ehrenfeld)博士說。

在10月份致FDA的信中，馬薩諸塞州民主黨參議員伊麗莎白·沃倫(Elizabeth Warren)、明尼蘇達州民主黨參議員蒂娜·史密斯(Tina Smith)和華盛頓州民主黨參議員帕蒂·默里(Patty Murray)質疑FDA是否有能力確保公司安全報告“準確、及時并基于所有可獲得的信息”。

一些人工智能設備的測試比其他的更仔細。

在2018年獲得批準之前，研究人員對10家初級保健診所的900名患者進行了一項人工智能篩選糖尿病眼病的研究。IDx Technologies公司的創(chuàng)始人兼執(zhí)行董事長邁克爾?阿布拉莫夫(Michael Abramoff)博士說，該公司與FDA合作了八年，才把產(chǎn)品做好。

該測試以IDx-DR的形式出售，對糖尿病視網(wǎng)膜病變患者進行篩查，這是導致失明的主要原因之一，并將高危患者介紹給眼科專家，由他們做出最終診斷。

IDx-DR是第一個“自主”的人工智能產(chǎn)品，它可以在沒有醫(yī)生的情況下做出篩查決定。該公司目前正在初級保健診所和雜貨店安裝該系統(tǒng)，在那里，擁有高中文憑的員工可以操作該系統(tǒng)。艾布拉姆的公司采取了不同尋常的措施，購買了責任保險來覆蓋任何病人的傷害。

然而，一些旨在改善醫(yī)療服務的人工智能創(chuàng)新卻產(chǎn)生了相反的效果。

例如，一家加拿大公司開發(fā)了一款人工智能軟件，根據(jù)一個人的語言來預測他患老年癡呆癥的風險。對某些病人的預測比其他病人更準確。研究報告的撰寫者之一、多倫多大學計算機科學副教授弗蘭克?魯茲茲說:“找不到合適的詞可能是由于不熟悉英語，而非認知障礙。”

紐約西奈山醫(yī)院的醫(yī)生們希望人工智能能幫助他們使用胸透來預測哪些病人有患肺炎的高風險。盡管該系統(tǒng)從西奈山拍攝的x光照片中做出了準確的預測，但在其他醫(yī)院進行的圖像測試中，這項技術卻失敗了。最終，研究人員意識到，這臺電腦只是學會了區(qū)分醫(yī)院在病人床邊拍攝的便攜式胸透和在放射科拍攝的胸透。醫(yī)生們傾向于對病情嚴重到無法離開房間的病人進行便攜式胸部x光檢查，所以這些病人有更大的肺部感染風險也就不足為奇了。

企業(yè)家的工作是大膽思考和承擔風險，而醫(yī)生的工作是保護病人。

非營利組織洛恩研究所(Lown Institute)的主席、心臟病學家維卡斯·塞尼(Vikas Saini)博士主張擴大醫(yī)療保健的覆蓋面

谷歌旗下的DeepMind開發(fā)了一款基于人工智能的移動應用程序，可以提前48小時預測哪些住院患者會出現(xiàn)急性腎衰竭。DeepMind網(wǎng)站上的一篇博客文章將倫敦一家醫(yī)院使用的這一系統(tǒng)描述為“游戲規(guī)則的改變者”。但是，根據(jù)《自然》雜志7月份的一項研究，人工智能系統(tǒng)也會對每一個正確的結果產(chǎn)生兩次錯誤警報。賓夕法尼亞大學附屬醫(yī)院放射學副教授Saurabh Jha博士說，這或許可以解釋為什么患者的腎功能沒有改善。Jha說，早期發(fā)現(xiàn)嚴重腎臟問題的任何好處都可能被高比率的“過度診斷”所稀釋，在這種情況下，人工智能系統(tǒng)會標記出不需要治療的邊緣腎臟問題。谷歌對Jha的結論不予置評。

Jha說，假陽性可能會促使醫(yī)生下令進行不必要的檢查或停止推薦的治療，從而對患者造成傷害。例如，醫(yī)生擔心病人的腎臟可能會停止開布洛芬——一種對腎功能有小風險的安全止痛藥——轉而開阿片類藥物，這種藥物有嚴重的成癮風險。

正如這些研究表明的那樣，在計算機實驗室中取得令人印象深刻結果的軟件在實時測試時可能會失敗，斯坦福大學的Cho說。這是因為疾病比許多計算機科學家預期的要復雜得多，而衛(wèi)生保健系統(tǒng)的功能失調也要嚴重得多。

趙承熙說，許多人工智能開發(fā)人員會剔除電子健康記錄，因為它們包含了大量的詳細數(shù)據(jù)。但是這些開發(fā)人員通常沒有意識到他們是在一個嚴重損壞的系統(tǒng)上構建的。電子健康記錄是用來記賬的，而不是用來照顧病人的，其中充滿了錯誤或缺失的數(shù)據(jù)。

KHN今年3月發(fā)布的一項調查發(fā)現(xiàn)，患者的用藥清單、實驗室檢查和過敏有時會出現(xiàn)危及生命的錯誤。

非營利組織洛恩研究所(Lown Institute)的主席、心臟病學家維卡斯塞尼(Vikas Saini)博士說，考慮到其中的風險，醫(yī)生需要介入，保護病人的利益。洛恩研究所主張擴大醫(yī)療保健的覆蓋面。