你可能已經(jīng)看過好萊塢明星的“動作捕捉”套裝，穿著全身服裝，充??滿傳感器，讓電腦將它們變成綠巨人或龍或魔法野獸。

現(xiàn)在，普林斯頓教授Mala Murthy和Joshua Shaevitz的實驗室之間的合作更進一步，利用人工智能(AI)的最新進展，在現(xiàn)有視頻中自動跟蹤動物的個體部位。

他們的新工具LEAP Estimates Animal Pose(LEAP)可以在幾分鐘內(nèi)訓練，以高精度自動跟蹤數(shù)百萬幀視頻中動物的各個身體部位，而無需添加任何物理標記或標簽。

“該方法可廣泛用于動物模型系統(tǒng)，它可用于測量具有基因突變或藥物治療的動物的行為，”分子生物學和普林斯頓神經(jīng)科學研究所(PNI)副教授Murthy說。 。

詳細介紹新技術的論文將發(fā)表在2019年1月出版的“ 自然方法 ”雜志上，但其5月發(fā)布的開放版本已經(jīng)導致該軟件被許多其他實驗室采用。

當研究人員將LEAP與他們實驗室開發(fā)的其他定量工具相結合時，他們可以通過觀察動物身體運動模式來研究他們所謂的“行為語言”，物理學教授和Lewis-Sigler綜合基因組學研究所的Shaevitz說。 。

“這是一個靈活的工具，原則上可用于任何視頻數(shù)據(jù)，”作為該論文的第一作者的PNI研究生Talmo Pereira說。“它的工作方式是在幾個視頻中標記幾個點，然后神經(jīng)網(wǎng)絡完成剩下的工作。我們提供了一個易于使用的界面，任何人都可以將LEAP應用到自己的視頻中，而無需任何先前的編程知識。 “

當被問及LEAP是否對大型哺乳動物的效果與大多數(shù)初始受試者的蒼蠅和老鼠一樣好時，Pereira立即制作了一個動態(tài)標記的長頸鹿視頻，該視頻來自肯尼亞Mpala研究中心的現(xiàn)場飼料，普林斯頓是其管理合伙人的實地研究站。

“我們從Mpala研究站拍攝了一只步行長頸鹿的視頻......并在30個視頻幀中標記了點，這花了不到一個小時，”佩雷拉說。“LEAP隨后能夠在幾秒鐘內(nèi)跟蹤整個視頻的剩余部分(大約500幀)。”

以前開發(fā)可以跟蹤人體運動的AI工具的努力依賴于大量的手動注釋數(shù)據(jù)訓練集。這使得軟件可以在各種數(shù)據(jù)上穩(wěn)健地工作，具有截然不同的背景或照明條件。

“在我們的案例中，我們優(yōu)化了類似的方法來處理在實驗室環(huán)境中收集的數(shù)據(jù)，其中條件在記錄中是一致的，”Murthy說。“我們建立了一個系統(tǒng)，允許用戶選擇適合用戶收集的數(shù)據(jù)類型的神經(jīng)網(wǎng)絡，而不是受到其他研究人員或公司工作的限制。”

該項目源于Murthy實驗室的高級論文學生，2018年級的Diego Aldarondo和他的研究生導師Pereira之間的獨特合作，他由Murthy和Shaevitz共同建議。

“迭戈正在探索使用深度神經(jīng)網(wǎng)絡通過他在普林斯頓的一個計算機科學課程中注釋動物行為數(shù)據(jù)，并在實驗室與Talmo進行深夜聊天，他意識到這些方法可以有力地應用于他們自己的數(shù)據(jù)：果蠅在求偶儀式中互動的視頻，“Murthy說。“合作從那里開始，共同合作令人難以置信 - 迭戈和Talmo展示了這些人工智能方法的有效性。”

英國皇家獸醫(yī)學院結構與運動實驗室的高級講師Monica Daley表示，這項工作在神經(jīng)科學之外也具有巨大的潛力，他沒有參與這項研究。

“我的大部分研究旨在了解動物如何在不同的地形和環(huán)境條件下有效地移動，”戴利說。“該領域最大的持續(xù)挑戰(zhàn)之一是從視頻片段中提取有關動物運動的有意義的信息。我們要么手動處理視頻，需要花費數(shù)小時的繁瑣工作，要么專注于可以自動化的非常簡單和有限的分析。在本文中，我們有可能比以前更加自動化勞動密集型工作，這可以讓我們研究更多種類的動物運動行為。“

一旦他們擁有運動和行為數(shù)據(jù)庫，團隊中的神經(jīng)科學家就可以與他們背后的神經(jīng)過程建立聯(lián)系。這將使研究人員“不僅可以更好地了解大腦如何產(chǎn)生行為，”Shaevitz說，“而且還要探索依賴計算機解釋某人行為的未來診斷和療法。”

哈佛大學的研究人員在夏季分享了一個類似的工具，他們利用現(xiàn)有的神經(jīng)網(wǎng)絡架構，而普林斯頓大學的團隊則創(chuàng)建了自己的工具。“我們的方法和他們的方法有不同的優(yōu)勢，”Murthy說。“現(xiàn)在這是一個令人難以置信的令人興奮的領域，在開發(fā)用于研究行為和神經(jīng)活動的AI工具方面有很多活動。”

“我們使用不同的方法，通過專注于快速專注于新數(shù)據(jù)集，更小，更精簡的網(wǎng)絡可以實現(xiàn)高精度，”佩雷拉說。“更重要的是，我們展示了現(xiàn)在通過AI進行動物姿勢跟蹤的易用選項，我們希望這可以鼓勵該領域開始采用更加量化和精確的方法來衡量行為。”

“在過去五年中，神經(jīng)科學在技術觀察和操縱大腦活動方面取得了巨大進步，”共同作者，分子生物學和PNI教授Samuel Wang說。“現(xiàn)在，行為的自動分類為該技術增添了一個重要的補充。普林斯頓正在成為計算神經(jīng)倫理學萌芽領域的中心樞紐。”