我說，T需要17分鐘的平均果蠅夫婦不能滿足交配移動(dòng)Talmo佩雷拉，在普林斯頓大學(xué)約書亞Shaevitz的和馬拉的Murthy實(shí)驗(yàn)室的博士研究生學(xué)習(xí)神經(jīng)科學(xué)。他說，這次遭遇的標(biāo)志是“許多復(fù)雜的階段，可能比人類的求愛更復(fù)雜”。雄性和雌性果蠅(Drosophila melanogaster)通過交換信息素而首先相互對準(zhǔn)。如果它們是兼容的，那么男性就會(huì)追逐女性，并通過一個(gè)翅膀“唱歌”，以特定的模式振動(dòng)，形成他的民謠。然后伙伴們互相跳舞，跑步和盤旋。最后，男性試圖交配，女性接受或拒絕。

佩雷拉正在研究如何在蒼蠅的大腦中表現(xiàn)出求愛歌曲和舞蹈。在此過程中，他和同事們開發(fā)了一種跟蹤動(dòng)物行為的有效方法。他們的工具LEAP Estimates Animal Pose(LEAP)利用一種稱為深度神經(jīng)網(wǎng)絡(luò)的人工智能，本質(zhì)上是一種可以學(xué)習(xí)任何東西的“花式機(jī)器”。。?？梢杂?xùn)練它做的任意操作，“目前在哈佛大學(xué)攻讀博士生的Diego Aldarondo說道，他在普林斯頓大學(xué)的本科學(xué)習(xí)期間與Pereira一起構(gòu)建了這個(gè)工具。“我們開發(fā)了所有這些瘋狂的人工智能，試圖了解飛行性，”佩雷拉開玩笑說。“或者甚至不是性行為，只是導(dǎo)致它的原因。”

傳統(tǒng)上，研究人員通過逐幀點(diǎn)擊視頻片段并標(biāo)記感興趣的身體部位來收集動(dòng)物運(yùn)動(dòng)的數(shù)據(jù)。哈佛大學(xué)的行為神經(jīng)科學(xué)家Ben de Bivort說，這是一個(gè)艱苦的過程，可以讓研究生或志愿者每小時(shí)上課一次。他說，與研究人員在動(dòng)物生物學(xué)研究中使用的其他方法(如基因組學(xué)或高分辨率神經(jīng)記錄)相比，這些艱巨的努力會(huì)產(chǎn)生小數(shù)據(jù)集。“因此，對行為的衡量始終是一個(gè)瓶頸。”

我們開發(fā)了所有這些瘋狂的人工智能，試圖了解飛性。

-Talmo Pereira，普林斯頓大學(xué)

另一個(gè)選擇是將標(biāo)記粘貼到動(dòng)物的四肢上，然后使用計(jì)算機(jī)軟件從視頻素材中跟蹤它們。“想象一下，就像你穿上安迪·瑟金斯，使咕嚕的標(biāo)記指環(huán)王，說：”戈登·伯曼，埃默里大學(xué)的生物物理學(xué)家的理論誰做與Shaevitz一個(gè)博士后，但沒有參與LEAP項(xiàng)目。不幸的是，動(dòng)物非常擅長修飾它們，并且“將這些標(biāo)記放在飛行中。。。相當(dāng)困難，“他說。

Pereira說，觀看動(dòng)作捕捉服的演員實(shí)際上是讓他思考如何追蹤蒼蠅的原因。但是當(dāng)他深入研究文獻(xiàn)時(shí)，他意識到科學(xué)家已經(jīng)開始捕捉動(dòng)物運(yùn)動(dòng)而不使用標(biāo)記。與此同時(shí)，Aldarondo正在研究計(jì)算機(jī)科學(xué)課程中的動(dòng)作捕捉算法，在與Pereira聊聊之后，他決定將神經(jīng)網(wǎng)絡(luò)應(yīng)用于他的實(shí)驗(yàn)室關(guān)于單個(gè)果蠅的鏡頭作為課程項(xiàng)目。

在第一次嘗試中，Aldarondo和課程中的另一名學(xué)生標(biāo)記了數(shù)千幀視頻，其中點(diǎn)表示蒼蠅身體部位，然后使用這些幀訓(xùn)練網(wǎng)絡(luò)自動(dòng)識別身體部位。課程結(jié)束后，他和Pereira繼續(xù)研究該項(xiàng)目，調(diào)整算法以自動(dòng)化更多的過程。去年年底，他們發(fā)布了一個(gè)版本的工具，需要更少的幀 - 大約100個(gè) - 以便在飛行體上跟蹤32個(gè)點(diǎn)時(shí)達(dá)到高達(dá)95%的準(zhǔn)確率。在他們的報(bào)告中，研究人員使用LEAP跟蹤飛行的所有六條腿，以及它的翅膀，身體和頭部。他們還應(yīng)用他們的工具來捕捉小鼠的肢體運(yùn)動(dòng)(Nat Methods16：117-25,2019)。

LEAP的成功來自人類和人工輸入的結(jié)合。在接收到一組帶標(biāo)簽的視頻幀之后，它使用它們來學(xué)習(xí)如何根據(jù)每個(gè)圖像的特征放置點(diǎn)，然后為下一組幀噴出標(biāo)簽，研究人員隨后檢查這些標(biāo)簽。該工具的猜測可能不是第一次很好，但糾正程序有助于它變得更聰明。在LEAP和人類之間來回幾輪后，該程序已經(jīng)學(xué)到足夠的知識來正確識別零件 - 即使在不到一天的過程中。De Bivort將該過程描述為“使用算法生成數(shù)據(jù)以制作更好的算法”。

“這簡直太容易了。多年來，它消除了我很多來之不易的圖像處理技能，“伯曼說，他在自己的蒼蠅和草原田鼠研究中使用了這個(gè)工具。“過去幾個(gè)月和幾個(gè)月的工作現(xiàn)在需要幾個(gè)星期，如果那樣的話。”

由另一組哈佛研究人員開發(fā)的另一種人工智能動(dòng)作捕捉方法DeepLabCut與LEAP同時(shí)出現(xiàn)，也用于跟蹤老鼠和果蠅。每個(gè)工具都有其優(yōu)點(diǎn)：LEAP需要更少的訓(xùn)練時(shí)間，但是DeepLabCut使用更大的神經(jīng)網(wǎng)絡(luò)，在混亂或低質(zhì)量圖像上比LEAP表現(xiàn)更好，Berman說。但兩者都具有適用于它們最初開發(fā)的物種之外的強(qiáng)度。Pereira說，到目前為止，多個(gè)研究小組已經(jīng)使用LEAP來追蹤老鼠，老鼠，蚱蜢，蜘蛛，螞蟻，魚等的運(yùn)動(dòng)。

de Bivort說，這兩種工具都可以應(yīng)用于從行為生態(tài)學(xué)到醫(yī)學(xué)研究的各個(gè)領(lǐng)域，在那里他們可以幫助研究與陳規(guī)定型運(yùn)動(dòng)相關(guān)的自閉癥等疾病。他補(bǔ)充說，他們還將幫助神經(jīng)科學(xué)家探索大腦與行為之間的聯(lián)系。“也許神經(jīng)科學(xué)中最大的問題是：大腦是如何產(chǎn)生行為的?因?yàn)檫@就是大腦的用途，“de Bivort說道。“毫不夸張地說，這些工具現(xiàn)在對我們的領(lǐng)域來說是一件大事。”