人工智能(néng)革命: 无标记姿态撷取技术颠覆影片录像

人工智能(néng)革命: 无标记姿态撷取技术颠覆影片录像

哪些神经回路驱动适应运动行為(wèi)?  这些行為(wèi)在神经编码中又(yòu)如何表现呢(ne)?  哈佛大學(xué)罗兰研究中心(Rowland Institute)的马蒂斯实验室Mathis Lab 研究人员透过脑/行為(wèi)互动研究，揭示了这些问题的答(dá)案。 由马蒂斯Mackenzie Mathis博士所领导的团队「[目的]在于了解神经回路对于适应性运动行為(wèi)所产生的影响」。 其研究的挑战在于将特定的行為(wèi)与特定脑部活动相连结。以老鼠作為(wèi)研究个體(tǐ)，这些科(kē)學(xué)家们使用(yòng)The Imaging Source DMK 37BUX287相机进行高速录像，结合实验室自行开发的开源软件工具DeepLabCut所写成的机器學(xué)习算法，来追踪老鼠的行為(wèi)事件及相应其脑部活动。

马蒂斯实验室(Mathis Lab)的研究人员藉由机器學(xué)习工具及光遗传學(xué)原理(lǐ)，了解神经回路对于适应性运动行為(wèi)的影响。 照片来源: Cassandra Klos 

就本质上，研究人员必须能(néng)够精确且全面地追踪老鼠的行為(wèi)并提供定量数据，来描述动物(wù)的动态。 马蒂斯博士表示:「我们想了解动物(wù)们如何适应环境，而观察牠们的运动行為(wèi)是一个很(hěn)好的开始，以阐释大脑如何达成这些任務(wù)。 因此，研究计划的第一步就是在动物(wù)學(xué)习新(xīn)任務(wù)时对其进行观察。」 其团队借重DMK 37BUX287所构成的多(duō)相机影像追踪系统。他(tā)们的研究个體(tǐ)行动相当快速，马蒂斯博士接着表示:「…老鼠能(néng)够在大约200毫秒(miǎo)内快速地触及并抓取物(wù)體(tǐ)，因此我们必须采用(yòng)高帧速率且优质分(fēn)辨率的相机。」

影片录像是有(yǒu)效记录动物(wù)行為(wèi)的一种方法，然而撷取姿态(即多(duō)个身體(tǐ)部位的几何构型) ，多(duō)年来一直是研究人员的一项难题。 在人體(tǐ)研究领域中，先进的动态捕捉可(kě)透过标记来追踪关节和四肢动作。 然而，基于种种因素，运用(yòng)于研究动物(wù)體(tǐ)上，这种方法却不切实际。 也就是说，至今，人们仍然使用(yòng)手动数字元录像方式来追踪动物(wù)行為(wèi) (即以人工方式逐帧编码标注影片) – 这种劳力密集的过程往往导致结果不够精确，且额外增加了数百甚或数千小(xiǎo)时的研究时间。  

近期，DeepLabCut装备两台DMK 37 BUX287相机以捕捉高速录像，并藉由其影像帧数进行无标记3D姿态撷取。影像来源: Cassandra Klos 

為(wèi)了自动撷取研究个體(tǐ)的姿态，马蒂斯博士团队开发了DeepLabCut: 一套开源软件，由用(yòng)户自定义身體(tǐ)部位的无标记姿态估算。根据(人體(tǐ))姿态估计算法DeeperCut，研究人员使用(yòng)基于深度卷积神经网络(CNN)的算法，专门针对此项任務(wù)进行训练。根据《Nature Neuroscience自然神经科(kē)學(xué)》期刊中所发表的一篇论文(wén)，作者表述该团队藉由「调整预训练过的模块运用(yòng)至新(xīn)的任務(wù)上[....过程经由] 即被称為(wèi)迁移學(xué)习(transfer learning)的现象。」而得以显著地减少所必要的训练数据的数据量。 DeepLabCut编程库具稳健性且高效率，即使是相对少量的图像(约200)，「其算法亦能(néng)达到极佳的追踪表现。」许多(duō)科(kē)學(xué)家们皆赞誉此软件套件是一项颠覆传统、完全崭新(xīn)的发展。 马蒂斯实验室也使用(yòng)了The Imaging Source 的IC Capture并增添The Imaging Source相机应用(yòng)程序camera control API至GitHub。

DeepLabCut 自动追踪及标记(红、白、蓝点)老鼠的动态。 影像来源: Mackenzie Mathis