基于DeepSort的斑马鱼轨迹追踪研究与应用.pdf

摘要

动物多目标追踪任务是目前计算视觉的研究热点和难点，具有较高的应用价值。

斑马鱼的行为实验被广泛应用于发育生物学、基因功能研究、疾病发病机制研究、

新药研发等基础研究领域。准确、快速地完成对斑马鱼运动的三维轨迹追踪，对斑

马鱼的行为分析十分重要，能够促进相关领域的研究开展。斑马鱼三维轨迹追踪的

难点在于外形相似、遮挡、运动迅速、三维轨迹无法直接获取等。本文提出适用于

斑马鱼的个体重识别模型，在此基础上结合DeepSort算法实现单个视角下的斑马

鱼多目标追踪，并进一步融合两个视角信息实现三维轨迹追踪，最后开发了用于斑

马鱼行为分析的平台原型。本文的主要工作如下：

1.针对斑马鱼的外观、纹理极其相似，在追踪过程中容易导致目标丢失的问题，

提出基于度量学习的斑马鱼重识别模型。受行人重识别算法的启发，将追踪过程中

不同帧中的斑马鱼个体进行匹配的任务当作图像检索子问题，通过计算不同目标

之间的相似度，实现目标的匹配。后续斑马鱼多目标追踪实验的结果表明，该模型

具有较好的效果。

2.针对斑马鱼群单个视角的二维轨迹中存在个体之间遮挡、快速转向等导致

跟踪目标易丢失的问题，提出基于DeepSort算法的斑马鱼多目标追踪。结合鱼群

重识别中获取到的个体外表特征，以及通过卡尔曼滤波算法预测的斑马鱼下一帧

运动信息，本文通过数据级联实现了对斑马鱼的二维轨迹追踪。

3.针对三维轨迹追踪中两个视角数据融合这一问题，本文采用多视角信息融

合的策略，结合俯视图和侧视图之间运动、外观信息，实现了两个视角的轨迹匹配，

从而缓解了鱼群追踪中的目标易丢失问题，最终实现了斑马鱼游动中的三维运动

轨迹的追踪。实验结果表明，本文提出的方法能够有效获取斑马鱼的轨迹。

4.本文根据动物行为学分析实际应用的需求，设计并实现了斑马鱼行为分析

系统平台。该平台基于浏览器/服务器模式，采用开源轻量级框架Springboot进行

开发。本平台包括用户管理、轨迹可视化、行为分析和数据管理功能，用户通过Web

端即可访问，并且可以对实验结果可视化，从而能够较好的促进对斑马鱼运动行为

的分析。

关键词：多目标追踪，斑马鱼追踪，鱼群重识别，DeepSort，深度学习

ABSTRACT

Theanimalmulti-objecttrackingtaskcurrentlyisapopularresearchtopicinthe

researchofcomputervision,andithasrichapplications.Behavioralexperimentsof

zebrafishhavebeenwidelyusedindevelopmentalbiology,genefunctionresearch,

diseasepathogenesisresearch,drugdevelopment,andotherresearchfields.Accurateand

rapidextractingofthethree-dimensionaltrajectoryofzebrafishiscrucialforzebrafish

behavioranalysis,andcanbeusedinrelatedfields.Thedifficultyof3Dtrajectory

trackingofzebrafishliesinitssimilarappearance,occlusion,andrapidmovement.Inthis

paper,weproposeafishre-identificationmodelsuitableforzebrafish.Onthisbasic,the

zebrafishmulti-targettrackinginasingleperspectiveisrealizedbycombiningDeepSort

algorithm,andthethree-dimensionaltrajectorytrackingisrealizedb