自动动物行为分析将知识表示与机器学习.docx

Anna Zamansky et al. / Procedia Computer Science 186 (2021) 661–668 PAGE 667 PAGE 668 Anna Zamansky et al. / Procedia Computer Science 186 (2021) 661–668 自动动物行为分析:将知识表示与机器学习 摘要 计算动物行为分析是一个新兴领域，旨在应用人工智能技术支持动物行为分析。在几个与动物相关的科学学科中，促进动物行为特征的“客观化”和量化的计算方法的需求得到了广泛认可。最先进的CABA方法主要应用机器学习技术，将其与计算机视觉和物联网方法相结合。在这篇论文中，我们强调了在基于ML的CABA系统的环境中集成知识表示方法的潜在应用，使用来自正在进行的CABA项目的见解来演示这些想法。 1。 介绍 测量行为是许多动物相关学科的中心，包括动物科学、生态学、神经科学、兽医学、心理学等等。传统上，它是通过行为类别的直接观察和手动编码来完成的。Anderson和佩罗娜详细讨论了依赖人类观察对行为数据采集和分析的严重限制[3]。首先，这是一项费力而繁琐的任务，因此严重限制了处理的数据量，以及分析的行为或行为变量的数量。但更重要的是，人类对行为的分析容易带有主观性。行为测量很大程度上依赖于人类的感知能力，这为人为错误留下了很大的空间，并使其变得高效培训中的隐性知识转移。此外，人类对行为的理解和解释本身是主观的，有时是不一致的。事实上，生物学家对“行为”的定义仍然没有达成一致。 需要开发工具来促进更客观和可量化的行为评估和测量(参见。[23，14，20])早已得到认可，认识到技术的潜力，不仅可以在处理数据的准确性和数量方面增强人类观察者的能力，还可以发现人类观察不到的行为新特征。一个例子是现代摄像技术的使用，它已经导致发现鸣禽中未知的运动序列[32]。 这些考虑导致了计算动物行为分析(CABA) [12]的新兴领域，该领域旨在应用计算机科学和工程的技术来促进行为的准确和客观分析。迄今为止，该领域的进展主要是数据驱动的，并且基于机器学习(ML)技术。一些最先进的CABA工具是通用的，即，。为各种物种和环境提供ML工具。一个例子是JAABA系统[16]，它允许没有机器学习经验的用户通过注释一小组视频帧来创建行为分类器。另一个通用框架是DeepLabCut [18]，它使用深度神经网络进行无标记动物姿态估计。Blyzer [34]同样使用深度学习来分析动物的运动模式。 CABA方法和工具越来越通用，这意味着我们可以识别大量的行为，测量大量的参数，量化大量的行为模式——但是我们想要哪些模式呢？这一挑战导致了创建规范语言的需求，动物科学家可以使用这些语言来提出他们感兴趣的问题。除了科学家提出的具体问题、假设或疑问之外，CABA技术的数据驱动性质为挖掘新的行为模式打开了令人兴奋的新可能性之门。然而，结果需要用可理解的术语来表达，重申了对知识表示形式的需求。 在本文中，我们讨论了知识表示方法集成在CABA领域的潜力。这是通过几个应用了Blyzer工具的案例研究来证明的。 论文其余部分的结构如下。第2节调查了CABA领域的现状，特别关注通用数据驱动的最先进的方法。第3节讨论了行为的概念，以及一种用于表示行为的结构化语言。第4节介绍了我们正在进行的Blyzer项目，并讨论了将知识表示层集成到其中的挑战和机遇。第5节总结并讨论了未来的研究方向。 2。 计算动物行为分析 CABA [12]的新兴领域，也称为“计算行为学”[3]，旨在应用计算机科学和工程的技术来促进行为及其特征的自动量化，并被预测为动物相关学科的游戏规则改变者。已经确定了这种方法已经对行为分析产生显著影响的几个方面[3]，其中包括行为分析的维度，增加行为分析的吞吐量，促进行为的实时分析。 自动跟踪和行为分析系统越来越多地用于不同的物种:野生动物[8]、猪[1，31]、家禽[27]、昆虫[22]等等。完善的啮齿动物自动行为系统——商业[33，30]和学术[28]广泛用于行为研究。 可以对不同类型的数据进行自动分析。一种类型的动物行为数据是从动物附着的可穿戴设备或生物记录标签获得的，这些设备或标签收集关于动物的环境、运动特征、行为和生理特征的数据。一些著作回顾了生物测井领域的最新进展，例如，。[25, 26]. 另一种流行的数据类型是视频片段，由于它在动物科学中的广泛流行，我们从此关注它。 CABA研究的一个最新趋势是通用性:工具或框架处理大量不同物种和环境的能力。JAABA系统[16]允许没有机器学习经验的用户通过注释一小组视频帧来创建行为分类器。该系统已经被用于为小鼠和果蝇的简单行为创建几个分类器，。行走、跳跃、停止)和社交(例