论文标题：An Automated Pipeline for Image Processing and Data Treatment to Track Activity Rhythms of Paragorgia arborea in Relation to Hydrographic Conditions（自动化的图像处理和数据处理管道，以追踪与水文条件有关的芦苇活动性节律）

期刊：Sensors

作者：Ander Zuazo, Jordi Grinyó, Vanesa López-Vázquez, Erik Rodríguez, Corrado Costa, Luciano Ortenzi, Sascha Flögel, Javier Valencia, Simone Marini, Guosong Zhang, Henning Wehde and Jacopo Aguzzi

发表时间：4 November 2020

DOI：10.3390/s20216281

期刊链接：

微信链接：

海洋在地球系统中发挥着重要作用，但是由于采样困难，我们对深海物种的行为、种间关系以及由此产生的群落组成和生物多样性的了解仍不完整。因此，开发一种先进的监测技术对深海的生物体进行远程、高频率和长时间的跟踪是十分必要的。来自西班牙巴塞罗那Cièncias del Mar研究所的Aguzzi博士及其团队在挪威的Lofoten-Vesterålen (LoVe) 深海天文台对一种标志性的深海保护物种——柳珊瑚，进行了为期四个多月的水下拍摄监测，并利用卷积神经网络算法对柳珊瑚的活动节律进行了分析预测。这项研究不仅有力地证明了柳珊瑚的活动主要发生在黄昏时分与昼夜有关，而不是受潮汐影响，还为实时处理复杂的多参数生物数据和海洋学数据提供了一条全新的道路。

实验过程与方法

一、图像和海洋学数据收集

挪威大陆架拥有世界上种类最为丰富的冷水珊瑚礁。实验人员将高清卫星相机 (Metas a.S.) 安装在挪威罗弗敦群岛西北海岸约20公里的Hola海槽内，从2018年2月23日11时30分至6月11日23时30分，每小时获取一次高频延时图像，最终收集了6,799幅图像数据。安装在摄像机旁的传感器同时以1s的频率对温度、盐度、浊度、叶绿素和水柱深度 (作为潮汐现象的标识) 等海洋数据进行实时采集。实验配备了两个卫星摄像机，其中2号摄像机 (图1中红色圆圈部分) 的周围布满了柳珊瑚群落，为本研究提供了图像数据集。

图1. 实验设计示意图，放大区域为卫星摄像机2号。

二、图像处理

本文设计了一个能够通过图像高效提取柳珊瑚活动生物信息的自动化模型，该模型可应用于未来的多种海洋图像处理任务中。

1.图像增强

深海中采集到的图像通常很暗。因此，增强前景和背景的对比度，同时保持原色是重中之重。实验随机选取20幅图像，分别采用Gamma、对数、Sigmoid以及直方图均衡化和限制对比度自适应直方图均衡 (Contrast Limited Adaptive Histogram Equalization, CLAHE) 等几种滤波方法进行测试，结果证明，CLAHE方法是唯一最适用本场景的图像增强技术。

2.图像标记

实验人员从珊瑚图像中随机选择1000张图像建立一个训练数据集。在每幅图像中，人工标记了珊瑚的三个不同的活动状态，分别是触须的膨胀状态 (很可能出现在滤食阶段)、半膨胀的瞬时状态和非膨胀状态 (如图2)。

图2. 珊瑚的不同活动状态：膨胀 (左)、半膨胀 (中) 和非膨胀 (右)。

3. 图像分割

为了提高珊瑚活动状态的分类性能，实验将珊瑚图像的背景和前景进行分割，使用HSV算法分割出珊瑚区域的红色部分，即前景。然后结合中值滤波算法以减少图像白噪声并更好的保留珊瑚图像的细节。

4.数据准备

所有的珊瑚图像都应经过以上预处理步骤，然后随机选取珊瑚图像前景中的120个像素点及图像背景中的40个像素点，将这160个像素点与其对应的状态标记共同存储到文本文件中。

5.卷积神经网络 (CNN) 模型

文中构建了一个六层的卷积神经网络模型 (CNN，如图3所示)，用于训练并分类识别每种图像的活动状态。CNN通过Keras库实现，分类结果分别为膨胀、半膨胀、非膨胀和背景。卷积层使用3×3大小的卷积核和ReLU激活函数，最后一层使用Softmax激活函数。ADAM算法用于优化训练模型。损失函数采用“分类交叉熵”。为获得更广泛的数据集，数据经过水平和垂直翻转等方式的数据增强，并使用10倍交叉验证来测试模型。最后，为了节省计算时间，实验选用行列步长为10迭代计算。

图3. 卷积神经网络模型图。

三、行为与环境时间序列汇编

利用CNN算法，我们可以得到珊瑚图像分别处于膨胀、半膨胀、非膨胀行为的百分占比数据，将该结果与同一时间采集的海洋学数据一一对应，最终创建一个整合数据集。

四、时间序列分析

实验使用El-Temps时间生物学软件包的Lomb-Scargle周期图分析了时间数据集的显著周期特性 ()，并结合三种珊瑚活动状态和海洋学数据进行波形分析，以确定柳珊瑚的活动节律和周期。图4叠加展示了三种不同珊瑚活动状态的波形分析。

图4. 结合时间序列的珊瑚活动状态占比表示。膨胀 (黑色)，半膨胀 (蓝色)，非膨胀 (红色)；灰色部分代表夜晚黑暗时间。

五、珊瑚活动的多元模拟

实验人员使用人工智能的分类方法来预测珊瑚的活动状态，其中考虑了7个连续的变量 (x块)：一天中的时间、叶绿素、温度、深度、浊度、盐度和视野 (FOV) 和离散的二元变量 (y块)：膨胀和非膨胀；通过浅层神经网络方法对x块进行多次训练，对不同隐层大小的x块进行二值分类。从而获得了133个特征，最后利用sigmoid隐神经元和SoftMax输出神经元训练一个具有单隐层结构的多层前馈人工神经网络 (MLFN)。为了提取出信息量最大的特征，实验选择了最重要的15个变量，这里的隐层矩阵元素绝对值越大，对MLFN模型的贡献就越相关。

实验结果及意义

曾有一项研究通过手动分析图像对柳珊瑚的活动状态进行分类，指出柳珊瑚的活动节律受潮汐变化的影响。然而本实验使用面向时间生物学的统计方法，结合先进的人工神经网络 (ANN) 建模统计，证明了柳珊瑚每天的收缩活动与昼夜相关，而不是受潮汐周期的影响。此外，本研究为目前大多数有线观测站的数据管理提供了有力工具，可以大大提高有线观测站的生态监测能力。

期刊简介

(ISSN 1424-8220) 于2001年创刊，2019年最新影响因子为3.275，在JCR“Instruments & Instrumentation”学科分类中排名居Q1 (15/64)；2019 Citescore 为5.0，在 Scopus“Physics and Astronomy：Instrumentation” 学科分类中排名居Q1 (17/129)。作为一个国际型开放获取期刊， 主要刊载传感器app和技术研究领域的学术文章，采取单盲同行评审，一审周期约为15天，文章从接收到发表仅需2.6天。