论文信息
| 属性 | 详细信息 |
|---|---|
| 标题 | 🔬 Object-Based Time-Constrained Dynamic Time Warping Classification of Crops Using Sentinel-2 🔬 基于对象基时序约束动态时间规整的Sentinel-2作物分类方法 |
| 期刊 | 📚︎ Remote sensing | 🌍 地球科学2区 [TOP] |
| 日期 | ⏲️ 2019-05-27 |
| 作者 | 👨🔬 Ovidiu Csillik |
| 关键词 | agricultural mapping、DTW、eCognition、land use/land cover、object-based image analysis、satellite image time series |
一句话解读：该论文分析了单波段DTW与多波段DTW对农作物土地利用分类的影响；
总结
- 使用时序影像堆叠进行时序对象分割；
- 使用DTW及其改进算法计算物候 不相似度 |
dissimilarity特征（待分类对象对各个类别计算DTW距离，然后与参考距离相减）; - 对DTW距离进行回归分析，解释
UA&PA；
引言
1. 写作逻辑
- 背景引入：人类活动对地球环境影响 → 农业扩张的重要性 → 卫星遥感监测的必要性；
- 技术发展现状：现有卫星数据特点 → 时间序列分析挑战 → 传统方法局限性；
- DTW方法介绍：DTW原理简述与遥感应用场景 → 现有研究缺口（像素级分析为主，缺乏对象级分析工具）；
- 研究目标与创新点：提出基于OBIA的DTW分类框架
- 研究意义：方法论价值（与研究目标照应）、应用价值（农业相关）；
2. 具体内容
流行的事件序列分析方法：DTW、BFAST、TIMESAT[软件]、SPIRITS[软件]、WELD[数据]；
SPIRITS：用于处理和解释遥感影像时间序列的软件；
WELD：处理得到的高质量、时序一致的地表覆盖产品；
时间序列分析问题：
| 问题类型 | 问题描述 |
|---|---|
| 伪周期现象 | 🌐定义：表观周期性受外部干扰产生的时空偏移 💡实例：气候变化/人为活动导致的地物物候周期异常波动 |
| 可用样本不足 | ⚠️可用样本不足、时间采集不规则、部分数据缺失（云污染） |
DTW的应用：
| DTW的应用 |
|---|
使用DTW将Landsat时序数据对齐到共同物候，以消除年度物候差异； |
使用DTW识别Landsat时序数据中的异常值，并使用时空插值代替； |
DTW + NDVI绘制水稻种植系统（rice cropping systems）； |
TWDTW：考虑季节性时间加权DTW的土地覆盖分类； |
本论文的前置研究如下：
| 属性 | 详细信息 |
|---|---|
| 标题 | 🔬 Sentinel-2 Cropland Mapping using Pixel-based and Object-based Time-Weighted Dynamic Time Warping Analysis 🔬 基于像素和对象的时间加权动态时间规整分析进行Sentinel-2农田制图 |
| 相关文章 | 📓 论文阅读：使用Sentinel-2进行基于对象与基于像素的DTW作物分类 |
本文在此基础上进行了如下创新：1）将单波段分析扩展到多波段时间约束DTW；2）测试不同时间约束的DTW；3）讨论了DTW不相似度值在理解分类错误和评估分析过程中的误差传播方面的含义。
材料与方法
1. 研究区域
| 属性 | 测试区域-TA1 | 测试区域-TA2 |
|---|---|---|
| 主要作物 | 小麦、苜蓿、其他干草/非苜蓿、甜菜、洋葱、草坪、闲置耕地、蔬菜，水域； | 玉米、棉花、冬小麦、苜蓿、闲置耕地、草地/牧场、间作作物（冬小麦后种植玉米）； |
| 地理信息 | 加利福尼亚州南部，低海拔，属于炎热沙漠气候； | 德克萨斯州西北部，半干旱气候； |
2. 时序影像数据
3. 使用的植被指数
作者从Sentinel-2提取的植被指数有：NDVI | 归一化植被指数 、GNDVI | 绿光归一化植被指数 、NDRE | 归一化红边指数 、SAVI | 土壤调节植被指数 、NDWI | 归一化水体指数；相关指数的具体计算公式请参考：方法记录：遥感指数计算；
作者选择NDVI作为单波段DTW输入数据，所有5个指数作为多波段DTW输入数据；
4. 分类类别与物候分析
为了避免选择多个同类的异质样导致平滑❗参考时序模式（物候），每个类别选择了3个参考样本来生成 DTW 分类所需的时序模式，其余样本用于验证；单波段基于NDVI生成物候曲线，多波段生成5个指数的物候曲线；
论文在这里给出了两个研究区域中各个分类类别的这几种植被指数的物候曲线，并选取了几个类别进行物候曲线分析，以下是我从总结的信息：
- 对于植被而言，这五个植被指数的时序模式都可以反应其物候特征，比如：冬小麦的单一种植周期，蔬菜的二至三个种植周期，以及苜蓿的多种植周期；
- 对于水体而言，这五个植被指数的值基本都处于0之下；
5. 对象分割与分割精度评估
这部分是我阅读这篇文献的目的，如何对时序影像进行对象分割？
这篇论文采用MRS算法进行多尺度分割，并通过视觉观察选取第二级尺度，其中尺度参数（SP）采用ESP2方法找到合适值；
文中采用的时序数据分割方式是：直接堆叠无云影像进行分割；
- 对于TA1实验区域而言，作者选择了$26$幅图像堆叠，得到了波段数为$26\times 4 = 104$的分割图像；
- 需要注意的是，前面计算植被指数用到了Sentinel-2的七个波段，但是这里分割时只用到了4个波段，不知为何。
文中采取MRS分割结果与手工标注分割结果相比较从而进行分割精度评估，使用的分割精度评估指标有：AFI | 区域拟合指数 、OS | 过分割 、US | 欠分割 、D | 均方根误差 、QR | 质量比率；分割精度评估具体流程请参考：方法记录：分割精度评估；
6. DTW与分类精度评估
论文接下来介绍了传统DTW与带时间约束的DTW算法的实现细节，DTW及其衍生算法请参考：方法记录：DTW及其衍生算法；算法实现方面，论文采用软件实现。eCognition Developer@9.4已经支持基于对象的DTW工作流；（可用作初步验证）；该算法简单来说就是：将一个待分类对象被分类到具有最小DTW距离值的类别；
论文采用的分类精度评估指标有：OA | 总体精度 、PA，UA | 用户与生产者精度；
结果
论文结果板块遵循如下顺序：1）分割结果分析；2）OAs分析；3）PA&UA分析；4）DTW不相似度分析；5）误差/不确定性分析；我只介绍一下我认为重要的结果分析部分；
1. OA、PA & UA
论文实验的OAs如下所示。其中，对于TA1多波段DTW30/45最好，对于TA2单波段DTW45最好；
论文接下来对实验结果进行了UA & PA分析，该分析是基于这两个实验区域最佳OA的分类结果下进行的。
值得一提的是，论文在可视化分类结果时，将开发/低至中等强度区域用白色遮蔽（原文为：For clarity, the developed/low to medium intensity areas are masked with white.）我的理解是：
- 因为，论文分内的对象都是大块农田，城市建成区不在考虑范围内，所以需要将城市屏蔽掉；
- 需要注意的是，作者并未给出相应的屏蔽条件；
关于是否屏蔽掉与给定地物类别的DTW距离没有显著最小值得待分类对象，以更好的可视化分类结果，这是个可讨论问题；如果假设可行，这是一种通过设置阈值进行未分类元素屏蔽得方法🔥；
2. DTW不相似度分析
论文为分类结果图生成了相应的 不相似度 | dissimilarity 图，该图可以看作分类的不确定性图，这是使用DTW算法的论文中常见的分析方式；
- 不相似度：已分类对象与分类结果的参考物候💥的DTW矩阵右下角的最终值，即对象与分类结果的DTW距离值；
- 归一化：论文采用了min-max归一化方法归一化了DTW距离值，消除不同波段或时间约束下的量纲差异💥，便于跨条件比较。
尽管作者是将未分类对象分类到DTW距离最小的地物类别，但作者还是记录了待分类对象的分类后与各个类别的DTW距离散点图。作者根据这个散点图矩阵拟合了个线性曲线，并求取$R^2$，以讨论两个地物类别间是否有关联性；
- 例如：下图中Grass与Cotton的$R^2=0.86$较高，因此Grass与Cotton间容易混淆；当然，高$R^2$能解释低
UA&PA，但低UA&PA不一定导致$R^2$较低，Grass与Cotton的例子便很好的说明了这一点；
讨论
作者在论文最后部分对相关方法与未来发展进行了讨论，在这里我只列出我感兴趣的部分：
针对时序遥感数据的分割（segementation of SITS）：在分割过程中引入多时相图像，允许通过时间来划分同质对象。将多分辨率分割与超像素结合可以帮助减少分割过程所需资源和时间；
文中直接使用无云图像进行分割💥，其实还可以使用其他选择图像的方法来优化分割流程；带时间约束的DTW（TWDTW）：在使用DTW时引入合适时间约束是很重要的，延迟时间应当既不过于严格，也不允许在计算 DTW 矩阵时过于自由，从而避免了作物匹配的不一致性。
DTW的优势：
- 对参考样本数量的敏感性不高，文中使用了3个参考样本点足矣；请参考：前置论文；
未来发展方向：1）多年生作物识别；2）更改DTW距离公式；3）使用时间约束和变形窗口提升DTW计算效率；