新的大数据算法改善了地震检测能力;监测牲畜健康和农业病虫害

 
两种新算法可以帮助地震预警系统在地面开始震动之前为您提供几秒钟的下落，覆盖和保持的时间。
加州大学里弗赛德分校的计算机科学家开发了两种算法，可以改善地震监测，并帮助农民保护农作物免受有害昆虫的侵害，或者监测鸡和其他动物的健康。与其他方法相比，该算法能够以较低的计算能力和较低的成本快速发现大型数据集中的模式，并已用于改善地震检测，监视昆虫矢量亚洲柑橘木虱和评估鸡的摄食行为。
大数据，大问题
自动记录一段时间内重复发生的事件的传感器(例如地震传感器)存在问题。他们收集了太多的数据，很难发现模式。时序分析通常通过使用图形处理单元或GPU查找数据集中的样本序列的其他示例来对此进行补救。但是对于非常大的数据集，这变得不切实际，因为它需要太多的GPU，这增加了成本。
Zachary Zimmerman是Marlan和Rosemary Bourns工程学院计算机科学的博士研究生，它基于先前由计算机科学共同作者兼教授Eamonn Keogh开发的算法来处理超大型数据集，并将其运行在托管于该计算机上的40个GPU上Amazon Web Services云。
该算法称为SCAMP，仅用10个小时，就以大约300美元的合理成本对加州帕克菲尔德断层(位于帕克菲尔德镇附近的圣安德烈亚斯断层的一部分)的近两年的地震记录进行了分类，并发现了16倍以上地震比以前知道的多。
Keogh说：“很难过分强调这种算法的可扩展性。” “为证明这一点，我们做了五百亿分之一的地震数据片段成对比较，即1乘以18，然后是18个零。文献中的其他内容都不到该大小的十分之一。”
识别地震并不总是那么容易
共同作者，地震学副教授加雷斯·弗宁(Gareth Funning)说：“地震学中最根本的问题是根本无法识别地震。地震学家在应用计算机科学的策略来寻找相似模式方面已经取得了许多方法上的改进。” “这里最大的进步是，您可以管理的数据集越来越大。当我们查看地震数据时，我们通常认为我们在两个月的时间范围内比较所有数据都做得很好。”
其他地震检测方法要求该算法找到与已知地震匹配的序列。相反，加州大学河滨分校的方法会比较给定时间内的所有数据，从而可以识别出不一定与模型中给出的地震相匹配的地震。
例如，他们对Parkfield数据的分析发现了圣安德烈亚斯断层下的细微低频地震。这些地震的序列(也称为非火山地震)伴随着构造板块的缓慢而缓慢的运动。
像十年前的日本那样，低频地震的发生有时比大规模地震先发生。更好地检测低频地震可以帮助改善对最大地震的预报，还可以帮助科学家更好地监测构造板块的运动。
从地震到鸡和虫害
SCAMP算法还可以检测有害的农业害虫。 Keogh安装了传感器，记录了昆虫从叶子中吸取汁液时的运动，并使用该算法来识别亚洲柑橘木虱，该昆虫通过传播引起黄龙病或柑橘绿化病的细菌来破坏柑橘类作物。他还使用该算法分析了来自加速度计的数据集，该加速度计可测量几天内附着在鸡身上的各种运动。然后，SCAMP确定了与进食和其他行为有关的特定模式。
但是，SCAMP有一个局限性。
“ SCAMP要求您在搜索之前拥有整个时间序列。在挖掘历史地震学数据的情况下，我们拥有该数据。或者，在科学研究中，我们可以对这只鸡跑十个小时，然后对数据进行分析，”共同作者，计算机科学副教授，齐默尔曼博士的博士Philip Brisk说。 “但是随着传感器附近的数据流传输，我们不想等待10个小时。我们希望能够说出正在发生的事情。”
更快的实时地震检测
Zimmerman使用了SCAMP对Parkfield故障数据的分析生成的数十亿个数据点(称为矩阵配置文件)来训练称为LAMP的算法。 LAMP将流数据与以前看到的示例进行比较，以选择最相关的数据，使其脱离传感器。
Zimmerman使用了SCAMP对Parkfield故障数据的分析生成的数十亿个数据点(称为矩阵配置文件)来训练称为LAMP的算法。 LAMP将流数据与以前看到的示例进行比较，以选择最相关的数据，使其脱离传感器。
Zimmerman说：“在传感器处为您提供矩阵配置文件意味着您可以立即知道什么是重要的，什么不重要。您可以实时进行所有检查，因为您只是在浏览重要的部分。”
更快地解释地震数据的能力可以改善已经存在的地震预警系统。
Funning说：“有了地震预警，您将试图在监视站发现事件，然后将信息转发到评估大地震是否发生的中央系统。” “这样的设置在将其传输到系统之前，可能会做很多辨别工作。您可以节省时间来确定正在发生的破坏性事件所需的计算时间，从而使人们多花了几秒钟来跌落，掩盖，等等。”
他补充说：“地震预警几秒钟之大。”
关于SCAMP的论文“矩阵配置文件XIV：使用GPU扩展时间序列基序发现以打破一天甚至更多的成对配对比较”，已在2019年11月20日至23日在圣克鲁斯举行的ACM云计算研讨会上发表。作者是Zachary Zimmerman，Kaveh Kamgar，Nader Shakibay Senobari，Brian Crites，Gareth Funning，Philip Brisk和Eamonn Keogh。
在11月初于北京举行的2019 IEEE国际数据挖掘会议上，发表了有关LAMP的论文，“矩阵概况XVIII：使用学习的近似矩阵概况在快速移动流中进行时间序列挖掘”。作者是Zachary Zimmerman，Nader Shakibay Senobari，Gareth Funning，Evangelos Papalexakis，Samet Oymak，Philip Brisk和Eamonn Keogh。