phpspldoublylink技巧_SLS 数据加工周全进级集成 SPL 语法

文章目录 [+]

数据加工概述

Cloud Native

phpspldoublylink技巧_SLS 数据加工周全进级集成 SPL 语法

在系统开拓、运维过程中，日志是最主要的信息之一，其最大的优点是大略直接。
不过在全体日志的生命周期里有一对很难调和的抵牾：输出和采集日志哀求尽可能的大略便捷 vs 日志剖析时须要数据格式化并能够按需存储。
为理解决前者，担保做事的稳定和效率，提出了不同的高性能数据管道办理方案，比如阿里云 SLS 这样的云做事、还有 Kafka 这样的开源中间件。
而对付后者，须要供应给下贱规范化的、完全的数据，用于比如业务剖析等场景，SLS 数据加工即是达成这一需求的功能。

如上图所示，SLS 数据加工的常见场景：

phpspldoublylink技巧_SLS 数据加工周全进级集成 SPL 语法

（图片来自网络侵删）

规整：这是利用频率最高的场景，比如从文本日志数据中提取出关键信息，将其转为规范化的数据。
富化：比如用户的点击数据中只包含商品 ID，在剖析时须要从数据库关联起详细信息。
脱敏：随着我国信息安全干系法律的完善，对付敏感数据（比如个人信息）的处理哀求越来越高。
分裂：在数据写出时，处于性能、便捷性考虑会将多条数据合并输出，在剖析前则须要拆分出独立数据条款。
分发：将不同类型的数据分别写到不同的特定目标中，以供下贱定制化利用。

新版数据加工提升

Cloud Native

集成 SPL，统一语法SPL 是 SLS 为日志采集、交互式查询、流式消费、数据加工等数据处理的场景，供应的统一的数据处理语法，语法细节可参考 SPL 语法[1]。
新版数据加工 SPL 编写过程支持按行调试和代码提示，更靠近 IDE 编码体验。
性能提升 10+ 倍，大数据量、数据洪峰处理更平滑在处理无规则日志数据场景中，相同的处理繁芜度，新版数据加工相对付旧版有 10+ 倍的性能提升，能够支撑更高的数据吞吐量。
其余，通过调度系统的升级，面对平常流量上千倍的数据洪峰时，新版数据加工能够更加敏捷的实现打算并发扩展，尽可能减少洪峰带来的积压。
本钱更优，降至旧版 1/3通过数据加工做事的技能迭代升级，新版数据加工供应了更具上风的利用本钱，仅为旧版数据加工的 1/3。
以是，在需求场景已经支持时，推举利用数据加工（新版）。

集成 SPL、统一语法

Cloud Native

新版数据加工事理

新版数据加工通过托管实时数据消费的任务，结合日志做事 SPL 规则消费功能，实现对日志数据的实时加工处理，事理如下图。

调度机制对每一个加工任务，加工做事的调度器会启动一个或多个运行实例，并发实行数据处理，每个运行实例扮演一个消费者角色消费 1 个或者多个源 Logstore 的 Shard。
调度器根据运行实例资源花费、以及处理进度决定运行实例数目，实现弹性并发。
单个任务的并发上限为源 Logstore 的 Shard 数量。
运行实例根据任务的 SPL 规则和目标 Logstore 等配置信息，从数据加工做事分配的 Shard 中，利用 SPL 规则消费源日志数据，将基于 SPL 规则处理后的结果分发写入对应的目标 Logstore。
运行实例运行过程中，自动保存 Shard 的消费点位，确保任务停滞重启时，从断点处连续消费。

SPL 语法比拟旧版 DSL

相对付数据加工（旧版）DSL 措辞，日志做事 SPL 语法提升了易用性，详细如下：

1. 数据加工（旧版）DSL 语法作为 Python 语办法集，须要函数式编程，利用过程中存在较多语法符号冗余。
相较而言，日志做事 SPL 措辞是类 Shell 指令式语法，在最大程度减少语法符号的冗余。
如下案例：

旧版本利用函数 v 引用字段值 v("field")，SPL 则直接引用字段，比如 | where field='ERROR'。
旧版本函数调用 func(arg1, arg2)，转为 SPL 指令 | cmd arg1, arg2，编写更简洁。

2. SPL 措辞支持处理过程中临时字段类型保持，数据类型转换[2]；与之相反，数据加工（旧版）DSL 的定义中，字段值固定为字符串类型，类型转换的中间结果不支持保留。
比如，如下 DSL 脚本，需两次调用 ct_int 函数：

e_set("ms", ct_float(v("sec"))1000)e_keep(ct_float(v("ms")) > 500)

对应的 SPL 逻辑则更为简洁，无需两次转换类型，参考如下：

| extend ms=cast(sec as double)1000| where ms>1024

3. 其余，SPL 措辞可以无缝利用日志做事 SQL 函数，无需额外的理解和学习本钱，SPL 所支持的 SQL 函数参考 SQL 函数概览[3]。

数据加工 SPL 代码调试

调试菜单

数据加工（新版）SPL 调试菜单参考