数据收集工具的设计与最佳实践

数据收集对象的设计与最佳实践
图 3 logkit 首页

字段筛选：解析后的字段数据未必都须要发送，这时如不雅能供给一个字段筛选的功能，就可以便应用户选择去掉落一些无用字段，并节俭传输的成本。也可以在 Transformer 中供给类似 discard transformer 的功能，将某个字段去掉落。

打开辟址后看到如图 3 所示的 logkit 设备助手首页，这个页面会清楚地展示今朝所有的 logkit Runner 运行状况，包含攫取速度、发送速度、成功 / 掉败数据条数，以及一些缺点日记。还可以在这里修改和删除 Runner。

点击左上角【增长 Runner】按钮，可以添加新的 logkit Runner。

数据收集对象的设计与最佳实践
图 4 数据源 Reader 设备

如图 4 所示，新增 Runner 的第一步就是设备数据源，为了尽可能便应用户，logkit 将绝大年夜多半选项都预设了默认值，用户只须要根据页面提示填写黄色的必填项即可。

按页面步调依次设备数据源、解析方法、以及发送方法。

数据收集对象的设计与最佳实践

而在这已经实现的有限的几个发送读闼楝我们是这么设计的应用处景：

如不雅收集数据是为了监控，那么可以应用 InfluxDB Sender，发送到开源的 InfluxDB 办事端，实现及时数据监控。
如不雅收集数据是为了搜刮查看，那么可以应用 Elasticsearch Sender，发送到开源的 Elasticsearch 办事端，进行日记萌芽。
如不雅收集数据是为了计量统计或者其他一些涵盖复杂的增删改查需求的场景，那么就可以应用 MongoDB Sender，在本地对数据进行聚合，再发送到开源的 MongoDB 办事中。

图 5 解析数据

如图 5 所示，在设备解析方法的页面还可以根据设备测验测验解析样例数据，这个页面可以根据你的实际数据异常便利地调试解析方法。

数据收集对象的设计与最佳实践
图 6 字段变更 Transformer

如图 6 所示，除懂得析以外，还可以针对解析出来的某个字段内容做数据变换(Transform)，即上一章中描述的 Transformer。可以像管道一样拼接多个 Transformer，做多重字段变更。

ReadLine() string  
SyncMeta() error

最后设备完发送方法，可以在如图 7 所示的页面做二次确认。

数据收集对象的设计与最佳实践
图 7 确认并添加页

在二次确认的页面中，可以直接修改表达内容也可以返回上一步修改，最终点击添加 Runner 即可生效。

到这里，一个复杂的数据收集工作就完成了，怎么样，就是这么简单，快来实际体验一下吧!

【编辑推荐】

【义务编辑：未丽燕 TEL：（010）68476606】

　　推荐阅读

　　微软又推黑科技新招 Edge浏览器读网页

沙龙晃荡 | 去哪儿、陌陌、ThoughtWorks在主动化运维中的实践！10.28不见不散！【编辑推荐】微软联袂FB推出开源项目打造共享神经收集模型微软Skype开启第二轮Cortana整合，可参加对话傍边作为助手微软>>>详细阅读

地址：http://www.17bianji.com/lsqh/38064.html