用例介绍： 从Kafka消费的一些接口日志，先对数据进行了过滤，然后将数据进行了3个维度的分析，分别是： 1.按照接口的维度统计调用量 2.按照应用的维度统计调用量和平均延迟 3.按照自然日来统计调用量
Leave a Comment小菜菜的博客 Posts
Flink 认为 Batch 是 Streaming 的一个特例，所以 Flink 底层引擎是一个流式引擎，在上面实现了流处理和批处理。而窗口（window）就是从 Streaming 到 Batch 的一个桥梁。Flink 提供了非常完善…
Leave a Comment家里小朋友放学会自己打开电视看，需要控制小朋友看电视时常，写一个脚本来进行监控。 容器化部署，Dockerfile文件： 家里路由器给了电视固定的IP地址，脚本逻辑是每分钟ping电视ip，如果发现能ping通，发消息通知并且开始计时，如果…
Leave a Comment直入正题！ Flink和Spark类似，也是一种一站式处理的框架；既可以进行批处理（DataSet），也可以进行实时处理（DataStream）。 所以下面将Flink的算子分为两大类：一类是DataSet，一类是DataStream。 D…
Leave a Comment概述 2019 年是大数据实时计算领域最不平凡的一年，2019 年 1 月阿里巴巴 Blink （内部的 Flink 分支版本）开源，大数据领域一夜间从 Spark 独步天下走向了两强争霸的时代。Flink 因为其天然的流式计算特性以及强大…
Leave a Comment我的诉求是，我现在kafka上面有个实时是数据流，他是一个接口的请求日志。 我现在想要实时分析出来每个接口的访问频次和延迟，我还想按照系统的维度统计访问频次和延迟。 就是说我想对同一个数据源进行初始过滤，然后对数据流进行分支，然后分别计算我…
Leave a Comment1.系统配置-软件更新-高级，帮里面的勾选都去掉 2.移除系统配置上面那个升级的小提示 这个小提示只是临时移除，如果你重新打开系统软件升级页面，这个小提示还会再出来。。。
Leave a Comment我的mac电脑有点老，随着系统的升级感觉越来越不好用了，想了想，也看到网上别人的评价，感觉那个Mojave系统还是不错的，想降级到这个系统。 直接在苹果商店搜索 “macOS Mojave”，能找到这个系统： https://apps.ap…
Leave a Comment创建项目 idea新建项目，Archetype选择：org.apache.maven.archetypes:maven-archetype-quickstart 项目创建好之后，pom依赖补充一些flink相关的，日志相关的和打包相关的依赖…
Leave a Comment需要注意帮 DOCKER_HOST_IP 配置成外部可以访问你容器的ip地址，直接修改DOCKER_HOST_IP或者后面的 127.0.0.1都可以。如果这个不修改，外部访问你这个kafka可能会有问题。 参考资料： https://gi…
Leave a Comment