家里小朋友放学会自己打开电视看，需要控制小朋友看电视时常，写一个脚本来进行监控。 容器化部署，Dockerfile文件： 家里路由器给了电视固定的IP地址，脚本逻辑是每分钟ping电视ip，如果发现能ping通，发消息通知并且开始计时，如果发现电视关机了，汇总开机时长并且报告。
Leave a Comment作者： admin
直入正题！ Flink和Spark类似，也是一种一站式处理的框架；既可以进行批处理（DataSet），也可以进行实时处理（DataStream）。 所以下面将Flink的算子分为两大类：一类是DataSet，一类是DataStream。 DataSet 一、Source算子 1. fromCollection fromCollection：从本地集合读取数据 例： 2. readTextFile …
Leave a Comment概述 2019 年是大数据实时计算领域最不平凡的一年，2019 年 1 月阿里巴巴 Blink （内部的 Flink 分支版本）开源，大数据领域一夜间从 Spark 独步天下走向了两强争霸的时代。Flink 因为其天然的流式计算特性以及强大的处理性能成为炙手可热的大数据处理框架。 时至今日，Flink 已经发展到 1.9 版本，在大数据开发领域，面试中对于 Flink 的考察已经是大数据开发求职者…
Leave a Comment我的诉求是，我现在kafka上面有个实时是数据流，他是一个接口的请求日志。 我现在想要实时分析出来每个接口的访问频次和延迟，我还想按照系统的维度统计访问频次和延迟。 就是说我想对同一个数据源进行初始过滤，然后对数据流进行分支，然后分别计算我想要的数据。
Leave a Comment1.系统配置-软件更新-高级，帮里面的勾选都去掉 2.移除系统配置上面那个升级的小提示 这个小提示只是临时移除，如果你重新打开系统软件升级页面，这个小提示还会再出来。。。
Leave a Comment我的mac电脑有点老，随着系统的升级感觉越来越不好用了，想了想，也看到网上别人的评价，感觉那个Mojave系统还是不错的，想降级到这个系统。 直接在苹果商店搜索 “macOS Mojave”，能找到这个系统： https://apps.apple.com/us/app/macos-mojave/id1398502828?mt=12 我们的mac可以正常下载下来，但是安装的时候会报错： 大概的意思是…
Leave a Comment创建项目 idea新建项目，Archetype选择：org.apache.maven.archetypes:maven-archetype-quickstart 项目创建好之后，pom依赖补充一些flink相关的，日志相关的和打包相关的依赖： 这里是个简单聚合统计场景，按照接口统计每分钟的调用频次。 用maven进行项目打包之后会出来个几十兆的大的jar包，帮他上传到flink集群的job里面，然…
Leave a Comment需要注意帮 DOCKER_HOST_IP 配置成外部可以访问你容器的ip地址，直接修改DOCKER_HOST_IP或者后面的 127.0.0.1都可以。如果这个不修改，外部访问你这个kafka可能会有问题。 参考资料： https://github.com/conduktor/kafka-stack-docker-compose.git
Leave a Comment参考资料： https://nightlies.apache.org/flink/flink-docs-master/docs/deployment/resource-providers/standalone/docker/#app-cluster-yml
Leave a Comment最近要实现一个基于kafka的流数据处理，需要一个本地的kafka开发环境，有一些在线的测试数据。 项目结构： main.py config.ini Dockerfile docker-compose.yml 编译好镜像直接运行即可，配置指定好测试数据位置和kafka位置。
Leave a Comment