家里小朋友放学会自己打开电视看,需要控制小朋友看电视时常,写一个脚本来进行监控。 容器化部署,Dockerfile文件: 家里路由器给了电视固定的IP地址,脚本逻辑是每分钟ping电视ip,如果发现能ping通,发消息通知并且开始计时,如果…
Leave a Comment作者: admin
直入正题! Flink和Spark类似,也是一种一站式处理的框架;既可以进行批处理(DataSet),也可以进行实时处理(DataStream)。 所以下面将Flink的算子分为两大类:一类是DataSet,一类是DataStream。 D…
Leave a Comment概述 2019 年是大数据实时计算领域最不平凡的一年,2019 年 1 月阿里巴巴 Blink (内部的 Flink 分支版本)开源,大数据领域一夜间从 Spark 独步天下走向了两强争霸的时代。Flink 因为其天然的流式计算特性以及强大…
Leave a Comment我的诉求是,我现在kafka上面有个实时是数据流,他是一个接口的请求日志。 我现在想要实时分析出来每个接口的访问频次和延迟,我还想按照系统的维度统计访问频次和延迟。 就是说我想对同一个数据源进行初始过滤,然后对数据流进行分支,然后分别计算我…
Leave a Comment1.系统配置-软件更新-高级,帮里面的勾选都去掉 2.移除系统配置上面那个升级的小提示 这个小提示只是临时移除,如果你重新打开系统软件升级页面,这个小提示还会再出来。。。
Leave a Comment我的mac电脑有点老,随着系统的升级感觉越来越不好用了,想了想,也看到网上别人的评价,感觉那个Mojave系统还是不错的,想降级到这个系统。 直接在苹果商店搜索 “macOS Mojave”,能找到这个系统: https://apps.ap…
Leave a Comment创建项目 idea新建项目,Archetype选择:org.apache.maven.archetypes:maven-archetype-quickstart 项目创建好之后,pom依赖补充一些flink相关的,日志相关的和打包相关的依赖…
Leave a Comment需要注意帮 DOCKER_HOST_IP 配置成外部可以访问你容器的ip地址,直接修改DOCKER_HOST_IP或者后面的 127.0.0.1都可以。如果这个不修改,外部访问你这个kafka可能会有问题。 参考资料: https://gi…
Leave a Comment参考资料: https://nightlies.apache.org/flink/flink-docs-master/docs/deployment/resource-providers/standalone/docker/#app-clu…
Leave a Comment最近要实现一个基于kafka的流数据处理,需要一个本地的kafka开发环境,有一些在线的测试数据。 项目结构: main.py config.ini Dockerfile docker-compose.yml 编译好镜像直接运行即可,配置指…
Leave a Comment