尝试在almalinux-9-x86_64系统使用docker来部署wireguard， docker和docker-compose安装好之后执行下面的部署配置： 执行完部署之后发现启动似乎正常，配置也都出来了，客户端尝试连接发现只有发送数据，没有接收数据。 再仔细看应用启动日志发现以下错误： 执行下面命令解决问题： 参考资料： https://github.com/linuxserver/doc…
Leave a Comment月度归档： 2024 年 1 月
用例介绍： 从Kafka消费的一些接口日志，先对数据进行了过滤，然后将数据进行了3个维度的分析，分别是： 1.按照接口的维度统计调用量 2.按照应用的维度统计调用量和平均延迟 3.按照自然日来统计调用量
Leave a CommentFlink 认为 Batch 是 Streaming 的一个特例，所以 Flink 底层引擎是一个流式引擎，在上面实现了流处理和批处理。而窗口（window）就是从 Streaming 到 Batch 的一个桥梁。Flink 提供了非常完善的窗口机制，这是我认为的 Flink 最大的亮点之一（其他的亮点包括消息乱序处理，和 checkpoint 机制）。本文我们将介绍流式处理中的窗口概念，介绍 F…
Leave a Comment家里小朋友放学会自己打开电视看，需要控制小朋友看电视时常，写一个脚本来进行监控。 容器化部署，Dockerfile文件： 家里路由器给了电视固定的IP地址，脚本逻辑是每分钟ping电视ip，如果发现能ping通，发消息通知并且开始计时，如果发现电视关机了，汇总开机时长并且报告。
Leave a Comment直入正题！ Flink和Spark类似，也是一种一站式处理的框架；既可以进行批处理（DataSet），也可以进行实时处理（DataStream）。 所以下面将Flink的算子分为两大类：一类是DataSet，一类是DataStream。 DataSet 一、Source算子 1. fromCollection fromCollection：从本地集合读取数据 例： 2. readTextFile …
Leave a Comment概述 2019 年是大数据实时计算领域最不平凡的一年，2019 年 1 月阿里巴巴 Blink （内部的 Flink 分支版本）开源，大数据领域一夜间从 Spark 独步天下走向了两强争霸的时代。Flink 因为其天然的流式计算特性以及强大的处理性能成为炙手可热的大数据处理框架。 时至今日，Flink 已经发展到 1.9 版本，在大数据开发领域，面试中对于 Flink 的考察已经是大数据开发求职者…
Leave a Comment我的诉求是，我现在kafka上面有个实时是数据流，他是一个接口的请求日志。 我现在想要实时分析出来每个接口的访问频次和延迟，我还想按照系统的维度统计访问频次和延迟。 就是说我想对同一个数据源进行初始过滤，然后对数据流进行分支，然后分别计算我想要的数据。
Leave a Comment1.系统配置-软件更新-高级，帮里面的勾选都去掉 2.移除系统配置上面那个升级的小提示 这个小提示只是临时移除，如果你重新打开系统软件升级页面，这个小提示还会再出来。。。
Leave a Comment我的mac电脑有点老，随着系统的升级感觉越来越不好用了，想了想，也看到网上别人的评价，感觉那个Mojave系统还是不错的，想降级到这个系统。 直接在苹果商店搜索 “macOS Mojave”，能找到这个系统： https://apps.apple.com/us/app/macos-mojave/id1398502828?mt=12 我们的mac可以正常下载下来，但是安装的时候会报错： 大概的意思是…
Leave a Comment创建项目 idea新建项目，Archetype选择：org.apache.maven.archetypes:maven-archetype-quickstart 项目创建好之后，pom依赖补充一些flink相关的，日志相关的和打包相关的依赖： 这里是个简单聚合统计场景，按照接口统计每分钟的调用频次。 用maven进行项目打包之后会出来个几十兆的大的jar包，帮他上传到flink集群的job里面，然…
Leave a Comment