程序员的职业成长，可能是诸多行业中最难的那一批了： 校园时学的计算机理论，工作了几乎用不上；技术的革新太快，轮子还没精通就被时代淘汰；虚拟环境总是顺风顺水，一上生产环境就劫难重重；面试时候要求造核弹，工作以后拧螺丝，聊绩效时说没有造核弹的思考；觉得技术是最重要的，又觉得只会技术走不远，于是既丢掉了对技术的追求，也没学会对业务的思考；…… 写代码很简单，写好代码很难；编程的精髓是“创造”；技术很重要…
Leave a Comment小菜菜的博客 Posts
我们拿到的A股历史趋势数据为： 想绘制一个历史变化的趋势图，简单使用python脚本来实现：
Leave a Comment过年回到老家，家里的网络是移动的300M,手机实测只有30M，找了个笔记本直接插线测速能跑到300多兆。 不知道路由器密码，戳小洞重置路由器，登陆路由器查看设备是很老的那种TP-LINK,网口是100M的，然后无线是802.11 b/g/n，理论上802.11n能跑150M啊，但是实测最多只能跑到30M，应该是路由器太老了。 听家里说宽带是最近两年装的，我记得光猫一般都是带无线能力的，看看能不能从…
Leave a Comment编辑 /etc/nginx/nginx.conf，在 http 那块配置里面，加上如下代码： 然后，在具体的 nginx server 配置里的 access_log 后面，加上一句 timed_combined 即可： 参考资料： https://nginx.org/en/docs/http/ngx_http_log_module.html#log_format
Leave a Comment用例介绍： 从Kafka消费的一些接口日志，先对数据进行了过滤，然后将数据进行了3个维度的分析，分别是： 1.按照接口的维度统计调用量 2.按照应用的维度统计调用量和平均延迟 3.按照自然日来统计调用量
Leave a CommentFlink 认为 Batch 是 Streaming 的一个特例，所以 Flink 底层引擎是一个流式引擎，在上面实现了流处理和批处理。而窗口（window）就是从 Streaming 到 Batch 的一个桥梁。Flink 提供了非常完善的窗口机制，这是我认为的 Flink 最大的亮点之一（其他的亮点包括消息乱序处理，和 checkpoint 机制）。本文我们将介绍流式处理中的窗口概念，介绍 F…
Leave a Comment家里小朋友放学会自己打开电视看，需要控制小朋友看电视时常，写一个脚本来进行监控。 容器化部署，Dockerfile文件： 家里路由器给了电视固定的IP地址，脚本逻辑是每分钟ping电视ip，如果发现能ping通，发消息通知并且开始计时，如果发现电视关机了，汇总开机时长并且报告。
Leave a Comment直入正题！ Flink和Spark类似，也是一种一站式处理的框架；既可以进行批处理（DataSet），也可以进行实时处理（DataStream）。 所以下面将Flink的算子分为两大类：一类是DataSet，一类是DataStream。 DataSet 一、Source算子 1. fromCollection fromCollection：从本地集合读取数据 例： 2. readTextFile …
Leave a Comment概述 2019 年是大数据实时计算领域最不平凡的一年，2019 年 1 月阿里巴巴 Blink （内部的 Flink 分支版本）开源，大数据领域一夜间从 Spark 独步天下走向了两强争霸的时代。Flink 因为其天然的流式计算特性以及强大的处理性能成为炙手可热的大数据处理框架。 时至今日，Flink 已经发展到 1.9 版本，在大数据开发领域，面试中对于 Flink 的考察已经是大数据开发求职者…
Leave a Comment我的诉求是，我现在kafka上面有个实时是数据流，他是一个接口的请求日志。 我现在想要实时分析出来每个接口的访问频次和延迟，我还想按照系统的维度统计访问频次和延迟。 就是说我想对同一个数据源进行初始过滤，然后对数据流进行分支，然后分别计算我想要的数据。
Leave a Comment