背景 一直非常喜欢一个网站 https://www.examples.com/，想着这个网站如果突然不在了可怎么办？就想着有什么办法能帮这个网站保存下来。 正好之前玩过Python爬虫，想着能不能帮网站爬下来，试试吧？ 网站爬取 分析 我之前做爬虫一般需要分2步骤的，第一步是拿到要抓取目标站点的页面url，这一般都是独立算法的，第二步是抓取页面内容，然后分析页面内容拿到想要的数据。 获取完整网站地…
Leave a Comment作者： admin
背景 尝试抓取一个网站的资源做一些分析，发现直接curl或者Python的request请求下来的资源不对，用html打开发现是Cloudflare的一个保护页。有此可知这个网站是被保护了，一般的请求肯定是不行了。 方案 在进行很多尝试之后发现一个python库可以解决这个问题（cfscrape） ，这个库只支持python3+。 使用很简单，可以使用，但是我发现一个问题，用这个库请求到的页面居然…
Leave a Comment升级完idea之后，打开项目，很多包找不到，更新maven依赖，提示我：Could not transfer artifact com.xxx:1.7.2 from/to maven-default-http-blocker (http://0.0.0.0/): Blocked mirror for repositories: [libs-releases 大概意思是，一个叫 maven-defa…
Leave a Comment想装一个idea插件，发现插件各种报错。 查不到什么原因，看了下我的idea版本，还是2019年的，心想可能是我的版本太低了吧？ 看了一眼官网已经出到 2022.2.3了。升级下idea呗？ 下载官方最新版本，双击安装， 替换安装，安装完成，启动。。 闪退。。 启动。。。闪退。。。。 我滴妈，咋回事啊？ 难道是我的操作系统版本不对？ 升级下系统吧，我的Mac系统好像是有个大版本要升级。 花了半天升…
3 Comments升级完最新系统，刚准备coding，提示让我安装command line developer tools，我就安装了一下，提示安装完成之后，打开命令行，又提示要我安装这个。。 我感觉哪里不对，尝试重启下操作系统，完事之后发现没用，还是要安装。。。 尝试搜索了一下 loop install command line developer tools ，发现这个帖子：https://developer.…
Leave a Comment前几年关注过Cloudflare的Tunnel服务，当时号称是可以进行tcp流量防护的服务，只是当时还是需要收费的，没有进行深入研究。最近没事点开Cloudflare的控制台，发现tunnel服务已经放到一个新的叫 Cloudflare Zero Trust的子网站里面功能了，而且好像已经不收费了，免费就能用。 尝试了一下，非常爽，之前各种办法尝试解决的内网穿透问他，现在可以很优雅的解决了。 这里…
Leave a Comment以经典vue项目为例 项目根目录新增Dockerfile文件 构建镜像 运行容器 这样你就可以通过地址 http://localhost:8080/来访问你的项目啦！ 参考资料： https://v2.vuejs.org/v2/cookbook/dockerize-vuejs-app.html
Leave a CommentFree eBook FROM baeldung Build your API with Spring Like a Pro The eBook will help you hit the ground running and teach you how to build your very first REST API: Bootstrapping a Web Applica…
Leave a Comment少时， 春风得意马蹄疾，不信人间有别离， 后来才发现， 原来，我们已经和很多人见完了最后一面。 蓦然回首，才发现: 秋月无边，红尘无岸， 就如这虚虚实实的人生， 也无风雨，也无晴。
Leave a Comment题目是一句golang编程箴言，对它的理解可大可小。 往小了说，golang建议使用channel来共享信息而不是使用共享内存，这是一种优雅的方式，避免了数据同步带来的繁琐和低效。 往大了说，本质上还是让资源去调度请求，而不是让请求去调度资源。 有些时候，思维的转变，问题的视角，会带来意想不到的收获 资源就那么多，所有请求有序使用资源的方式就是通信的方式，反过来，为每个请求虚拟出它独占资源的假象，…
Leave a Comment