Press "Enter" to skip to content

作者: admin

谷歌翻译插件报错(AttributeError: ‘NoneType’ object has no attribute ‘group’)

偶然机会需要用到Python来翻译资料,调研一番发现googletrans这个插件还不错。 安装好插件,尝试写了个demo 发现始终报错 最后查阅资料发现需要升级库的版本。。。 Hi guysThis problem has been solved in new version. please install 4.0.0rc1 versionpip install googletrans==4.0…

Leave a Comment

python json dump 输出中文

在写爬虫时,使用python自带的json模块将网页中需要的信息输出保存到json文件中,发现json文件中的中文 格式全是类似于”\u5176\u5b83”的形式。可见该模块将输出的中文进行了 编码,将utf-8码直接变成了 ascii字符的形式。所以这些字符无法直接阅读。 要直接输出中文需要使用 json.dump()函数的 ensure_ascii=False选项。同时需要采用 codecs…

Leave a Comment

使用Python爬虫抓取网站的内容

背景 一直非常喜欢一个网站 https://www.examples.com/,想着这个网站如果突然不在了可怎么办?就想着有什么办法能帮这个网站保存下来。 正好之前玩过Python爬虫,想着能不能帮网站爬下来,试试吧? 网站爬取 分析 我之前做爬虫一般需要分2步骤的,第一步是拿到要抓取目标站点的页面url,这一般都是独立算法的,第二步是抓取页面内容,然后分析页面内容拿到想要的数据。 获取完整网站地…

Leave a Comment

使用cfscrape框架来抓取被Cloudflare保护的网站资源

背景 尝试抓取一个网站的资源做一些分析,发现直接curl或者Python的request请求下来的资源不对,用html打开发现是Cloudflare的一个保护页。有此可知这个网站是被保护了,一般的请求肯定是不行了。 方案 在进行很多尝试之后发现一个python库可以解决这个问题(cfscrape) ,这个库只支持python3+。 使用很简单,可以使用,但是我发现一个问题,用这个库请求到的页面居然…

Leave a Comment

idea升级之后,maven依赖报错 maven-default-http-blocker (http://0.0.0.0/): Blocked mirror for repositories

升级完idea之后,打开项目,很多包找不到,更新maven依赖,提示我:Could not transfer artifact com.xxx:1.7.2 from/to maven-default-http-blocker (http://0.0.0.0/): Blocked mirror for repositories: [libs-releases 大概意思是,一个叫 maven-defa…

Leave a Comment

升级IntelliJ IDEA 启动之后闪退

想装一个idea插件,发现插件各种报错。 查不到什么原因,看了下我的idea版本,还是2019年的,心想可能是我的版本太低了吧? 看了一眼官网已经出到 2022.2.3了。升级下idea呗? 下载官方最新版本,双击安装, 替换安装,安装完成,启动。。 闪退。。 启动。。。闪退。。。。 我滴妈,咋回事啊? 难道是我的操作系统版本不对? 升级下系统吧,我的Mac系统好像是有个大版本要升级。 花了半天升…

3 Comments

反复提示安装 Command Line Developer Tools

升级完最新系统,刚准备coding,提示让我安装command line developer tools,我就安装了一下,提示安装完成之后,打开命令行,又提示要我安装这个。。 我感觉哪里不对,尝试重启下操作系统,完事之后发现没用,还是要安装。。。 尝试搜索了一下 loop install command line developer tools ,发现这个帖子:https://developer.…

Leave a Comment

使用Cloudflare Tunnel服务进行免费的内网穿透

前几年关注过Cloudflare的Tunnel服务,当时号称是可以进行tcp流量防护的服务,只是当时还是需要收费的,没有进行深入研究。最近没事点开Cloudflare的控制台,发现tunnel服务已经放到一个新的叫 Cloudflare Zero Trust的子网站里面功能了,而且好像已经不收费了,免费就能用。 尝试了一下,非常爽,之前各种办法尝试解决的内网穿透问他,现在可以很优雅的解决了。 这里…

Leave a Comment