Press "Enter" to skip to content

分类: 计算机

使用cfscrape框架来抓取被Cloudflare保护的网站资源

背景 尝试抓取一个网站的资源做一些分析,发现直接curl或者Python的request请求下来的资源不对,用html打开发现是Cloudflare的一个保护页。有此可知这个网站是被保护了,一般的请求肯定是不行了。 方案 在进行很多尝试之后发现一个python库可以解决这个问题(cfscrape) ,这个库只支持python3+。 使用很简单,可以使用,但是我发现一个问题,用这个库请求到的页面居然…

Leave a Comment

idea升级之后,maven依赖报错 maven-default-http-blocker (http://0.0.0.0/): Blocked mirror for repositories

升级完idea之后,打开项目,很多包找不到,更新maven依赖,提示我:Could not transfer artifact com.xxx:1.7.2 from/to maven-default-http-blocker (http://0.0.0.0/): Blocked mirror for repositories: [libs-releases 大概意思是,一个叫 maven-defa…

Leave a Comment

升级IntelliJ IDEA 启动之后闪退

想装一个idea插件,发现插件各种报错。 查不到什么原因,看了下我的idea版本,还是2019年的,心想可能是我的版本太低了吧? 看了一眼官网已经出到 2022.2.3了。升级下idea呗? 下载官方最新版本,双击安装, 替换安装,安装完成,启动。。 闪退。。 启动。。。闪退。。。。 我滴妈,咋回事啊? 难道是我的操作系统版本不对? 升级下系统吧,我的Mac系统好像是有个大版本要升级。 花了半天升…

3 Comments

反复提示安装 Command Line Developer Tools

升级完最新系统,刚准备coding,提示让我安装command line developer tools,我就安装了一下,提示安装完成之后,打开命令行,又提示要我安装这个。。 我感觉哪里不对,尝试重启下操作系统,完事之后发现没用,还是要安装。。。 尝试搜索了一下 loop install command line developer tools ,发现这个帖子:https://developer.…

Leave a Comment

Oracle数据库(权限、用户、角色、基本知识介绍)

本编文章内容分布:(1)介绍数据库常见分类(2)关系型数据库概念(3)Oracle数据库基本知识介绍(4)Oracle数据库权限介绍,其中权限的内容涉及范围较大,权限在本文中和用户、角色练习较为紧密,角色是权限的集合,属于Oracle对象,创建用户需要权限,而新创建的用户要赋予权限,并且还可以给对象赋予权限。等等这些基本操作都离不开权限,所以在本文中主要学习权限!用户!角色! 关于用户与模式: 用…

Leave a Comment

Oracle数据库 PDB和CDB区别

  Oracle 12C引入了CDB与PDB的新特性,在ORACLE 12C数据库引入的多租用户环境(Multitenant Environment)中,允许一个数据库容器(CDB)承载多个可插拔数据库(PDB)。CDB全称为Container Database,中文翻译为数据库容器,PDB全称为Pluggable Database,即可插拔数据库。在ORACLE 12C之前,实例与数据库是一对一…

Leave a Comment

java 以流的方式提供文件下载

背景 有个项目需要导出数据库数据为Excel,实践过程中发现,先要从数据库取数据,再拼装成Excel文件,再发送给用户,整个过程非常长,用户需要在网页卡很久才会出现下载框,体验很差。 希望做到数据分页的从数据库查出来,直接发给用户,查多少发多少,提升用户体验。 方案 我们拿到HttpServletResponse的OutputStream,采用流的方式向OutputStream里面直接写入数据实现…

Leave a Comment