分页: 1 / 1

5.7.4无法使用ScienceDirect下载论文

发表于 : 2025年 7月 25日 13:35
wryyyyy
下载时显示There was a problem providing the content you requested,但是换成edge就可以下载。

Re: 5.7.4无法使用ScienceDirect下载论文

发表于 : 2025年 7月 25日 13:38
wryyyyy
更新,使用360浏览器也能正常下载

Re: 5.7.4无法使用ScienceDirect下载论文

发表于 : 2025年 7月 25日 16:28
catsxp
能本地复现...
F12 提示 Uncaught SyntaxError: Invalid or unexpected token
个人认为是该网站策略问题,有可能是该网站认为使用catsxp访问会被误判为爬虫程序

Re: 5.7.4无法使用ScienceDirect下载论文

发表于 : 2025年 7月 25日 23:06
liangxy
5.7.5一样,我就说我最近怎么下不了文献佬,请问有什么解决办法吗?改UA?

Re: 5.7.4无法使用ScienceDirect下载论文

发表于 : 2025年 7月 25日 23:11
catsxp
不清楚该网站的反爬虫机制是什么
像这种文献类的网站,最值钱的就是它的文献内容,几乎都会有反爬虫机制
估计改UA应该是无效的!大概率是去判断程序的数字证书是否合法
比如说QQ快捷登录(调用系统默认浏览器),如果被调用的浏览器无合法的数字证书,就会被QQ判定为非法调用(快捷登录功能无效)
而数字证书不是个人开发者有资金或资格去拥有的资源,特别是chrome的相关证书(比如CDM-L1证书),印象中Google不对个人开发者开放

Re: 5.7.4无法使用ScienceDirect下载论文

发表于 : 2025年 7月 25日 23:29
liangxy
catsxp 写了: 2025年 7月 25日 23:11 不清楚该网站的反爬虫机制是什么
像这种文献类的网站,最值钱的就是它的文献内容,几乎都会有反爬虫机制
估计改UA应该是无效的!大概率是去判断程序的数字证书是否合法
比如说QQ快捷登录(调用系统默认浏览器),如果被调用的浏览器无合法的数字证书,就会被QQ判定为非法调用(快捷登录功能无效)
而数字证书不是个人开发者有资金或资格去拥有的资源,特别是chrome的相关证书(比如CDM-L1证书),印象中Google不对个人开发者开放
问题是原来的版本是好的

Re: 5.7.4无法使用ScienceDirect下载论文

发表于 : 2025年 7月 25日 23:39
liangxy
catsxp 写了: 2025年 7月 25日 23:11 不清楚该网站的反爬虫机制是什么
像这种文献类的网站,最值钱的就是它的文献内容,几乎都会有反爬虫机制
估计改UA应该是无效的!大概率是去判断程序的数字证书是否合法
比如说QQ快捷登录(调用系统默认浏览器),如果被调用的浏览器无合法的数字证书,就会被QQ判定为非法调用(快捷登录功能无效)
而数字证书不是个人开发者有资金或资格去拥有的资源,特别是chrome的相关证书(比如CDM-L1证书),印象中Google不对个人开发者开放
使用一个移动浏览器模拟扩展(https://chrome.google.com/webstore/deta ... k?hl=zh-CN)发现不会直接提示There was a problem providing the content you requested。会变成Are you a robot?Please confirm you are a human by completing the captcha challenge below.
但是点击cf的确认您是真人按钮,页面会刷新,但是还是会卡cf的验证

Re: 5.7.4无法使用ScienceDirect下载论文

发表于 : 2025年 7月 25日 23:47
liangxy
catsxp 写了: 2025年 7月 25日 23:11 不清楚该网站的反爬虫机制是什么
像这种文献类的网站,最值钱的就是它的文献内容,几乎都会有反爬虫机制
估计改UA应该是无效的!大概率是去判断程序的数字证书是否合法
比如说QQ快捷登录(调用系统默认浏览器),如果被调用的浏览器无合法的数字证书,就会被QQ判定为非法调用(快捷登录功能无效)
而数字证书不是个人开发者有资金或资格去拥有的资源,特别是chrome的相关证书(比如CDM-L1证书),印象中Google不对个人开发者开放
测试F12工具自带的移动设备模拟可以在2次cf验证以后正常下载pdf文件,版本5.7.5-beta12

Re: 5.7.4无法使用ScienceDirect下载论文

发表于 : 2025年 7月 30日 11:39
wryyyyy
liangxy 写了: 2025年 7月 25日 23:47
catsxp 写了: 2025年 7月 25日 23:11 不清楚该网站的反爬虫机制是什么
像这种文献类的网站,最值钱的就是它的文献内容,几乎都会有反爬虫机制
估计改UA应该是无效的!大概率是去判断程序的数字证书是否合法
比如说QQ快捷登录(调用系统默认浏览器),如果被调用的浏览器无合法的数字证书,就会被QQ判定为非法调用(快捷登录功能无效)
而数字证书不是个人开发者有资金或资格去拥有的资源,特别是chrome的相关证书(比如CDM-L1证书),印象中Google不对个人开发者开放
测试F12工具自带的移动设备模拟可以在2次cf验证以后正常下载pdf文件,版本5.7.5-beta12
请问有教程吗,之前的版本一直可以下载,好像最近某一个版本开始就不行了,移动浏览器模拟扩展会一直卡机器人验证

Re: 5.7.4无法使用ScienceDirect下载论文

发表于 : 2025年 8月 1日 13:31
liangxy
wryyyyy 写了: 2025年 7月 30日 11:39
liangxy 写了: 2025年 7月 25日 23:47
catsxp 写了: 2025年 7月 25日 23:11 不清楚该网站的反爬虫机制是什么
像这种文献类的网站,最值钱的就是它的文献内容,几乎都会有反爬虫机制
估计改UA应该是无效的!大概率是去判断程序的数字证书是否合法
比如说QQ快捷登录(调用系统默认浏览器),如果被调用的浏览器无合法的数字证书,就会被QQ判定为非法调用(快捷登录功能无效)
而数字证书不是个人开发者有资金或资格去拥有的资源,特别是chrome的相关证书(比如CDM-L1证书),印象中Google不对个人开发者开放
测试F12工具自带的移动设备模拟可以在2次cf验证以后正常下载pdf文件,版本5.7.5-beta12
请问有教程吗,之前的版本一直可以下载,好像最近某一个版本开始就不行了,移动浏览器模拟扩展会一直卡机器人验证
我这边测试F12开启移动设备模拟后就正常了