网页搜索结果需要滚动才能加载需要的数据？怎么让其自动滚动页面加载数据？

运营:秋风创建于 2023-03-01 15:17

比如如下面的网址：京东的搜索结果：

只有当我鼠标往下滚动的时候，才会显示更多宝贝，如果不滚动页面，就只显示10多个，一般情况一个页面会显示60个宝贝图片。

我想通过Quicker爬取主图链接。xpath:语法已经写好了。

为：

xpath://*[@class="gl-warp clearfix"]/li/div/div[@class="p-img"]/a/img/@src

但是爬取的结果只有10多个，需要手动翻页，才能爬更多？但是我又不想手动翻页。我想自动化。

确实可以通过这个模块；实现自动滚屏，加载出来更多商品链接。

但是这个模块没有后台功能，我希望可以通过后台，自动加载网页所有的宝贝链接出来。请问怎么实现呢？

运营:秋风最后更新于 2023/3/1

CL 2023-03-01 15:55

试试写js代码让网页滚动。多重复几次，每次中间加延迟

CL 最后更新于 2023-03-01 15:56

运营:秋风回复 CL 2023-03-01 16:52 :

这个答案用的是：ChatGPT？

我试过可以用，但是有一个问题，就是直接滚动到页尾了，这个无法加载中间的图片，所以需要的是，每次慢慢滚动屏幕的1/4，重复到页尾。

运营:秋风回复 CL 2023-03-01 16:52 :

这个答案用的是：ChatGPT？

我试过可以用，但是有一个问题，就是直接滚动到页尾了，这个无法加载中间的图片，所以需要的是，每次慢慢滚动屏幕的1/4，重复到页尾。

Melina 2023-03-01 17:10

感觉可以使用js的定时器，每隔多长时间滚动多少高度，直到滚到底部然后清除这个计时器

运营:秋风回复 Melina 2023-03-01 17:50 :

好的谢谢你。

运营:秋风 2023-03-01 17:24

我自己在网上又找了一个答案，JS语法的。用这个测试成功了

运营:秋风最后更新于 2023-03-01 17:25

运营:秋风回复运营:秋风 2023-03-01 17:51 :

我又发现一个问题，这个京东搜索结果，真邪门。还必须要停留在当前页面浏览，才能加载图片，后台用js滚动也无法加载全部图片。看来只能停留在页面慢慢爬数据了。

运营:秋风最后更新于 2023-03-01 17:52

网页搜索结果 需要滚动才能加载需要的数据？ 怎么让其自动滚动页面 加载数据？