一款Google抓图神器,它与Python批量抓取图片的原理一模一样

hzqadmin 阅读：12 2024-08-24 19:25:29 评论：0

——写在前面的话相信大家前段时间肯定看到一篇文章名为《只因写了一段爬虫，公司200多人被抓！》的公众号文章（文章的描述已经显而易见，大家都非常清楚了）

https://mp.weixin.qq.com/s/bvSnLrgqaW57vISHEajqqQ

可以说，因为这事闹的人心惶惶，沸沸扬扬，为此，致使一些三线二线的个别爬虫工程师迫切转行，其次，还有一些朋友对自己所学的爬虫技术感到担忧和恐慌。

其实，每个人都会有这种警惕心理。不过大可不必弄出转行这样的大阵仗，我们更多的还是要从业务本身出发，既要增强自己的业务能力，也有熟知互联网法律法规。虽然我个人学的不是爬虫这个技术，但是我平时也酷爱学习爬虫的一些小项目和小玩意儿，虽然比起我花在算法上学习的时间比例会少很多，不过我个人喜欢尝试一些新鲜的技术以充实自己的业务水平，从这一点来看，大多数工程师都会有这种业务倾向。当然，与那些站在互联网一线的爬虫工程师和大佬来说，我只不过是大海里的一滴水，水滴的数量还不够罢了。

说到上面这件事，其实归根结底还是有些公司和公司职员他们对法律缺乏足够的认识，公司对于员工的法律宣传以及业务操守没能达到潜移默化的作用，尤其是互联网的法律法规的相关条例的传达和思想工作没能及时到位，当然，这些不能总依靠公司，主要还是看个人的悟性，既然自己已经干了这一行就应该对这个行业的法律常识有所了解和学习。为此，我们作为这个时代科技创新和技术研发中的一员，要时刻遵守互联网法律法规，做好自己的本职工作，多多为社会做出力所能及的贡献。

文章目录：

——写在前面的话

1——抓图神器

2——使用Python批量抓取图片

（1）抓取对象：sogou图库http://pic.sogou.com/（2）抓取类别：进入sogou壁纸（3）用requests提取图片组件（4）找到图片的真正的url（5）批量抓取图片成功

下面开始学习我们今天的内容~~

1——抓图神器

我一直喜欢的一个Google图片抓取插件名叫ImageAssistant

目前用户量为114567，可以说已经是很不错了

它的工作原理与Python批量抓取图片

一模一样

我并非是为Google打广告,我只是觉得好用就分享给大家，以提升大家的办公效率，当然本节最重要的还是要学Python批量抓取图片的原理和方法。

下面简单介绍一下该插件的使用方法，安装插件之后记得选择你存放文件的地方，并在Google设置下的下载询问访问关闭

（不然每次都要按保存，非常麻烦，如果有100张图片你肯定会按100次）

安装好插件之后，下面简单用视频演示一下抓取过程

例如：去微博抓鞠婧祎小姐姐的图片，

进去之后，鼠标右键单击IA工具就可以

关闭

观看更多

退出全屏

视频加载失败，请刷新页面再试

刷新

视频详情

2——使用Python批量抓取图片

注：文中的抓意为“爬”

(1)抓取对象：sogou图库http://pic.sogou.com/

(2)抓取类别：进入sogou壁纸，打开网页源代码（快捷键为F12）

由于我使用的是Google chrome浏览器，所以要找到img标签

(3)用requests提取图片组件

抓取思路与库文件requests

的使用

可以发现图片src存在于img标签下，于是用 Python 的 requests提取该组件，从而获取img的src，然后使用库 urllib.request.urlretrieve逐个下载图片，进而达到批量获取资料的目的。

开始抓取第一步:

（注：Network-->headers，然后用鼠标点击左边菜单栏（地址栏）里的图片链接，然后再headers里找到图片url）

下面根据上述思路爬取我们想要的结果：经过查找网页代码下获得搜狗图片的url为

http://pic.sogou.com/pics/recommend?category=%B1%DA%D6%BD

这里的url来自进入分类后的地址栏（如上图）。

剖析源码 剖析上述的url指向的网页

import requests #导入库requestsimport urllib #导入库requests下面的urllibfrom bs4 import BeautifulSoup #使用BeautifulSoup，关于这个的用法请查看本公众号往期文章#下面填入urlres = requests.get(http://pic.sogou.com/pics/recommend?category=%B1%DA%D6%BD)soup = BeautifulSoup(res.text,html.parser)print(soup.select(img)) #图片打印格式执行结果

从上述的执行结果来看，打印的输出内容并没有包含我们要的图片元素，而是只剖析到tupian130x34_@1x（或指网页中的logo）的img，显然不是我们想要的。也就是说需要的图片资料不在url下，也就是不在下面的url里面

http://pic.sogou.com/pics/recommend?category=%B1%DA%D6%BD。

因此，下面需要找到图片不在url里面的原因并改进。

开始抓取第二步:

考虑可能该图片元素是动态的，细心的人可能会发现，当在网页内，向下滑动鼠标滚轮，图片是动态刷新出来的，也就是说，该网页并不是一次加载出全部资源，而是动态加载资源。这也避免了因为网页过于臃肿，而影响加载速度。

（4）找到图片的真正的url

要找到所有图片真正的url ，这个好像有点难度，不过在本项目中小试牛刀也不是不可以。在后面的学习中经过不断的钻研，对与这类业务能力我想都会逐渐提高得。

类似开始抓取第一步中的“注”我们找到位置：

F12——>>Network——>>XHR——>>(点击XHR下的文件)——>>Preview

（注：如果没有发现Preview里的内容可滚动左边地址栏或点击图片链接）

从上图发现，似乎图片中的信息就是我们需要的元素了，点开all_items 发现下面是0 1 2 3...一个一个的貌似是图片元素的数据。

试着打开一个url。发现真的是图片的地址

我们可以任意在里面选取一个图片的地址以验证是否为图片的所在地：

https://img02.sogoucdn.com/app/a/100520076/60d0bc82efd7bd55a716f28a04822f76

将该地址粘贴到浏览器搜索就获得如下结果，说明这个地址的url就是我们找的

上面找到图片的目标之后，我们点击XHR下的Headers，也就是第二行

Request URL:

https://pic.sogou.com/pics/channel/getAllRecomPicByTag.jsp?category=%E5%A3%81%E7%BA%B8&tag=%E5%85%A8%E9%83%A8&start=180&len=15&width=1366&height=768

试着去掉一些不必要的部分，删掉上面的部分之后，访问不受影响。

（删除的位置是类似相同的地方，切记后面长宽高不用删）

例如：删除“=%E5%A3%81%E7%BA%B8&tag”得到

https://pic.sogou.com/pics/channel/getAllRecomPicByTag.jsp?category=%E5%85%A8%E9%83%A8&start=180&len=15&width=1366&height=768

复制该网站到浏览者访问获得如下的结果：

其中url里的category为分类，start为开始下标，len为长度，也即图片的数量。

此外，在imges下的时候要注意url内容的填写（并不是直接把url直接复制过来）

换成“+”的情况

(5)批量抓取图片成功

如果你的电脑没有库文件requests就要记得cmd命令安装一下：

pip install requests

最后，经不断整理后源码如下：

import requestsimport json #使用json码import urllibdef getSogouImag(category,length,path): n = length cate = category #分类 imgs = requests.get(http://pic.sogou.com/pics/channel/getAllRecomPicByTag.jsp?category=+cate+&tag=%E5%85%A8%E9%83%A8&start=0&len=+str(n)) jd = json.loads(imgs.text) jd = jd[all_items] imgs_url = [] #在url获取图片imgs for j in jd: imgs_url.append(j[bthumbUrl]) m = 0 for img_url in imgs_url: print(***** +str(m)+.jpg *****+ Downloading...) urllib.request.urlretrieve(img_url,path+str(m)+.jpg) m = m + 1 print(Download complete!)getSogouImag(壁纸,2000,F:/Py666/抓图/) #抓取后图片存取的本地位置

执行程序

：去指定的位置就找到了图片存在的位置，这样就大功告成了。