一、“爬虫”是什么

大东：小白，身为计算机学科的学生，“网络爬虫”你应该不生疏吧？

小白：那固然了，写的最多的就是“爬虫”程序了。

大东：既然你这么熟悉，能给我讲讲什么是“爬虫”么？

小白：固然能，终于有一天能给大东动反向流传知识啦，哈哈哈！“网络爬虫”就是一种凭据一定的规则，自动地抓取万维网信息的程序或者剧本，能够把网站上的信息网络回来，而且能在网站之间游走。

大东：没错。随着网络的迅速发展，万维网成为大量信息的载体，若何有效地提取并行使这些信息成为一个伟大挑战，搜素引擎就是一种典型的“爬虫”应用，它每隔几天对全网的网页扫一遍，以便人人查阅，被扫网站也愿意被网络。然则，小白你知道吗？“爬虫”也分善恶！

小白：我可没有写过恶意的“爬虫”，大东东你别看我。

大东：像抢票软件这样的“爬虫”，对着 12306 每秒扫几万次，被扫网站对它十分厌恶。

小白；哦，作为12306用户的我，也挺憎恶抢票软件的。

大东：那你知道网络天下这么多“爬虫”，都爱爬哪些网站？

小白：我猜...我猜不出来...求大东东指教！

网络爬虫（图片来自网络）

二、爬虫漫衍图

Allbet

www.sunbet.us欢迎进入欧搏平台（Allbet Game），欧搏平台开放欧搏（Allbet）开户、欧搏（Allbet）代理开户、欧搏（Allbet）电脑客户端、欧搏（Allbet）APP下载等业务。

大东：凭据“python手艺客栈”公然的天下“网络爬虫”剖析效果，爬虫最多的就是出行软件，好比前面所说的12306就是他们的目的之一；紧随其后的是社交软件、电商软件。

“爬虫”流量目的行业漫衍（图片来自网络）

小白：没想到“爬虫”种类还不少呢！

1、“爬虫”最大聚集地——出行软件

大东：出行行业中“爬虫”的占比最高，在出行的“爬虫”中，有89.02%的流量都是冲着 12306 去的。

小白：哇哦，全中国卖火车票的独此一家别无分号，也难怪呢。

大东：小白你有没有发现，12306的验证码比其他网站的更为庞大呢？

小白：没错，有时候我甚至以为自己智商不够用了。

大东：这些器械不是为了有意难为卖票的普通用户，而恰恰是为了阻止抢票软件这种“爬虫”的点击。简朴的“爬虫”无法准确识别庞大二维码，因此就能够被挡在门外。

小白：纰谬啊，可现在照样可以用抢票软件抢到票啊。

大东：没错。抢票软件也不是食斋的，它们在和12306搞“匹敌”。“打码平台”，你听说过吗？

小白：那是啥？

大东：打码平台雇佣了许多叔叔阿姨，他们的事情就是帮人识别验证码。当抢票软件遇到了验证码，系统就会自动把这些验证码传到他们眼前，以人工的方式完成识别，然后再把效果传回去。这时代总共只需要几秒时间。