python爬虫程序的原理是什么？PHP不能写爬虫吗？
python爬虫程序的原理是什么？PHP不能写爬虫吗？
爬虫的原理是从一个起始`种子链接`开始，发`http请求`这个链接，得到该链接中的内容，然后大多使用`正则匹配`出页面里面的`有效链接`，然后将这些链接保存到待访问队列中，等待`爬取线程`取这个待访队列，一旦链接访问过了，为了有效的减少不必要的网络请求，我们应该把访问过的链接放到一个`已访问map`中，已防止重复抓取及死循环。我以上提到的过程可能是一个比较简单的爬虫实现，复杂的可能不会这么简单，但这里面有几个概念，一个是发`http请求`，一个是`正则匹配`你感兴趣的链接，一个是`多线程`，另外还有`两个队列`，理论上，任何能实现这么些概念的编程语言去写爬虫都是可以的，期间取舍还是看自己对熟练成都。