- 基于python的scrapy爬虫，关于增量爬取是怎么处理的？
- 基于python的scrapy爬虫，关于增量爬取是怎么处理的？
- scrapy-redis和scrapy有什么区别？
- 具体什么是“爬虫“？零基础成为一个“爬虫”难度大吗？
基于python的scrapy爬虫，关于增量爬取是怎么处理的？
对于只是读取某几个网站更新内容的爬虫完全没必要在python代码中实现增量的功能，直接在item中增加Url字段。
item['Url'] = response.url
之后在python代码中捕获数据库commit时返回的异常，忽略掉或者转入log中都可以。
我使用的是SqlAlchemy。我是这么写的
from sqlalchemy.exc import IntegrityError
class XxxPipeline(object):
def process_item(self, item, spider):
#一些session.add()
#........
基于python的scrapy爬虫，关于增量爬取是怎么处理的？
对于只是读取某几个网站更新内容的爬虫完全没必要在python代码中实现增量的功能，直接在item中增加Url字段。
item['Url'] = response.url
然后在数据端把储存url的column设置成unique。
之后在python代码中捕获数据库commit时返回的异常，忽略掉或者转入log中都可以。
我使用的是SqlAlchemy。我是这么写的
from sqlalchemy.exc import IntegrityError
class XxxPipeline(object):
def process_item(self, item, spider):
#一些session.add()
#........
scrapy-redis和scrapy有什么区别？
scrapy的请求是存储在内存中，然后由schedule进行调度，twisted进行并发。要进行分布式，就需要多个scrapy共同参与调度。scrapy-redis使用redis数据库，重写了shedule里面对请求的存储和分发方式，多个scrapy通过远程链接redis数据库来同时参与调度。
另外scrapy-redis还利用redis的set存储结构重写了去重的方式。
正好我也在学scrapy-redis,这是我现在的一些见解
具体什么是“爬虫“？零基础成为一个“爬虫”难度大吗？
爬虫的本质是模拟人访问浏览器的行为，获取信息与数据的手段，是一种将人的行为自动化的过程。
这个过程的核心其实就是向网站服务器发送请求,接受网站服务器返回的响应,提取返回的响应内容中的信息.
用个例子来说,
你走进一个小酒馆,找到一个座位坐下,然后高喊一声:"小二,来两斤牛肉,一壶老酒."这就是请求.听到你的请求后,不一会儿就把你要的牛肉和酒端上来了.这就是响应.你把盘子里的牛肉抓起来开口吃,这就是爬虫的爬取行为.
爬虫就是重现这个过程的程序.
至于,零基础入门爬虫难度这个问题,其实还是那句话"难者不会,会者不难".任何新知识都是从不会到会的.从不会到会的过程,最重要的就是实践.只有你开始实践,就会发现爬虫的入门也并非有多难.重要的是学起来投入进去，把代码码起来，刚开始可能有很多困惑，但是写多了，在不断的尝试过程中，自然慢慢就理解入门了。本人也是零基础开始学的爬虫,以前也没学过编程,只是出于兴趣,开始学python,然后就接触到了爬虫,然后慢慢学了urllib,requests,pyquery,bs4等爬虫库,实践爬一些网站数据和图片.所以,学爬虫还是要学一门语言.然后运用这门语言去编写一个爬虫程序,去解决你的日常中的小问题,慢慢培养兴趣,自然就有进步了.
下面就python写的一个简单爬虫的例子
import requests
import re
from bs4 import BeautifulSoup as bs