1:基本
Middlewares.py(downloader)
spider/xxx.py
settings.py
2:优化
为了不让chrome每次启动,添加它到Middleware定义类的初始方法中启动
Middlewares.py(downloader)
3:优化(浏览器的自动开启与关闭)
在spider/xxx.py中
Middlewares.py(downloader)
加入信号链dispatcher,signals
spider/xxx.py
爬虫结束会输出
