Please enable JavaScript.
Coggle requires JavaScript to display documents.
python 爬虫 (开发环境配置 (请求库安装 (requests, selenium 自动化测试工具, ChromeDriver -…
python 爬虫
开发环境配置
请求库安装
requests
selenium 自动化测试工具
ChromeDriver - chrome
GeckoDriver - firefox
PhantomJS
aiohttp
解析库安装
lxml - html和xml、xpath解析
beautiful soup - html和xml解析库
pyquery - html文档解析
tesserocr - 验证码
数据库安装
mysql
mongodb
redis
存储库安装
pymysql
pymongo
redis-py
redisdump
Web库安装
flask - 做一些api服务
tornado - 支撑成千上万的开发连接
App爬取相关库安装
charles
mitmproxy
appium
爬虫框架安装
pyspider
scrapy
scrapy-splash
scrapy-redis
部署相关库安装
docker
scrapyd
scrapyd-client
scrapyd api
scrapyrt
gerapy