当前位置: 首页Python面试题Python爬虫正文 假如每天爬取量在 5、6 万条数据,一般开几个线程,每个线程 ip 需要加锁限定吗? Python爬虫 0 339 (1) 5、6 万条数据相对来说数据量比较小,线程数量不做强制要求(做除法得一个合理值即可) (2) 多线程使用代理,应保证不在同时一刻使用一个代理 IP Python爬虫 ㅤ游客 打赏 收藏 海报挣佣金 推广链接