Scrapy on Dapeng Zhang

Scrapy 遇到 Filtered duplicate request 结束运行

Tue, 22 Jul 2025 18:31:42 +0800

今天在使用scrapy做数据抓取，抓取的过程中，突然就停止了。看了下最终的结果

2016-04-09 11:58:03 [scrapy] DEBUG: Filtered duplicate request: <GET http://weibo.com/sorry?userblock&is_viewer&code=20003> - no more duplicates will be shown (see DUPEFILTER_DEBUG to show all duplicates)

我也不清楚『Filtered duplicate request』这个是啥错误。

于是google了一下，加了下参数

dont_filter=True

结果最终的请求方法就改成这样子了，终于起作用了。


yield scrapy.Request(
 info_url,
 cookies=self.cookie,
 callback=self.parse_info,
 dont_filter=True,
 meta={
 'item': item,
 'date': meta_data['date'],
 'weibo_id': meta_data['weibo_id']
 }
)

Scrapy Spider分享

Mon, 21 Jul 2025 18:16:39 +0800

代码片段如下：

class MySpider(BaseSpider):
 name = 'myspider'
 start_urls = (
 'http://example.com/page1',
 'http://example.com/page2',
 )
 def parse(self, response):
 # collect `item_urls`
 for item_url in item_urls:
 yield Request(url=item_url, callback=self.parse_item)
 def parse_item(self, response):
 item = MyItem()
 # populate `item` fields
 yield Request(url=item_details_url, meta={'item': item},
 callback=self.parse_details)
 def parse_details(self, response):
 item = response.meta['item']
 # populate more `item` fields
 return item

举个比较是利用的例子，比如这个sipider想要获取微博用户的基本信息和他是否加V的话，那么地址肯定是不一个地址，于是，可以通过这种方式，先获取到基本信息然后将结果通过meta传递给下一个parse，然后下一个parse就可以将上一个parse的结果一起通过item返回了。

Scrapy setuptools 如何处理静态文件的打包

Mon, 21 Jul 2025 18:16:13 +0800

这里主要是因为涉及到了scrapyd的一个客户端的工具scrapyd-client，很容易的就可以帮助我们去部署一个scrapy项目

此次遇到的问题是，我的项目中需要用到一个静态的文件，但是默认的打包方式，并没有帮我把静态文件打包到egg里面去，经过查询，

是因为默认的配置文件并没有做相关的配置，于是修改了配置文件加入了下面的代码：

package_data = {
 '': ['*.txt'],
},

zip_safe=False,

整个setup.py文件看起来的话就是这样的：

from setuptools import setup, find_packages
setup(
 name='project',
 version='1.0',
 packages=find_packages(),
 package_data = {
 '': ['*.txt'],
 },
 zip_safe=False,
 entry_points={'scrapy': ['settings = weibo.settings']},
)

但是对应的项目里面的调用也要响应的修改一下：

def init_cookie(self):
 # 初始化cookie
 data = pkgutil.get_data('weibo', 'cookie.txt').splitlines()
 if len(data):
 for r in data:
 r = re.sub(r'\s+', ' ', r)
 r_tuple = r.split(" ")
 self.cookie[r_tuple[5]] = re.sub('\n', '', r_tuple[6])

这里调用了pkgutil这个工具，是scrapyd-deploy推荐的方式，后来才注意到

然后运行命令

scrapyd-deplay -p weibo

再次运行对应的抓取程序，就可以了。

Scrapy 1.0.3版本 Selenium Phantomjs Downloader Middleware

Mon, 21 Jul 2025 18:16:05 +0800

一直想找的这个东西Middleware，找了很久，有的是一个过期的，有的是要弹出什么框的，这里给scrapy最新版本的解决方案。

此方案排除了几个问题：

Message: ‘Can not connect to GhostDriver’

对于此问题像下面这样操作就好了：

driver = webdriver.PhantomJS(port=port,
 desired_capabilities={
 'javascriptEnabled': True,
 'platform': 'windows',
 'browserName': 'Mozilla',
 'version': '5.0',
 'phantomjs.page.settings.userAgent': "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_8_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/29.0.1547.57 Safari/537.36"
 })

本人测试通过,如果不是一个版本的话我就不晓得了。

这里分享一下我的代码好了，虽然还有几个问题没有解决，不过这个已经解决了我一个大问题了，就是有结果了。

#! -*- coding:utf-8 -*-
from selenium import webdriver
from proxy import settings
from scrapy.http import HtmlResponse
import logging
import time
logger = logging.getLogger('PhantomjsDownloaderMiddleware')
class PhantomjsDownloaderMiddleware(object):
 def __init__(self, options, max_sum):
 self.options = options
 self.max_sum = max_sum
 @classmethod
 def from_crawler(cls, crawler):
 return cls(
 options=crawler.settings.get('PHANTOMJS_OPTIONS', {}),
 max_sum=crawler.settings.get('PHANTOMJS_MAXSUM', 2)
 )
 def process_request(self, request, spider):
 service_args = ['--load-image=false', '--disk-cache=true']
 if 'proxy' in request.meta:
 service_args.append('--proxy=' + request.meta['proxy'][7:])
 if 'port' in request.meta:
 port = request.meta['port']
 else:
 port = 29842
 try:
 driver = webdriver.PhantomJS(port=port,
 desired_capabilities={
 'javascriptEnabled': True,
 'platform': 'windows',
 'browserName': 'Mozilla',
 'version': '5.0',
 'phantomjs.page.settings.userAgent': "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_8_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/29.0.1547.57 Safari/537.36"
 })
 driver.get(request.url)
 time.sleep(10)
 content = driver.page_source.encode('utf-8')
 url = driver.current_url.encode('utf-8')
 driver.quit()
 if content == '<html><head></head><body></body></html>':
 logger.info('content is empty : 503')
 return HtmlResponse(request.url, encoding='utf-8', status=503, body='')
 else:
 logger.info('content get success : 200')
 return HtmlResponse(url, encoding='utf-8', status=200, body=content)
 except Exception, e:
 logger.warning(e)
 logger.info('Exception content is empty : 503')
 return HtmlResponse(request.url, encoding='utf-8', status=503, body='')

以上就是一个半成品了，但是可以用的，不过还是需要自己完善一下，根据自己的需求来吧，大概的思路就是这样的。

利用第三方平台crawlera做scrapy爬虫防屏蔽

Mon, 21 Jul 2025 18:16:01 +0800

crawlera官方网址：http://scrapinghub.com/crawlera/

crawlera帮助文档：http://doc.scrapinghub.com/crawlera.html

1，注册一个crawlera账号并激活

2，登录网站获取App Key

3，激活crawlera这里注意一下，别搞错了，搞成Cloud就混淆了，我就是，哎文档没好好看，其实就是选择一个

crawlera进行激活就好了，我选择了最小的那个，以为开始看到了里面要收钱的，所以没敢点击，没想到是，后面

使用的时候，还是可以的用的

进行完上面的操作就可以在程序里面加代码了

1，安装scrapy-crawlera

pip install scrapy-crawlera

2，修改配置文件添加如下配置信息

DOWNLOADER_MIDDLEWARES = {
 'scrapy_crawlera.CrawleraMiddleware': 600
}
CRAWLERA_ENABLED = True
CRAWLERA_USER = '<API Key>'
CRAWLERA_PASS = 'crawlera的密码'

根据官方文档的提示

我还加入了如下的配置，保证了我数据的正确获取,就我测试的观察，下面的配置，会使得程序能够自动的去获取数据，知道获取到正确的数据为止

CONCURRENT_REQUESTS = 32
CONCURRENT_REQUESTS_PER_DOMAIN = 32
AUTOTHROTTLE_ENABLED = False
DOWNLOAD_TIMEOUT = 600

好了，就这些，开始吧 crawl吧。

参考文章：

http://www.cnblogs.com/rwxwsblog/p/4582127.html

Scrapy递归抓取网页数据

Mon, 21 Jul 2025 18:08:18 +0800

在使用scrapy抓取网页的数据的过程中，我们会遇到一个问题就是，如何来抓取分页，有时候又不能一下子把所有的分页都获取过来。

这里的解决问题的思路是，获取每个当前抓取页面的下一页链接，并将链接加入要抓取的url列表中，如下是实例代码

 def parse(self, response):
 items = []
 validurls = []
 newurls = response.xpath(
 "//div[@id='selectedgenre']/ul[@class='list paginate']/li/a[@class='paginate-more']/@href").extract()
 for url in newurls:
 validurls.append(url)
 # //循环抓取
 items.extend([self.make_requests_from_url(url).replace(callback=self.parse) for url in list(set(validurls))])
 iTunes = ItunesItem()
 iTunes['url'] = response.xpath(
 "//div[@id='selectedcontent']/div[@class='column first']/ul/li/a/@href").extract()
 iTunes['title'] = response.xpath(
 "//div[@id='selectedcontent']/div[@class='column first']/ul/li/a/text()").extract()
 iTunes['create_time'] = int(time.time())
 items.append(iTunes)
 return items

Scrapy + xpath + Beautiful Soup

Mon, 21 Jul 2025 18:08:14 +0800

在使用scrapy的过程中会遇到一个问题就是类似如下的代码

<tr>
 <td>元素一</td>
 <td>元素二</td>
 <td>元素三</td>
</tr>
<tr>
 <td>元素一</td>
 <td><a href='#'>元素二</a></td>
 <td>元素三</td>
</tr>
<tr>
 <td>元素一</td>
 <td>元素二</td>
 <td>元素三</td>
</tr>

在scrapy中的xpath应该是这样的

'//tr/td[0]' 获取 元素一
'//tr/td[1]' 获取 元素二
'//tr/td[2]' 获取 元素三

但是获取完之后我们要存到数据库的数据是一个纯文本的，不希望里里面有html标签，好吧，这个例子

里面就有这样的一个标签，怎么办？正则？如果文本里面也有这样的标签呢？考虑后发现Beautiful Soup

其实在将获取的元素存储的时候，使用Beautiful Soup进行整理一下就可以获取到了。给个实例代码

soup = BeautifulSoup(item['location'][i], "lxml")
location = soup.get_text()
location = re.sub(r'\s+','',location)

其实只要使用get_text()这个方法就可以比较完整的获取到文本数据了

scrapy 防止网站限制IP

Mon, 21 Jul 2025 18:07:10 +0800

根据scrapy官方文档：

http://doc.scrapy.org/en/master/topics/practices.html#avoiding-getting-banned

里面的描述，要防止scrapy被ban，主要有以下几个策略。

1，动态设置user agent

2，禁用cookies

3，设置延迟下载

4，使用Google cache

5，使用IP地址池（Tor project、VPN和代理IP）

6，使用Crawlera

由于Google cache受国内网络的影响，你懂得；

Crawlera的分布式下载，我们可以在下次用一篇专门的文章进行讲解。

所以本文主要从动态随机设置User-Agent、禁用cookies、设置延迟下载和使用代理IP这几个方式。

首先设置一下setttings

USER_AGENTS = [
 "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; AcooBrowser; .NET CLR 1.1.4322; .NET CLR 2.0.50727)",
 "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0; Acoo Browser; SLCC1; .NET CLR 2.0.50727; Media Center PC 5.0; .NET CLR 3.0.04506)",
 "Mozilla/4.0 (compatible; MSIE 7.0; AOL 9.5; AOLBuild 4337.35; Windows NT 5.1; .NET CLR 1.1.4322; .NET CLR 2.0.50727)",
 "Mozilla/5.0 (Windows; U; MSIE 9.0; Windows NT 9.0; en-US)",
 "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Win64; x64; Trident/5.0; .NET CLR 3.5.30729; .NET CLR 3.0.30729; .NET CLR 2.0.50727; Media Center PC 6.0)",
 "Mozilla/5.0 (compatible; MSIE 8.0; Windows NT 6.0; Trident/4.0; WOW64; Trident/4.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; .NET CLR 1.0.3705; .NET CLR 1.1.4322)",
 "Mozilla/4.0 (compatible; MSIE 7.0b; Windows NT 5.2; .NET CLR 1.1.4322; .NET CLR 2.0.50727; InfoPath.2; .NET CLR 3.0.04506.30)",
 "Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN) AppleWebKit/523.15 (KHTML, like Gecko, Safari/419.3) Arora/0.3 (Change: 287 c9dfb30)",
 "Mozilla/5.0 (X11; U; Linux; en-US) AppleWebKit/527+ (KHTML, like Gecko, Safari/419.3) Arora/0.6",
 "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.8.1.2pre) Gecko/20070215 K-Ninja/2.1.1",
 "Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.9) Gecko/20080705 Firefox/3.0 Kapiko/3.0",
 "Mozilla/5.0 (X11; Linux i686; U;) Gecko/20070322 Kazehakase/0.4.5",
 "Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.9.0.8) Gecko Fedora/1.9.0.8-1.fc10 Kazehakase/0.5.6",
 "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.56 Safari/535.11",
 "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_3) AppleWebKit/535.20 (KHTML, like Gecko) Chrome/19.0.1036.7 Safari/535.20",
 "Opera/9.80 (Macintosh; Intel Mac OS X 10.6.8; U; fr) Presto/2.9.168 Version/11.52",
]
DOWNLOADER_MIDDLEWARES = {
 'weibo.middlewares.RandomUserAgent': 1,
 'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware': 110,
 'weibo.middlewares.ProxyMiddleware': 100
}
COOKIES_ENABLED = False
DOWNLOADER_MIDDLEWARES = {
 'weibo.middlewares.RandomUserAgent': 1,
 'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware': 110,
 'weibo.middlewares.ProxyMiddleware': 100
}

这里的weibo可根据你自己scrapy的名称进行替换

接下来添加DOWNLOADER的中间件，在middlewares.py文件中添加如下代码：

class RandomUserAgent(object):
 def __init__(self, agents):
 self.agents = agents
 @classmethod
 def from_crawler(cls, crawler):
 return cls(crawler.settings.getlist('USER_AGENTS'))
 def process_request(self, request, spider):
 request.headers.setdefault('User-Agent', random.choice(self.agents))
class ProxyMiddleware(object):
 def __init__(self, mysql_host, mysql_db, mysql_user, mysql_passwd):
 self.mysql_host = mysql_host
 self.mysql_db = mysql_db
 self.mysql_user = mysql_user
 self.mysql_passwd = mysql_passwd
 @classmethod
 def from_crawler(cls, crawler):
 return cls(
 mysql_host=crawler.settings.get('MYSQL_HOST'),
 mysql_user=crawler.settings.get('MYSQL_USER'),
 mysql_passwd=crawler.settings.get('MYSQL_PASSWD'),
 mysql_db=crawler.settings.get('MYSQL_DB')
 )
 def process_request(self, request, spider):
 try:
 self.conn = MySQLdb.connect(
 user=self.mysql_user,
 passwd=self.mysql_passwd,
 db=self.mysql_db,
 host=self.mysql_host,
 charset="utf8",
 use_unicode=True
 )
 self.cursor = self.conn.cursor()
 except MySQLdb.Error, e:
 print "Mysql Error %d: %s" % (e.args[0], e.args[1])
 self.cursor.execute(
 'SELECT * FROM xicidaili order by verified_time DESC Limit 0,10')
 proxy_item = self.cursor.fetchall()
 proxy = random.choice(proxy_item)
 user_pass = proxy[4]
 ip = proxy[1]
 port = proxy[2]
 http_method = proxy[6]
 http_method = http_method.lower()
 if user_pass is not None:
 request.meta['proxy'] = "%s://%s:%s" % (http_method,ip,port)
 encoded_user_pass = base64.encodestring(user_pass)
 request.headers[
 'Proxy-Authorization'] = 'Basic ' + encoded_user_pass
 else:
 request.meta['proxy'] = "%s://%s:%s" % (http_method,ip,port)

这里提到了代理ip的问题，可以自己去网上搜索一下，然后存储到数据库中，在进行相应的修改【前提是要搞到能用代理ip】

参考的文章：

http://blog.csdn.net/allen_hdh/article/details/33724805

http://www.cnblogs.com/rwxwsblog/p/4575894.html

Scrapy 实现MySQLdb Pipline存储数据

Mon, 30 Jun 2025 14:09:07 +0000

这里使用的是MySQLdb-Python，用着还行，嘿嘿

代码看这里的

from scrapy.contrib.exporter import XmlItemExporter,JsonItemExporter,JsonLinesItemExporter,CsvItemExporter
from scrapy import signals,log
from scrapy.exceptions import DropItem
import datetime,pymongo
import MySQLdb
 
class MysqlDBPipline(object):
 def __init__(self,mysql_host,mysql_db,mysql_user,mysql_passwd):
 self.mysql_host = mysql_host
 self.mysql_db = mysql_db
 self.mysql_user = mysql_user
 self.mysql_passwd = mysql_passwd
 
 @classmethod
 def from_crawler(cls,crawler):
 return cls(
 mysql_host=crawler.settings.get('MYSQL_HOST'),
 mysql_user=crawler.settings.get('MYSQL_USER'),
 mysql_passwd=crawler.settings.get('MYSQL_PASSWD'),
 mysql_db=crawler.settings.get('MYSQL_DB')
 )
 
 def open_spider(self,spider):
 try:
 self.conn = MySQLdb.connect(
 user=self.mysql_user, 
 passwd=self.mysql_passwd, 
 db=self.mysql_db, 
 host=self.mysql_host, 
 charset="utf8", 
 use_unicode=True
 )
 self.cursor = self.conn.cursor()
 except MySQLdb.Error,e:
 print "Mysql Error %d: %s" % (e.args[0], e.args[1])
 
 def close_spider(self,spider):
 self.cursor.close()
 self.conn.close()
 
 def process_item(self,item,spider):
 valid = True
 for data in item:
 if not data:
 valid = False
 raise DropItem("Missing {0}!".format(data))
 
 if valid:
 for n in range(len(item['title'])):
 try:
 value = [item['title'][n],item['url'][n],item['create_time']]
 self.cursor.execute('INSERT INTO itunes (title,url,create_time) VALUES (%s,%s,%s)',value)
 self.conn.commit()
 except MySQLdb.Error,e:
 print "Mysql Error %d: %s" % (e.args[0], e.args[1])
 
 log.msg("Question added to MySQLdb database!", level=log.DEBUG, spider=spider)
 
 return item

配置文件加入

ITEM_PIPELINES = {
 'apple.pipelines.MysqlDBPipline':100
}

Scrapy 实现Mongodb Pipline存储数据

Mon, 30 Jun 2025 14:09:04 +0000

这里只提供一下代码：具体逻辑很简单

需要安装的就是pymongo

from scrapy.contrib.exporter import XmlItemExporter,JsonItemExporter,JsonLinesItemExporter,CsvItemExporter
from scrapy import signals,log
from scrapy.exceptions import DropItem
import datetime,pymongo
import MySQLdb
 
class MongoDBPipeline(object):
 def __init__(self,mongo_server,mongo_port,mongo_db,mongo_collection):
 self.mongo_server = mongo_server
 self.mongo_port = mongo_port
 self.mongo_db = mongo_db
 self.mongo_collection = mongo_collection
 
 @classmethod
 def from_crawler(cls,crawler):
 return cls(
 mongo_server=crawler.settings.get('MONGO_SERVER'),
 mongo_port=crawler.settings.get('MONGO_PORT'),
 mongo_db=crawler.settings.get('MONGO_DB'),
 mongo_collection=crawler.settings.get('MONGO_COLLECTION')
 )
 
 def open_spider(self,spider):
 self.client = pymongo.MongoClient(self.mongo_server,self.mongo_port)
 self.db = self.client[self.mongo_db]
 self.collection = self.mongo_collection
 
 def close_spider(self,spider):
 self.client.close()
 
 def process_item(self,item,spider):
 valid = True
 for data in item:
 if not data:
 valid = False
 raise DropItem("Missing {0}!".format(data))
 if valid:
 for n in range(len(item['title'])):
 self.db[self.collection].insert(
 {
 'url':item['url'][n],
 'title':item['title'][n],
 'create_time':item['create_time']
 }
 )
 
 # self.db[self.collection].insert(dict(item))
 log.msg("Question added to MongoDB database!", level=log.DEBUG, spider=spider)
 
 return item

同时不要忘记了加进来实现，配置文件加入下面代码

ITEM_PIPELINES = {
 'apple.pipelines.MongoDBPipeline':200
}