scrapy生成爬虫数据为excel

• 使用openpyxl（推荐）
• • 安装openpyxl库
  • 建一个新的Item Pipeline类
  • 在settings.py中启用ExcelPipeline
  • 说明
• 使用scrapy-xlsx
• • 首先，安装scrapy-xlsx：
  • 然后在Scrapy爬虫中使用管道：
  • 说明

要使用Scrapy生成Excel文件，可以使用openpyxl，scrapy-xlsx或scrapy-excel-export这样的Scrapy扩展。

使用openpyxl（推荐）

在Item Pipeline中使用openpyxl库来创建和保存Excel文件

安装openpyxl库

pip install openpyxl

建一个新的Item Pipeline类

import openpyxl
 
class ExcelPipeline:
    def __init__(self):
        self.wb = openpyxl.Workbook()
        self.ws = self.wb.active
        self.ws.append(['Column1', 'Column2', 'Column3'])  # 根据需要添加列名
 
    def process_item(self, item, spider):
        self.ws.append([item['field1'], item['field2'], item['field3']])  # 根据Item字段来添加数据
        return item
 
    def close_spider(self, spider):
        self.wb.save('output.xlsx')

在settings.py中启用ExcelPipeline

ITEM_PIPELINES = {
    'your_project.pipelines.ExcelPipeline': 300,
}

说明

your_project应该替换为你的实际项目名称，field1, field2, field3应该替换为你的Item中对应的字段名称。这个Pipeline会在关闭爬虫时保存一个名为output.xlsx的Excel文件到当前目录。

使用scrapy-xlsx

首先，安装scrapy-xlsx：

pip install scrapy-xlsx

然后在Scrapy爬虫中使用管道：

# 在你的items.py中定义你想要的字段
import scrapy
 
class MyItem(scrapy.Item):
    name = scrapy.Field()
    price = scrapy.Field()
    # 其他字段...
 
# 在你的spiders/my_spider.py中
import scrapy
from my_project.items import MyItem
 
class MySpider(scrapy.Spider):
    name = 'my_spider'
    start_urls = ['http://example.com/']
 
    def parse(self, response):
        for item in response.css('div.product'):
            my_item = MyItem()
            my_item['name'] = item.css('div.name ::text').extract_first()
            my_item['price'] = item.css('div.price ::text').extract_first()
            # 提取其他字段...
            yield my_item
 
# 在你的pipelines.py中
import xlsxwriter
 
class MyPipeline(object):
    def __init__(self):
        self.workbook = xlsxwriter.Workbook('output.xlsx')
        self.worksheet = self.workbook.add_worksheet()
 
    def close_spider(self, spider):
        self.workbook.close()
 
    def process_item(self, item, spider):
        self.worksheet.write_row('A1', item.values())
        return item

说明

这个示例中，定义了一个简单的管道，它在收集所有项目后创建一个Excel文件。这只是一个基础示例，根据你的需求，你可能需要进一步扩展这个管道来处理更复杂的情况，例如多个表格、不同的工作表、样式设置等。