人生苦短我用Python pandas文件格式转换

• 前言
• 示例1 excel与csv互转
• 常用格式的方法
• • Flat file
  • Excel
  • JSON
  • XML
• 示例2 常用格式转换
• • 简要需求
  • 依赖
  • export方法
  • main方法
• 附其它格式的方法
• • HTML
  • Pickling
  • Clipboard
  • Latex
  • HDFStore: PyTables (HDF5)
  • Feather
  • Parquet
  • ORC
  • SAS
  • SPSS
  • SQL
  • Google BigQuery
  • STATA

前言

pandas支持多种文件格式，通过pandas的IO方法，可以实现不同格式之间的互相转换。本文通过excel与csv互转的示例和pandas的支持的文件格式，实现一个简单的文件格式转换的功能。

示例1 excel与csv互转

在前文实现了excel转csv，即通过pandas将excel转csv，反过来也可以将csv转为excel。

下面是excel与csv互转的示例代码：

• excel转csv

def export_csv(input_file, output_path):
    # 创建ExcelFile对象
    with pd.ExcelFile(input_file) as xls:
        # 获取工作表名称列表
        for i, sheet_name in enumerate(xls.sheet_names):
            # 读取工作表并转换为DataFrame
            df = pd.read_excel(xls, sheet_name=sheet_name)
            output_file = os.path.join(output_path, f'{i + 1}-{sheet_name}.csv')
            # 将DataFrame中的数据写入CSV文件。
            df.to_csv(output_file, index=False)

• csv转为excel

def export_excel(input_file, output_file):
    if not output_file:
        input_path = pathlib.Path(input_file)
        output_path = input_path.parent / (input_path.stem + '.xlsx')
        output_file = str(output_path)

    df = pd.read_csv(input_file)
    df.to_excel(output_file, index=False)

常用格式的方法

Flat file

Excel

JSON

XML

示例2 常用格式转换

根据常用格式的IO方法，完成一个常用格式的格式转换功能。

第一步从指定格式的文件中读取数据，并将其转换为 DataFrame 对象。

第二部将 DataFrame 中的数据写入指定格式的文件中。

简要需求

• 根据输入输出的文件后缀名，自动进行格式转换，若格式不支持输出提示。
• 支持的格式csv，xlsx，json，xml。

依赖

pip install pandas
pip install openpyxl
pip install lxml

export方法

def export(input_file, output_file):
    if not os.path.isfile(input_file):
        print('Input file does not exist')
        return

    if input_file.endswith('.csv'):
        df = pd.read_csv(input_file, encoding='utf-8')
    elif input_file.endswith('.json'):
        df = pd.read_json(input_file, encoding='utf-8')
    elif input_file.endswith('.xlsx'):
        df = pd.read_excel(input_file)
    elif input_file.endswith('.xml', encoding='utf-8'):
        df = pd.read_xml(input_file)
    else:
        print('Input file type not supported')
        return

    if output_file.endswith('.csv'):
        df.to_csv(output_file, index=False)
    elif output_file.endswith('.json'):
        df.to_json(output_file, orient='records', force_ascii=False)
    elif output_file.endswith('.xlsx'):
        df.to_excel(output_file, index=False)
    elif output_file.endswith('.xml'):
        df.to_xml(output_file, index=False)
    elif output_file.endswith('.html'):
        df.to_html(output_file, index=False, encoding='utf-8')
    else:
        print('Output file type not supported')
        return

main方法

def main(argv):
    input_path = None
    output_path = None

    try:
        shortopts = "hi:o:"
        longopts = ["ipath=", "opath="]
        opts, args = getopt.getopt(argv, shortopts, longopts)
    except getopt.GetoptError:
        print('usage: export.py -i <inputpath> -o <outputpath>')
        sys.exit(2)

    for opt, arg in opts:
        if opt in ("-h", "--help"):
            print('usage: export.py -i <inputpath> -o <outputpath>')
            sys.exit()
        elif opt in ("-i", "--ipath"):
            input_path = arg
        elif opt in ("-o", "--opath"):
            output_path = arg

    print(f'输入路径为：{input_path}')
    print(f'输出路径为：{output_path}')
    export(input_path, output_path)

附其它格式的方法

HTML

Pickling

Clipboard

Latex

HDFStore: PyTables (HDF5)

Warning

One can store a subclass of DataFrame or Series to HDF5, but the type of the subclass is lost upon storing.

Feather

Parquet

ORC

SAS

SPSS

SQL

Google BigQuery

STATA