Pandas数据读取与保存：我搞定了Excel、CSV、数据库的所有操作

大家好，我是正在实战各种AI项目的程序员晚枫。

今天学习Pandas的数据读写功能。

在实际工作中，数据可能来自各种地方：Excel表格、CSV文件、数据库、API接口。掌握数据的导入导出，是数据分析的第一步。

---

读取CSV文件

CSV是最常见的数据格式，纯文本，兼容性好。

基础读取

import pandas as pd

# 读取CSV
df = pd.read_csv('data.csv')

# 查看前几行
print(df.head())

常用参数

df = pd.read_csv('data.csv',
    encoding='utf-8',      # 编码格式
    sep=',',               # 分隔符（默认逗号）
    header=0,              # 第几行作为列名
    index_col=0,           # 哪列作为索引
    usecols=['A', 'B', 'C'],  # 只读取指定列
    nrows=1000,            # 只读前1000行
    skiprows=2,            # 跳过前2行
    na_values=['NA', 'NULL', '-']  # 识别为缺失值的字符串
)

中文编码问题

# 如果中文乱码，尝试不同编码
df = pd.read_csv('data.csv', encoding='gbk')      # 国标编码
df = pd.read_csv('data.csv', encoding='utf-8-sig') # 带BOM的UTF-8
df = pd.read_csv('data.csv', encoding='latin1')    # 西欧编码

---

读取Excel文件

安装依赖

pip install openpyxl xlrd

基础读取

# 读取第一个sheet
df = pd.read_excel('data.xlsx')

# 读取指定sheet
df = pd.read_excel('data.xlsx', sheet_name='Sheet1')
df = pd.read_excel('data.xlsx', sheet_name=0)  # 按索引

# 读取多个sheet
all_sheets = pd.read_excel('data.xlsx', sheet_name=None)
# 返回字典：{'Sheet1': df1, 'Sheet2': df2}

常用参数

df = pd.read_excel('data.xlsx',
    sheet_name='销售数据',
    header=0,              # 列名所在行
    skiprows=1,            # 跳过开头几行
    nrows=100,             # 读取行数
    usecols='A:C',         # 读取A到C列
    usecols=[0, 1, 2],     # 按索引选列
    dtype={'列名': str}    # 指定列的数据类型
)

---

保存数据

保存为CSV

# 基础保存
df.to_csv('output.csv', index=False)  # index=False不保存行索引

# 完整参数
df.to_csv('output.csv',
    index=False,           # 不保存索引
    encoding='utf-8-sig',  # 带BOM，Excel打开不乱码
    sep=',',               # 分隔符
    float_format='%.2f',   # 浮点数格式
    columns=['A', 'B'],    # 只保存指定列
    mode='w'               # 写入模式（'a'追加）
)

保存为Excel

# 基础保存
df.to_excel('output.xlsx', index=False)

# 保存多个sheet
with pd.ExcelWriter('output.xlsx') as writer:
    df1.to_excel(writer, sheet_name='Sheet1', index=False)
    df2.to_excel(writer, sheet_name='Sheet2', index=False)
    df3.to_excel(writer, sheet_name='Sheet3', index=False)

---

读取其他格式

JSON

# 读取JSON
df = pd.read_json('data.json')

# 从字符串读取
import json
with open('data.json', 'r') as f:
    data = json.load(f)
df = pd.json_normalize(data)  # 展平嵌套JSON

SQL数据库

from sqlalchemy import create_engine

# 创建连接
engine = create_engine('mysql+pymysql://user:password@host:port/database')

# 读取SQL
df = pd.read_sql('SELECT * FROM table_name', engine)
df = pd.read_sql_table('table_name', engine)
df = pd.read_sql_query('SELECT * FROM table WHERE age > 18', engine)

# 写入SQL
df.to_sql('new_table', engine, if_exists='replace', index=False)
# if_exists: 'fail'(默认), 'replace', 'append'

大数据分块读取

# 当文件太大，内存不够时
chunks = pd.read_csv('big_file.csv', chunksize=10000)

for chunk in chunks:
    # 处理每个chunk
    process(chunk)

---

实战：批量处理Excel报表

import pandas as pd
import glob

# 合并多个Excel文件
all_files = glob.glob("sales/*.xlsx")

all_data = []
for file in all_files:
    # 读取每个文件
    df = pd.read_excel(file)
    # 添加文件名作为来源标识
    df['来源文件'] = file
    all_data.append(df)

# 合并所有数据
combined = pd.concat(all_data, ignore_index=True)

# 统计每月销售额
monthly_sales = combined.groupby('月份')['销售额'].sum()

# 保存结果
with pd.ExcelWriter('汇总报告.xlsx') as writer:
    combined.to_excel(writer, sheet_name='原始数据', index=False)
    monthly_sales.to_excel(writer, sheet_name='月度汇总')

print(f"处理了{len(all_files)}个文件，共{len(combined)}条记录")

---

下节预告

下一课我们将学习数据筛选与查询，这是数据分析的核心技能。

👉 继续阅读：数据筛选与查询

---

💬 加入学习交流群

扫码加入Python学习交流群，和数千名同学一起进步：

👉 点击加入交流群

群里不定期分享：

• 数据分析实战案例
• Python学习资料
• 求职面试经验
• 行业最新动态

---

推荐：AI Python数据分析实战营

🎁 限时福利：送《利用Python进行数据分析》实体书

👉 点击了解详情

---

课程导航

上一篇： Pandas入门-Series和DataFrame

下一篇： 数据筛选与查询

---

PS：数据的导入导出是分析的第一步。熟练掌握这些操作，能帮你节省大量时间。

进群

嗨，扫码 进群

微信