Pandas进阶指南之数据合并与缺失值处理详解

import pandas as pd

df = pd.read_excel("messy_data.xlsx")

# 1. 查看哪些列有缺失值
print(df.isnull().sum())

# 2. 删除含有缺失值的行
# 如果某行只要有空值就整行删除
df_dropped = df.dropna()
# 只有当"销售额"这一列为空时，才删除该行
df_dropped_subset = df.dropna(subset=["销售额"])

# 3. 填充缺失值
# 将所有空值填充为 0
df_filled_0 = df.fillna(0)
# 针对不同列填充不同的值：数值列填0，文本列填"未知"
df_filled = df.fillna({"销售额": 0, "部门": "未知部门"})

df_emp = pd.read_excel("employees.xlsx")
df_dept = pd.read_excel("departments.xlsx")

# 使用 merge 进行关联匹配
# on="部门id" 表示依据这一列进行匹配
# how="left" 表示以左表（df_emp）为基准，找不到的部门信息显示为 nan
merged_df = pd.merge(df_emp, df_dept, on="部门id", how="left")

print(merged_df.head())

df_jan = pd.read_excel("1月销售.xlsx")
df_feb = pd.read_excel("2月销售.xlsx")

# ignore_index=true 表示重新生成行索引（0,1,2...），忽略原来的行号
df_total = pd.concat([df_jan, df_feb], ignore_index=true)

# data: 要透 视的 dataframe
# values: 要计算的数值列
# index: 对应透 视表的“行”标签
# columns: 对应透 视表的“列”标签
# aggfunc: 计算方式（默认是均值 mean，这里我们用 sum 求和）
# fill_value=0: 如果透 视后有空缺，用0填充
pivot = pd.pivot_table(
    df, 
    values="销售额", 
    index="城市", 
    columns="部门", 
    aggfunc="sum", 
    fill_value=0
)
print(pivot)
# 将透 视表结果保存为excel
pivot.to_excel("销售数据透 视表.xlsx")

# 使用 excelwriter 上下文管理器
with pd.excelwriter("最终报告.xlsx") as writer:
    df_total.to_excel(writer, sheet_name="全年明细", index=false)
    merged_df.to_excel(writer, sheet_name="员工部门信息", index=false)
    pivot.to_excel(writer, sheet_name="城市部门透 视表")
print("多sheet报表导出成功！")

import pandas as pd

# 1. 读取 excel 文件
# 默认读取第一个 sheet 页
df = pd.read_excel("sales_data.xlsx")

# 也可以指定读取名为 '2023数据' 的 sheet
# df = pd.read_excel("sales_data.xlsx", sheet_name="2023数据")

# 查看前5行数据，快速了解数据概况
print(df.head())

# 查看数据的基本信息（行数、列数、数据类型、是否有缺失值）
print(df.info())

# 2. 将 dataframe 保存为新的 excel 文件
# index=false 表示不保存最左侧的行索引号
df.to_excel("sales_data_backup.xlsx", index=false)

sales_dept = df[df["部门"] == "销售部"]
print(sales_dept)

high_sales = df[df["销售额"] > 10000]

excellent_sales = df[(df["部门"] == "销售部") & (df["销售额"] > 10000)]

# 方法一：使用 |
bj_sh_staff = df[(df["城市"] == "北京") | (df["城市"] == "上海")]

# 方法二：使用 isin() 方法（推荐，更优雅）
bj_sh_staff = df[df["城市"].isin(["北京", "上海"])]

# 按照销售额从高到低排序（降序：ascending=false）
sorted_df = df.sort_values(by="销售额", ascending=false)

# 多列排序：先按部门升序，部门相同的再按销售额降序
sorted_multi = df.sort_values(by=["部门", "销售额"], ascending=[true, false])

# 按“部门”分组，并对“销售额”求和
dept_sales = df.groupby("部门")["销售额"].sum()

# 重置索引，让结果变成一个漂亮的 dataframe
dept_sales_df = dept_sales.reset_index()
print(dept_sales_df)

# 使用 agg 函数进行多种聚合计算
city_stats = df.groupby("城市").agg({
    "姓名": "count",       # 计数（人数）
    "销售额": "mean"       # 求平均值
})
# 修改列名以便阅读
city_stats.rename(columns={"姓名": "员工人数", "销售额": "平均销售额"}, inplace=true)
print(city_stats)