Pandas使用SQLite3实战

pip install pandas

import pandas as pd
import sqlite3

# 连接到数据库
conn = sqlite3.connect('test.db')

# 读取 users 表到 dataframe
df = pd.read_sql('select * from users', conn)
print(df.head())  # 查看前5行数据

# 关闭连接
conn.close()

query = '''
    select 
        name, 
        avg(age) as avg_age   -- 计算平均年龄
    from users 
    where age > 20 
    group by name
'''
df = pd.read_sql(query, conn)
print(df)

# 创建一个示例 dataframe
data = {
    'name': ['david', 'eve'],
    'age': [28, 32],
    'email': ['david@test.com', 'eve@test.com']
}
df = pd.dataframe(data)

# 写入到 users 表（全量覆盖）
df.to_sql(
    name='users',     # 表名
    con=conn,         # 数据库连接
    if_exists='replace',  # 如果表存在，直接替换（慎用！）
    index=false       # 不保存 dataframe 的索引列
)
conn.commit()

df.to_sql(
    name='users',
    con=conn,
    if_exists='append',  # 追加到现有表
    index=false
)
conn.commit()

id,name,age,email
1, alice,30,alice@example.com
2, bob , invalid, bob@example.com  # 错误年龄
3, charlie,35,missing_email

# 读取 csv
df = pd.read_csv('dirty_data.csv')

# 清洗操作
df['age'] = pd.to_numeric(df['age'], errors='coerce')  # 无效年龄转为 nan
df = df.dropna(subset=['age'])                        # 删除年龄无效的行
df['email'] = df['email'].fillna('unknown')            # 填充缺失邮箱
df['name'] = df['name'].str.strip()                   # 去除名字前后空格

print(df)

with sqlite3.connect('test.db') as conn:
    # 写入新表 cleaned_users
    df.to_sql('cleaned_users', conn, index=false, if_exists='replace')
    
    # 验证写入结果
    df_check = pd.read_sql('select * from cleaned_users', conn)
    print(df_check)

# 分块读取 csv（每次读 1 万行）
chunk_iter = pd.read_csv('big_data.csv', chunksize=1000)

with sqlite3.connect('big_db.db') as conn:
    for chunk in chunk_iter:
        # 对每个块做简单处理
        chunk['timestamp'] = pd.to_datetime(chunk['timestamp'])
        # 分块写入数据库
        chunk.to_sql(
            name='big_table',
            con=conn,
            if_exists='append',  # 追加模式
            index=false
        )
    print("全部写入完成！")

# 创建临时 dataframe
df = pd.dataframe({'product': ['a', 'b', 'c'], 'price': [10, 200, 150]})

# 写入 products 表
df.to_sql('products', conn, index=false, if_exists='replace')

# 执行复杂查询（连接 users 和 orders 表）
query = '''
    select 
        u.name,
        p.product,
        p.price
    from users u
    join orders o on u.id = o.user_id
    join products p on o.product_id = p.id
    where p.price > 10
'''
result_df = pd.read_sql(query, conn)
print(result_df)