Python数据分析(三)

续接Python分析，本篇主要是关于python中一些高阶函数的应用

以下是针对你提到的几个高级知识点（数据合并、apply、iterrows、agg、map）的详细解释和案例，帮助你系统学习和理解这些功能。

1. 数据合并（Merge/Concat/Join）

知识点pd.concat()

• 沿轴（行或列）堆叠多个 DataFrame。df.merge()
• 基于列或索引键合并两个 DataFrame（类似 SQL 的 JOIN）。df.join()
• 基于索引合并，是 merge 的简化版。

import pandas as pd
# 创建两个 DataFrame
df1 = pd.DataFrame({
    'id': [1, 2, 3],
    'name': ['Alice', 'Bob', 'Charlie']
})
df2 = pd.DataFrame({
    'id': [2, 3, 4],
    'score': [90, 85, 88]
})
# 使用 concat 堆叠（默认纵向堆叠）
df_concat = pd.concat([df1, df2], ignore_index=True)
print("concat 结果:\\n", df_concat)
# 使用 merge 合并（默认内连接）
df_merge = df1.merge(df2, on='id', how='inner')
print("\\nmerge 结果:\\n", df_merge)
# 使用 join 合并（基于索引）
df1.set_index('id', inplace=True)
df2.set_index('id', inplace=True)
df_join = df1.join(df2, how='left')
print("\\njoin 结果:\\n", df_join)

2. apply 函数

知识点df.apply(func, axis)

• 对 DataFrame 的行或列应用函数。axis=0
• 按列操作；axis=1：按行操作。

import pandas as pd


df = pd.DataFrame({
    'A': [1, 2, 3],
    'B': [4, 5, 6]
})


# 对列求和（默认 axis=0）
col_sum = df.apply(lambda x: x.sum(), axis=0)
print("列求和:\\n", col_sum)


# 对行计算最大值（axis=1）
row_max = df.apply(lambda x: x.max(), axis=1)
print("\\n行最大值:\\n", row_max)


# 自定义函数处理数据
def format_row(row):
    return f"A={row['A']}, B={row['B']}"


df['formatted'] = df.apply(format_row, axis=1)
print("\\n格式化后的 DataFrame:\\n", df)

3. 数据迭代（iterrows）

知识点df.iterrows()

• 逐行迭代 DataFrame，返回索引和行数据（效率较低，尽量避免在大数据中使用）。
• 适用于需要逐行处理的场景，但优先考虑向量化操作或 apply。

import pandas as pd


df = pd.DataFrame({
    'name': ['Alice', 'Bob', 'Charlie'],
    'age': [25, 30, 35]
})


# 使用 iterrows 迭代
print("逐行输出:")
for index, row in df.iterrows():
    print(f"Index: {index}, Name: {row['name']}, Age: {row['age']}")


# 添加新列（更高效的方式是用 apply）
df['is_adult'] = ''
for index, row in df.iterrows():
    df.at[index, 'is_adult'] = 'Yes' if row['age'] >= 18 else 'No'


print("\\n添加 is_adult 列后的 DataFrame:\\n", df)

4. agg 函数

知识点df.agg(func)

• 对 DataFrame 或 Series 应用聚合函数，支持多函数组合。
• 常用于 groupby 后对多列进行不同聚合操作。

import pandas as pd


df = pd.DataFrame({
    'Department': ['HR', 'IT', 'HR', 'IT'],
    'Salary': [5000, 7000, 5500, 8000],
    'Bonus': [1000, 2000, 1500, 2500]
})


# 单列聚合
print("Salary 列的最大值:", df['Salary'].agg('max'))


# 多列不同聚合
agg_result = df.agg({
    'Salary': ['mean', 'max'],
    'Bonus': ['sum', 'min']
})
print("\\n多列聚合结果:\\n", agg_result)


# 结合 groupby
group_agg = df.groupby('Department').agg({
    'Salary': 'mean',
    'Bonus': 'sum'
})
print("\\n按部门聚合结果:\\n", group_agg)

5. map 函数

知识点s.map(dict_or_func)

• 对 Series 中的每个元素应用映射关系（字典或函数）。
• 常用于值替换或转换。

import pandas as pd


df = pd.DataFrame({
    'name': ['Alice', 'Bob', 'Charlie'],
    'gender_code': [0, 1, 0]
})


# 使用字典映射
gender_map = {0: 'Female', 1: 'Male'}
df['gender'] = df['gender_code'].map(gender_map)


# 使用函数映射
df['name_length'] = df['name'].map(lambda x: len(x))


print("映射后的 DataFrame:\\n", df)

总结

• 合并数据优先使用 merge 或 join 处理关联逻辑，concat 用于简单堆叠。
• apply: 灵活但需注意性能，优先用向量化操作。
• iterrows：尽量避免在大数据中使用，改用 apply 或向量化。
• agg：用于多列聚合，结合 groupby 实现分组统计。
• map：高效替换或转换 Series 中的值。

通过这些案例，你可以更深入理解如何在实际项目中应用这些高级功能。以下是针对你提到的几个高级知识点（数据合并、apply、iterrows、agg、map）的详细解释和案例，帮助你系统学习和理解这些功能。

个人练习代码

#前面是关于基础的那些学习，目前看，项目中还是涉及用了蛮多关于高级函数应用
# 关于合并数据的
# 关于apply 这个函数
# 关于数据迭代的 iterrows
# 关于agg 、 map
# 还有就是时间系列的使用
# 然后最后就是数据可视化了，










#合并数据


import pandas as pd


# 创建两个 DataFrame
df1 = pd.DataFrame({
    'id': [1, 2, 3,4],
    'name': ['Alice', 'Bob', 'Charlie','33'],
})


df2 = pd.DataFrame({
    'id': [1, 2, 3],
    'score': [90, 85, 88]
})


# 使用 concat 堆叠（默认纵向堆叠）默认是并集，join = 'outer'
df_concat = pd.concat([df1, df2], ignore_index=False)
print("concat 结果:\n", df_concat)
#按列增加，axis=1 ，
df_concat = pd.concat([df1, df2], axis=1)
print("concat 结果:\n", df_concat)


#若是要交集  要用上jion =inner,这里所谓的交集，是指的两边都有数据的行的，若一边没有数据，则会被过滤
df_concat = pd.concat([df1, df2], axis=1,join ='inner')
print("concat 结果1:\n", df_concat)


#增加列
z =pd.Series([9,9,9],name='z')
print(z)
df_concat33=df_concat.assign(z=z)
print(df_concat33)


# 使用 merge 合并（默认内连接）
df_merge = df1.merge(df2, on='id', how='inner')
print("\nmerge 结果:\n", df_merge)


df_merge = pd.merge(df1,df2, on='id', how='inner')
print("\nmerge 结果1:\n", df_merge)




# 使用 join 合并（基于索引）
df1.set_index('id', inplace=True)
df2.set_index('id', inplace=True)
df_join = df1.join(df2, how='left')
print("\njoin 结果:\n", df_join)








#apply函数
#apply ,应用函数， 就是说，我要用函数了， 基础语法， pd.apply(func(),axis=0)
#这里有点奇怪的是， axis=0 表示按行来， axis=1 表示按列来


print(df_concat33)
ap = df_concat33
ap['total']=ap.loc[:,'score':'z'].apply(lambda x :sum(x), axis =1)
print(ap)


row3=ap.loc[:,'score':'total'].apply(lambda x :sum(x) ,axis=0)
print(row3)


df=pd.DataFrame(
    {
        "A":[1,2,3],
        "B":[2,4,5]
    }
)


print(df)
#对列求和
col_sum=df.apply(lambda x :sum(x),axis=0)
print(col_sum)




#对行求和
row_sum=df.apply(lambda x :sum(x),axis=1)
print(row_sum)


# 自定义函数处理数据
def format_row(row):
    return f"A={row['A']}, B={row['B']}"


df['formatted'] = df.apply(format_row, axis=1)
print("\n格式化后的 DataFrame:\n", df)


# ap.loc[len(ap)]=''
# print(ap)
# ap.loc[len(ap)] =[row3]
#
# #数据迭代
# iterrows
#


df = pd.DataFrame({
    'name': ['Alice', 'Bob', 'Charlie'],
    'age': [25, 30, 35]
})


# 使用 iterrows 迭代
print("逐行输出:")
for index, row in df.iterrows():
    print(f"Index: {index}, Name: {row['name']}, Age: {row['age']}")


# 添加新列（更高效的方式是用 apply）
df['is_adult'] = ''
for index, row in df.iterrows():
    df.at[index, 'is_adult'] = 'Yes' if row['age'] >= 18 else 'No'


print("\n添加 is_adult 列后的 DataFrame:\n", df)




df['is_risk'] = df['age'].apply(lambda x: 'Yes' if x>=35 else 'no')


print("\n添加 is_risk 列后的 DataFrame(用apply函数):\n", df)




# #函数应用




# agg  聚合函数，用的多的是在和分组函数一起用
#
df = pd.DataFrame({
    'Department': ['HR', 'IT', 'HR', 'IT'],
    'Salary': [5000, 7000, 5500, 8000],
    'Bonus': [1000, 2000, 1500, 2500]
})


# 单列聚合
print("Salary 列的最大值:", df['Salary'].agg('max'))


# 多列不同聚合
agg_result = df.agg({
    'Salary': ['mean', 'max'],
    'Bonus': ['sum', 'min']
})
print("\\n多列聚合结果:\\n", agg_result)


# 结合 groupby
group_agg = df.groupby('Department').agg({
    'Salary': 'mean',
    'Bonus': 'sum'
})
print("\\n按部门聚合结果:\\n", group_agg)




#map函数，- **`s.map(dict_or_func)`**：对 Series 中的每个元素应用映射关系（字典或函数）。
# -常用于值替换或转换。


df = pd.DataFrame({
    'name': ['Alice', 'Bob', 'Charlie'],
    'gender_code': [0, 1, 0]
})


# 使用字典映射
gender_map = {0: 'Female', 1: 'Male'}
df['gender'] = df['gender_code'].map(gender_map)


# 使用函数映射
df['name_length'] = df['name'].map(lambda x: len(x))


print("映射后的 DataFrame:\\n", df)