百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 技术文章 > 正文

数据分析-相关性分析(相关性数据分析步骤)

haoteby 2025-04-09 16:14 9 浏览

相关性分析是一种统计方法,用于衡量两个或多个变量之间的关系强度和方向。它通过计算相关系数来量化变量间的线性关系,从而帮助理解变量之间的相互影响。相关性分析常用于数据探索和假设检验,是数据分析和统计建模中的重要工具。

相关性分析的主要内容是计算变量之间的相关系数,主要的相关系数有如下三个:

皮尔逊相关系数(Pearson Correlation Coefficient):用于衡量两个连续变量之间的线性关系,值介于-1和1之间。值越接近1或-1,表示变量之间的线性关系越强;值接近0,表示几乎没有线性关系。

斯皮尔曼秩相关系数(Spearman's Rank Correlation Coefficient):用于衡量两个变量之间的单调关系,即使这种关系不是线性的。常用于处理不满足正态分布或包含异常值的数据。

肯德尔等级相关系数(Kendall's Tau):用于衡量两个变量之间的相关性,适合处理小样本数据或数据中存在相同值的情况。

至于如何选择合适的相关系数,可以通过下面这张流程图来进行判断↓

整体流程是,在做相关性分析前,先通过绘制散点图来直观感受一下数据是否有相关性,如果有相关性,再进行后续的操作,没有相关性就可以停止了。

第二步是看数据的类型,如果是连续变量,且样本量大于30;或者联系变量,样本量小于30,但符合正太分布。就选择皮尔逊相关系数,否则就选择另外两种的一个。

【如何判断相关程度】

主要有两大步骤,一是计算相关系数,相关系数的结果会在-1到1之间,如果0≤∣r∣<0.3,就认为两个变量之间不相关;如果0.3≤∣r∣<0.5,就认为两个变量之间存在弱相关;如果0.5≤∣r∣<0.8,就认为两个变量之间存在中度相关;如果0.8≤∣r∣<1就认为两个变量之间存在强相关关系。

上面的相关系数值是基于已有的样本值计算得到的,不能代表整体也是一样的相关性。所以第二步还需要做假设检验,只有通过了假设检验,才能认为我们前面计算出来的相关系数可以代表整体的相关系数。

【案例演示】

我们以工作中常见的广告/推广费用的投入与销售额之间的关系举例,正常情况下推广费用越多,对应的销售额应该就越大。于是我们抽取了25天的数据样本,来进行相关性分析,数据如下↓

因为是连续变量,但是样本数只有25,小于30个,所以我们需要对两个字段进行正态性检验,详细的可以参考《方差分析》里面的R和Python正态性检验,代码和结果如下↓

# 正态性检验
shapiro.test(data$advertising)
shapiro.test(data$sales)
Shapiro-Wilk normality test
data:  data$advertising
W = 0.96745, p-value = 0.5812


Shapiro-Wilk normality test
data:  data$sales
W = 0.96917, p-value = 0.624

结果都远大于0.05,符合正太分布。接下来就直接计算皮尔逊相关系数,代码和结果如下↓

correlation <- cor(data$advertising, data$sales)
correlation
[1] 0.9430218

结果是0.94,说明推广费用投入和销售额之间有非常强的正相关关系。为了对结果进行假设检验,我们需要对回归模型的参数进行统计检验,通常使用t检验来检验每个参数是否显著。

最后计算出来的p-value: 1.769e-12,通过检验。我们可以绘制图形来看在95%的置信区间下的相关走势图↓

plot <- ggplot(data, aes(x = advertising, y = sales)) +
  geom_point() +
  geom_smooth(method = "lm", se = TRUE, color = "blue", fill = "lightblue", level = 0.95) +
  labs(title = paste("广告支出与销售额的关系\n皮尔逊相关系数:", round(correlation, 2)),
       x = "广告支出",
       y = "销售额") +
  theme_minimal()

【斯皮尔曼秩相关系数】

最后再举一个斯皮尔曼秩相关系数的案例,是员工工作年限和他们工作满意度的评分,假设评分分数是1-10分之间,数据如下↓

n <- 25
work_years <- runif(n, min = 1, max = 30)  
satisfaction <- 10 - 0.2 * work_years + rnorm(n, mean = 0, sd = 1.5)  
satisfaction <- ifelse(satisfaction < 1, 1, satisfaction)
satisfaction <- ifelsesatisfaction> 10, 10, satisfaction)
data <- data.frame(work_years, satisfaction)

然后直接进行分析,代码和结果如下↓

# 斯皮尔曼秩相关系数
spearman_correlation <- cor(data$work_years, data$satisfaction, method = "spearman")
> spearman_correlation
[1] -0.7569231


结果是-0.756,说明工作时间越长,对工作的满意度就越低。这个结果我们还不能直接拿来使用,还需要做假设检验↓

# 相关性显著性检验
spearman_test <- cor.test(data$work_years, data$satisfaction, method = "spearman")
data:  data$work_years and data$satisfaction
S = 4568, p-value = 1.975e-05
alternative hypothesis: true rho is not equal to 0
sample estimates:
       rho 
-0.7569231


结果也很完美,通过了检验。最后我们来绘制一下相关的图像↓

plot <- ggplot(data, aes(x = work_years, y = satisfaction)) +
  geom_point() +
  geom_smooth(method = "loess", se = TRUE, color = "blue", fill = "lightblue") +
  labs(title = paste("员工工作年限与工作满意度的关系\n斯皮尔曼秩相关系数:", round(spearman_correlation, 2)),
       x = "工作年限 (年)",
       y = "工作满意度评分") +
  theme_minimal()

链接是我使用PowerBI整合的历史文章,按类型分类,可以根据需求查询:Microsoft Power BI↓

https://app.powerbi.com/view?r=eyJrIjoiNjI2NWQ3NjktYjU0ZC00ZWZhLTgzMDgtMGI4ZTk1ZDlkODM3IiwidCI6IjI3NDQ3MWQ0LTM4ZDQtNDVlZS1hMmJkLWU1NTVhOTBkYzM4NiJ9

End

相关推荐

DIY桌面激光雕刻机#是时候展现真正的技术了

激光雕刻机。这期视频我们来看一下我是如何DIY一台桌面激光雕刻机。前几天在水池子边上发现了一台旧电脑,我看这电脑上还有一些东西可以利用到,比如光驱上面拆出了步进电机和滑轨。所以本期视频我将用这些废品去...

100000块多米诺骨牌拼成超级马里奥,这款机器人1天就完成了

智东西(公众号:zhidxcom)编译|王健恩编辑|高歌智东西7月30日消息,美国工程师兼YouTube博主MarkRober创造出了一个可以自动摆放多米诺骨牌的机器人。这个机器人被命名为D...

这个3D打印机器人可以在30秒内打开密码锁

密码锁看似很安全?也许曾经是,但现在你可要当心了!这是因为一台3D打印制造的机器人就可以在半分钟内打开你的密码锁。上周四,知名黑客萨米·卡姆卡尔(SamyKamkar)在自己的网站上公布了一个称之为...

密码锁也不安全 这款机器人30秒即可自动打开

大学生和体育爱好者们要注意了,千万不要再把贵重物品存放在公共储物柜里。因为现在已经出现了一种3D打印的机器人,据说世界上各大锁商推出的大部分密码锁,它都能够在30秒之内打开。著名黑客山米·卡姆卡(Sa...

硬件单片机模拟器,再也不用买开发板了...

#头条创作挑战赛#记得2006年在凌阳科技(sunplus)工作的时候,凌阳科技开发了自己的编译器/集成开发环境(unspIDE),那个IDE除了有keil那样的编辑器、编译器、链接器、调试器、下载...

3D打印机分哪几部分构成?(3d打印机结构组成及系统分析)

3D打印机的构成根据技术类型(如FDM、SLA、SLS等)有所不同,但以最常见的FDM(熔融沉积成型)3D打印机为例,其核心组成部分可分为以下模块:1.机械结构框架提供整体支撑和稳定性,常见材质为金...

初学者学伺服都需要什么?石家庄诺仕通

#初学者学伺服都需要什么?#对于初学者学习伺服系统,需要从...

arduino(arduino是单片机吗)

arduino学习笔记arduino学习笔记1-什么是arduino?...

自制写字机,你需要的全套资料都在这里

小编之前发过《用废旧光驱制作迷你绘图仪》,很多读者都成功制作了自己的绘图仪。但是该方法的缺点是gcode要在inkscape软件中生成,然后通过grbl-controller这个没有界面的程序发送画图...

自己动手DIY3D打印机 瞬间效果出现桌面时,大家都惊呆了!

3D打印机,对数码产品比较了解的朋友都知道,但是真正玩过的童鞋可能就不多了。其实3D打印机离我们并不远,随着3D打印技术越来越成熟,3D打印机的学习资料也越来越多,这让自己动手做一台桌面3D打印机也成...

机器人仅用24小时将十万块多米诺骨牌拼出马里奥,创下世界纪录

十万块多米诺骨牌倒下是个啥场面?等等,十万块?那得搭多久啊?...

如何制作一个机器人?(制作机器人的方法)

1.简单机械机器人(例如自动小车)2.智能机器人(带有人工智能或计算机视觉)3.工业机器人(用于生产自动化)4.人形机器人(类人结构,可以行走、对话)...

CrowPi2树莓派4学习套件评测第1部分–开箱和首次启动

文章来源:CNXSoftware中文站2020年6月,我曾写过一篇关于深圳易科诺...

基于 Arduino UNO 的蓝牙汽车(arduino智能小车蓝牙控制app)

HC-05蓝牙模块HC-05是一款易于使用的蓝牙SPP模块,针对流畅的串行无线通信配置进行了优化。串口蓝牙模块是完全合格的蓝牙V2.0+EDR(增强数据速率)3Mbps调制,具有总2.4...

电机驱动设计方案带你初识机电一体化

在直流电机驱动电路的设计中,主要考虑以下几点:功能:电机是单向还是双向转动?需不需要调速?...