首 页IT知识库翔宇问吧收藏内容
当前位置:算搜IT乐园IT知识库R语言

R语言中使用箱线图检测数据的异常值并进行标注

减小字体增大字体作者:本站  来源:本站整理  发布时间:2020-07-14 18:28:58

箱线图概述

箱线图又称箱形图或盒须图,主要从四分位数的角度来描述数据的分布。一个箱线图由上边缘线、上四分位数(QU)、中位数(me),下四分位数(QL)和下边缘线组成。

上、下四分位数之差称为四分位差,或内距或四分位数间距,记为IQR:

IQR = QU - QL 

箱线图中盒子的上、下线分别是上、下四分位数,盒子中间的线是中位数。由触须延长的上、下边缘线分别为:

上边缘线的值 = QU + 1.5 IQR下边缘线的值 = QL - 1.5 IQR

也有用数据的极大值和极小值来表示上下边缘线的值的(但使用这种表示上下边缘的方法无法检测异常值)。

一个箱线图的形式如下图所示:

箱线图

异常值检测原理

箱形图为我们提供了识别异常值的一个标准:异常值被定义为小于QL-1.5IQR或大于QU+1.5IQR的值。虽然这种标准有点任意性,但它来源于经验判断,经验表明它在处理需要特别注意的数据方面表现不错。这与识别异常值的经典方法有些不同。众所周知,基于正态分布的3σ法则或z分数方法是以假定数据服从正态分布为前提的,但实际数据往往并不严格服从正态分布。它们判断异常值的标准是以计算数据批的均值和标准差为基础的,而均值和标准差的耐抗性极小,异常值本身会对它们产生较大影响,这样产生的异常值个数不会多于总数0.7%。显然,应用这种方法于非正态分布数据中判断异常值,其有效性是有限的。

箱形图的绘制依靠实际数据,不需要事先假定数据服从特定的分布形式,没有对数据作任何限制性要求,它只是真实直观地表现数据形状的本来面貌;另一方面,箱形图判断异常值的标准以四分位数和四分位距为基础,四分位数具有一定的耐抗性,多达25%的数据可以变得任意远而不会很大地扰动四分位数,所以异常值不能对这个标准施加影响,箱形图识别异常值的结果比较客观。由此可见,箱形图在识别异常值方面有一定的优越性。(以上两段来自百度百科-箱形图

R语言中实现箱线图的函数

在R语言中绘制箱线图使用boxplot函数,该函数的使用方法,可以参见本站《R语言中绘制箱线图》。

R语言使用箱线图检测异常值示例

我们仍然使用《标准分数法检测数据的异常值及在R语言中的实现方法》这篇文章中的例子。数据存储在文本文件中(下载数据:点击下载此文件),数据存储格式如下图所示:

R语言中使用箱线图检测异常值

编写R语言:

x <- scan("birthWeight.txt"# 定义变量X读取数据
names(x) <- 1 : length(x# 给每个数据编号
boxplot(x# 绘制箱线图
out.vals = boxplot(x)$out  # 获取异常值信息
print(out.vals#  输出异常值信息
for( iinout.vals# 在图上标注异常点的值
{
    text(iadj = -0.2, labels = i)
}

输出结果及绘图结果如下面靓图所示:

从输出结果可以看出,编号为1和6的两个数据为异常点。

箱线图检测异常值结果

从绘图结果来看,有两个点属于异常点,其位于箱线图下边缘线以下,属于异常小离群点,图中也标注了其具体的值为1740和960。

本文(完)

如有疑问,请留言评论


如需转载请注明出处和本文链接地址:算搜IT乐园(http://www.suansuo.cn)

本文链接地址:http://www.suansuo.cn/article/R/2020/6482.html

微信搜索“优雅的代码”关注本站的公众号,或直接使用微信扫描下面二维码关注本站公众号,以获取最新内容。

个人成长离不开各位的关注,你的关注就是我继续前行的动力。

知识评论评论内容只代表网友观点,与本站立场无关!

   评论摘要(共 0 条,得分 0 分,平均 0 分) 查看完整评论
愿您的精彩评论引起共鸣,带来思考和价值。
用户名:查看更多评论
分 值:100分 90分 80分 70分 60分 40分 20分
内 容:
验证码:
关于本站 | 网站帮助 | 广告合作 | 网站声明 | 友情连接 | 网站地图
本站部分内容来自互联网,如有侵权,请来信告之,谢谢!
Copyright © 2007-2021 suansuo.cn. All Rights Reserved.
换手率低量比大说明主力控盘,股票下跌时量比大是什么意思?_否嫁股票网负债为负数,有个朋友负债累累有钱不还,自己先买奢侈品,不管赚多少都要花成负数,请问这是不是病态?_那否股票网四大私募基金经理 刘敏达,有人知道普益集团有他们自己的基金经理吗?_捋改股票网红筹架构是什么意思,股权之道与术之十二——海外股权架构之江南布衣曲线红筹架构操作_否哕股票网怎么区分创业板基金,科创板基金有哪些?_琐否股票网国库券市场属于什么市场,交易所债市和银行间债市有什么关系?如果发展交易所债市会对银行间债市有什么影响?_否酩股票网北交所挂牌是什么意思,北交所开市三日,81 只北交所股票交易总体平稳,透露了哪些信息?创业板指 创业板综 区别,主要指数之间的差异创业板etf基金代码,ETF指数基金都有哪些,能否系统性地梳理一下?第一天涨停第二天放量下跌,中国股市:手中股票第一天涨停,第二天又低开,难道主力能赚钱?涨停板打板口诀,我天天吃到涨停板,这样的操作能战胜股市里面的“几成”股民?为什么涨停封板了还能打开,涨停板反复打开说明了什么股票跌停板第二天怎么开盘,如果你买的股票尾盘半小时突然急剧拉升,第二天却低开了,你知道意味着什么吗?涨停板学深度教程2,如何评价「一加手机与瑞典电信巨头Telia合作」?股票软件同花顺,有没有提过建议的,功能增加,或者新指标,画线等功能建议,该反馈建议,得到软件采纳的?什么是打新债/可转债,以及如何申购有没有懂可转债的朋友,能帮忙介绍一下可转债,以及操作?中国股市:长期持有一只股票,坚持每天做T,真的能赚钱吗?能推荐炒股和理财的书籍吗?什么是股票的k线图,股票K线图说的是购买人数还是企业的价值上升?k线图名称,股票入门基础知识K线图解?三色k线代表什么意思,如果不做这三件事,期权收益会大大提高k线图怎么看时间,投资黄金中不同时期k线图怎么应用k线走势分析心得体会,K线走势代表过去,而未来不确定,那走势还有什么意义?股票行情最近怎么样?,聊聊中国股市目前的行情是怎样的?股票信息网站哪个好,股票投资者经常看哪些网站或博客?怎样学股票入门,推荐几本股票入门的书香港交易所几点开市,商品开放策略:在外部市场盲目跟风“危机”或隐藏“机会”是不可取的股权的市场价值计算公式,一个公式看懂当前股票是否高估?a股k线图,A股:三大消息落地,下周,股市走势预测