使用3sigma原则去除数据表中的极端值

VIP使用3sigma原则去除数据表中的极端值
本文使用3sigma解决数据表中出现的极端值问题,其中包括基本原理、使用原则(检验方法)、代码展示这3个部分
开通可读全文 ·4.3k 人阅读
最低0.47元/天 解锁文章

一、基本概念

在正态分布中σ代表标准差,μ代表均值。x=μ即为图像的对称轴

3σ原则为:

数值分布在(μ-σ,μ+σ)中的概率为0.6826(1)

数值分布在(μ-2σ,μ+2σ)中的概率为0.9545(2)

数值分布在(μ-3σ,μ+3σ)中的概率为0.9973(3)

可以认为,Y 的取值几乎全部集中在(μ-3σ,μ+3σ)区间内,超出这个范围的可能性仅占不到0.3%

我们认为在(3)范围之外的数据可以看作极端值

二、适用条件

1、数据正态分布或近似正态分布的情况

2、测量次数充分大的情况

三、代码展示

import numpy as np  
import pandas as pd 
import matplotlib as mpl
from scipy import stats #导入K-S检验
import matplotlib.pyplot as plt
data=pd.read_csv(r'data_demo.csv')#读取数据
data.head(5)#输出前五行

测试数据的前五行展示如下: 

data.describe().T

VIP Python实现基于3σ原则的异常值检测 异常值是指样本中的个别值明显偏离其余的观测值。异常值的存在会对数据分析、建模产生干扰,因此需要对数据集进行异常值检测并进行异常值删除或修正,以便后续更好地进行数据分析和挖掘。对于异常值检测,有描述性统计、3σ原则方法、箱线图、基于聚类的方法等,而3σ原则是最常使用的异常值检测方法之一。在3σ原则下,一般认为数据的取值99.7%的概率集中在(μ-3σ,μ+3σ)区间内(μ为平均值,σ为标准差),超出这个范围的可能性仅占0.3%,属于极个别的小概率事件,因此将超出(μ-3σ,μ+3σ)范围的值认为是异常值。 开通可读全文·1.7w 阅读·7 点赞·131 收藏 阅读全文

相关推荐

异常数据处理——3σ原则、箱线图

异常数据处理——3σ原则、箱线图 用不包括异常值的剩余数据的均值替换、删除DataFrame中某列有异常值的整行等方法

杨老师的小跟班(*∩_∩*) 9025

Delta-Sigma ADC选型避坑指南:从‘输入短路’和‘正弦波’两种噪声测试法看透数据表

本文深入解析Delta-Sigma ADC选型中的噪声测试方法,重点对比‘输入短路’和‘正弦波’两种测试法的差异及其对数据表参数的影响。通过实际案例和参数解密,帮助工程师避免选型误区,精准匹配应用场景需求,提升精密测量系统设计效率。

weixin_30565199的博客 290

分子Sigma剖面计算工具sigmap:从原理到批量计算的完整实践指南

在计算化学和分子模拟领域,描述分子表面电荷分布的Sigma剖面是预测流体相平衡、溶解度等性质的关键参数。其原理基于COSMO模型,通过量子化学计算获得分子表面片段的电荷密度分布,并统计为概率密度图。这一技术为溶剂筛选、定量构效关系(QSAR)建模和混合物性质预测提供了标准化的分子指纹。sigmap作为一款命令行工具,通过自动化调用TURBOMOLE等后端计算引擎,将复杂的COSMO计算流程简化为单一命令,显著提升了高通量计算的效率。本文以TURBOMOLE为例,详细拆解了环境部署、单分子与批量计算流程,并深

weixin_28695537的博客 272

24位Sigma-Delta ADC从原理到实战:高精度采集的关键技术解析与选型指南

在工业测量、称重传感器和精密仪器等低带宽高动态范围应用场景中,ADC的分辨率与噪声性能往往直接决定系统的最终精度。传统SAR与流水线架构受限于量化噪声与工艺匹配度,难以在微弱信号下实现理想的有效位数。Sigma-Delta ADC凭借过采样与噪声整形技术,将量化噪声推至高频段,再用数字滤波器去除,从而以较低成本获得极高精度,成为微弱信号采集的首选方案。实际工程中,ENOB与无噪声分辨率才是衡量真实性能的核心指标,参考源噪声、时钟抖动、电源纹波以及PCB布局也直接影响系统精度。本文从量化噪声原理出发,深入解析

weixin_34212762的博客 467

3、算法设计基础:复杂度分析、数据表示与问题规约

本文介绍了算法设计的三大基础:复杂度分析、数据表示与问题规约。内容涵盖大O符号、伪多项式与固定参数可处理算法、摊还分析技术及其在KMP算法中的应用;讨论了基本数据结构的空间需求与简洁数据结构的概念;并通过实例展示了如何将新问题规约为已有经典问题,如LIS规约到LCS,以及团问题到顶点覆盖问题的难度规约,最后简要介绍了NP完全性理论中规约的核心作用。

ujm567890的博客 45

16、量子计算中的数据表示与特征映射

本文系统介绍了量子计算中的主要数据表示与特征映射方法,包括振幅编码、旋转编码、哈密顿量编码和密度矩阵指数化,分析了各类编码方式的原理、复杂度、资源需求及适用场景。文章强调了数据编码作为特征映射在量子机器学习中的核心作用,探讨了其对数据结构的影响以及引入量子优势的潜力,并总结了当前面临的挑战与未来发展趋势,为量子算法设计与应用提供了理论参考。

water的专栏 137

数据仓库实践:从ITR流程讲指标体系建设

从 ITR 流程或者其他客服反馈流程的考核过程可见,实际工作中不可能只通过单个指标评价一个业务过程,需要从多个维度梳理业务,并把多个高度相关的指标组织起来,以避免只考虑其中某个指标从而摧毁整个业务过程的结果,指标体系=指标+体系。

the_singing_towers的博客 2254

Spring WebFlux响应式编程实战(三):优雅处理异常与高效调试技巧

本文深入探讨了Spring WebFlux响应式编程中的异常处理与调试技巧。文章通过电商订单流处理场景,详细解析了Reactor核心操作符onErrorReturn、onErrorResume和onErrorMap的实战应用,并介绍了如何构建@ControllerAdvice和WebExceptionHandler全局异常处理防线。同时,提供了使用.log()操作符、Hooks.onOperatorDebug()及BlockHound进行高效调试的方法,旨在帮助开发者构建健壮、可维护的响应式应用。

weixin_29252171的博客 57

OnlyOffice Docker部署踩坑实录:解决Nginx反向代理导致的editor.bin下载失败

本文详细解析了在Docker中部署OnlyOffice时,因Nginx反向代理配置不当导致editor.bin下载失败的常见问题。通过分析问题根源,提供了从Nginx代理配置、Docker网络设置到OnlyOffice容器内部调整的完整解决方案,并分享了实战调试技巧与性能优化建议,帮助用户彻底解决这一部署难题。

wine的专栏 517

机器学习扩散模型简介

​ 扩散模型是生成模型,在过去几年中越来越受欢迎,这是有充分理由的。仅在 2020 年代发布的几篇开创性论文就向世界展示了 Diffusion 模型的能力,例如在图像合成方面击败 GAN[6]。最近,从业者将看到DALL-E 2(OpenAI 上个月发布的图像生成模型)中使用的扩散模型。

gongdiwudu的专栏 4225

【100%通过率】华为OD机试真题 Python 实现【水库蓄水问题】【2022.11 Q4 新题】

给定一个长度为 n 的整数数组height。数组的元素表示山的高度,选择两个元素作为水库的边界,求蓄水量的最大值并输出蓄水量最大时的边界下标(蓄水量相同时输出下标较近的)。

MISAYAONE的博客 1万+

汽车电子RTOS--AUTOSAR OS

AUTOSAR OS(AUTomotive Open System ARchitecture Operating System)是AUTOSAR(汽车开放系统架构)标准中的一个重要组件,它是一个专门为汽车电子控制单元(ECU)设计的实时操作系统(RTOS)。AUTOSAR OS旨在提供一个标准化的软件平台,以促进不同供应商和汽车制造商之间的组件复用和协同开发,提高软件质量和降低成本。

MHD0815的博客 1785

**YOLOv11性能突破:基于YOLOv10-PSA注意力机制的目标检测革命性升级**

购买即可解锁300+YOLO优化文章,并且还有海量深度学习复现项目,价格仅需两杯奶茶的钱,别人有的本专栏也有!

m0_71589036的博客 190

五.EtherCAT开发之STM32F407ZGt6+ LAN9253 外置EEPROM配置数据含义

EtherCAT从站简称ESC,ESC在上电过程中,会自动加载EEPROM中前7个字(1word = 2 byte)到ESC寄存器。ESC寄存器总是可以被EtherCAT主站通过EtherCAT总线访问,无论PDI接口寄存器配置什么值。EEPROM存储器中的前7个字,将决定ESC的工作模式。

AIoT深度探索者 | 嵌入式系统架构师 深耕物联网(IoT)与人工智能(AI)融合技术,聚焦​​边缘计算、图像开发、低功耗通信协议​​,致力于智能硬件,关注我获取最新技术文章信息与海量资源~ 3435

ssm框架搭建

这个是一个在idea上成功跑起来的ssm框架项目,保存在这里方便以后使用直接下载

C# WinForm 基于DirectShow.dll编写的程序,可边预览边保存视频,音频和图片

基于微软的DirectShow.dll的二次开发1.自动识别连接的摄像头跟麦克风且可以对其进行选择(默认选中第一个)2.可录制wmv和avi两种格式的视频并且都带有音频,avi可以录制的分辨率和帧数进行选择,wmv默认进行了淸晰度优化如不喜欢可去除代码中有相关提示3.可在预览点开之后进行拍照,也可边录制视频边拍照4.添加了视频和音频的压缩功能(酌情使用)这次二次开发发现C#对DirectShow的相关信息太少,这次做完也不敢藏私共享出来,还望大家指正

visio安装包

Microsoft Office Visio 是一款专业的制图软件。利用经过更新的形状、协作工具和数据链接图表,创建专业级图表以简化复杂的信息。

OV9734 DATASHEET,完整规格书

OV9734完整规格书,包括电气参数,尺寸规格,寄存器配置表等

双11狂欢大促

盲盒赢 定制羽绒服

开启惊喜盲盒,抽取你的专属好礼

— 惊喜奖品抢先看 —
qq_51397866
博客等级 码龄6年 3粉丝 1原创
评论 3
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值