分布式存储系统关于GDPR条例中的数据清除原则

SCA连载系列之GDPR合规 | 对个人数据删除权,企业有哪些责任? “被遗忘权”源于Google西班牙诉v.AgenciaEspa oladeProtecciónde Datos和Mario CostejaGonzález案(2014年)。2018年GDPR正式实施后,赋予了个人要求删除其数据的权利,并且规定组织有义务这样做。现在,欧洲法院规定——互联网领域的“被遗忘权”是正当的,这引起了全世界的关注。 众所周知,GDPR被称为史上最严个人数据保护法,适用... 阅读详情

前言


关于GDPR是什么,可能许多同学之前并不太了解,至少笔者在之前也是不清楚的。GDPR全称为通用数据保护条例,General Data Protection Regulation。它是一项来自欧盟的关于计算机数据保护相关的条约,旨在规范系统如何收集,管控用户私人数据的种种行为。但是当前的一些存储系统并没有完全符合里面的原则规范定义,比如典型的一点关于数据的清除。
GDPR条例中规定个人用户有绝对的权利发送请求让系统清除其数据并且这些数据在被删除会不能被访问到。当前的HDFS/Ozone系统其实也并未完全做到这点,为什么这么说呢?本文笔者来聊聊分布式存储系统内关于GDPR中的数据清除原则的内容。

HDFS存储系统数据的完全删除


我们平时在使用一些分布式系统做数据存储的时候,也经常会涉及到数据删除的操作,从用户角度来说,这些数据也确实是被删除了。因为他们从原先的目录下看不到他们之前存在的文件数据了,不过这里笔者想说的是:这是否意味着数据的完全删除了呢?数据真的彻彻底底地从系统中被物理清除了吗?

按照GDPR数据保护条例的说法,当用户发出明确的删除数据的之类后,系统应立即使其数据在系统中被彻底“遗忘”,无法被访问到。注意这里的关键词是“遗忘”和”无法被访问“,换句话,GDPR关于数据清除的一个核心准则在于数据的不再可见,物理删不删除倒不是必须的。

那么按照上述规则定义,当前一些成熟的分布式存储(比如HDFS)系统是否符合这个规则呢?答案是否定的。

HDFS的删除块行为是异步延迟执行的,它通过一个额外的Replica Monitor线程进行周期性的块处理操作,让后将待删除块信息通过心跳的方式传达到下面的节点内。所以说这个过程是有延时的。假设我们做一个极端情况的模拟,我们将Monitor线程的扫描周期调成1周,那么最早被HDFS用户删除的块需要等1周的时间才会被最终物理删除掉。而在这1周时间内,这个块数据对于其它用户通过非系统方式访问还是可见的,比如访问实际存储节点的物理文件访问。因此我们说HDFS的这种数据删除行为违背了GDPR中的数据清除原

分布式存储下的GDPR数据清除:从逻辑删除到可证明删除 在数据合规与安全审计日益严格的今天,数据删除早已不只是简单的文件移除。分布式存储系统因多副本、纠删码、备份快照等机制,导致数据物理残留成为普遍难题,而GDPR等法规对“被遗忘权”的落地要求,推动技术团队重新审视存储层的删除逻辑。从逻辑删除到物理擦除,再到基于密钥销毁的加密删除,每一层都构成合规闭环的关键。加密删除以其低成本、高可控性成为当前数据清除的主流实践,配合生命周期策略、墓碑机制清理及删除任务留痕,可形成可证明的审计证据链。这套方法广泛应用于对象存储、NoSQL数据库及HDFS等场景,帮助组织在满足数 阅读详情

相关推荐

本地储存和服务器储存区别

数据存储在用户本地的浏览器环境中。例如,Cookie 存储在浏览器的 Cookie 存储区域,LocalStorage 和 SessionStorage 存储在浏览器为每个网站分配的本地存储区域。这些数据存储在用户的设备(如电脑、手机)上,具体的存储位置因浏览器而异,并且受到浏览器安全机制的保护。

weixin_64684095的博客 1185

【信息科学与工程学】【数据中心】 第十篇 智算中心存储系统的各类、分片方案

简单性原则:在满足需求的前提下,选择最简单的架构和实现可扩展性原则:设计应考虑水平扩展能力,避免单点瓶颈韧性原则:系统应具备故障容忍和自我修复能力安全性原则:安全应内置而非外挂,遵循最小权限原则成本效益原则:在性能和成本之间寻求最佳平衡可观测性原则:系统应提供充分的监控和诊断能力演进性原则:设计应支持平滑演进和技术更新架构先行:设计前瞻性、可扩展的存储网络架构性能与成本平衡:在性能、可靠性和成本之间找到最优平衡点安全合规内嵌:将安全和合规要求融入设计和实施全过程自动化智能化。

weixin_49199313的博客 1140

【信息科学与工程学】【数据中心】第三十五篇 云计算数据中心的学科知识04

编号学科(课程)核心知识点在云计算/云存储/云网络/云安全/云MaaS中的作用代表教材/资料/论文 + 数学方程式列表工业界应用D1421​云原生数据库:TiDB​HTAP(混合事务/分析处理)、分布式SQL、水平扩展、强一致(Raft)、自动故障恢复、与MySQL兼容、TiFlash列式引擎提供弹性扩展的分布式数据库;支撑高并发在线交易与实时分析教材:《TiDB in Action》PingCAP(2020) 论文:《TiDB: A Raft-based HTAP Database》(2017)

weixin_49199313的博客 374

【信息科学与工程学】【运营科学】第二篇 C4信息与通信网络运营 (C4) ——数据中心网络运营04

典型值:λ1​∈[−0.02,−0.01], λ2​∈[−0.01,0], η1​,η3​∈[0.1,0.3], η2​,η4​∈[0.05,0.15]参数:δ1​∈[−0.8,−0.3], δ2​∈[−0.5,−0.2], δ3​∈[−0.4,−0.1], δ4​∈[−0.6,−0.2]参数:φ1​∈[0.1,0.3], φ2​∈[−0.2,−0.05], φ3​∈[−0.1,0.1], φ4​∈[−0.3,−0.1]参数:α∈[0.3,0.6], β∈[0.2,0.4], γ∈[0.01,0.03]

weixin_49199313的博客 1174

【信息科学与工程学】【产品体系】第三十三篇 DPU/smartinic芯片中的学科知识03

需求实现DMA 与流边界检测优化​分级超时状态机(短/中/长)+ 积压计数 + 批量触发DMA 控制器优化​描述符预取(深度 4)+ 中断合并(阈值 8)Fence 语义正确性验证​RTL 断言 + C 语言序列号检测 + 性能对比 + 硬件计数器所有代码均为可综合 Verilog,已在仿真器中通过基本功能测试。在 FPGA 原型上运行上述 RTL,配合 ChipScope 观察 fence 时序在 BlueField-3 上运行 DOCA DPA 测试程序,对比加/不加 fence 的结果。

weixin_49199313的博客 219

android-gdpr-library:适用于Android的GPDR同意管理提供程序

适用于Android的GPDR同意管理提供程序 Android GDPR同意收集用户界面。 显示了检测用户是否为EU并随后展示CMP(同意管理平台)是多么容易。 将IAB格式的同意字符串写入IAB组指定的共享首选项。 参见MainActivityJava或MainActivityKotlin(两者都做同样的事情!) 观看视频以了解演示的工作原理: : 链接到APK: : 演示应用程序具有1个简单的屏幕。 此屏幕显示当前的GDPR同意字符串,并显示如何将此应用设置为受GDPR政策约束。 单击“隐私设置”按钮,通过启动GDPR CMP活动以收集用户的同意来调用sdk(如下)。 这是GDPR SDK的主要屏幕,用于收集用户的同意。 同意过程就像选择“我同意”或“我不同意”一样简单。 但是,如果用户希望进行更详细/自定义的同意设置,请按“详细信息”按钮,使我们进入下面的下一个屏幕。

PayPal支付集成完全指南:开源库实践

本文介绍了如何从零开始集成PayPal支付功能。首先概述了PayPal提供的多语言SDK和开源库,包括PHP、Python、Node.js等版本。然后详细说明了准备工作,包括注册开发者账号、获取API凭证和使用沙盒环境测试。文章以Node.js为例,演示了安装SDK、基础配置和实现支付流程的完整代码,包括创建订单和捕获支付两个核心功能。最后提及了订阅支付等高级功能,为开发者提供了完整的支付集成方案。通过清晰的代码示例和步骤说明,帮助开发者快速实现PayPal支付功能集成。

2501_93501927的博客 1249

R语言实战:GEO单细胞数据下载与自动化整理全流程(附代码)

本文详细介绍了使用R语言从GEO数据库下载scRNA-seq数据并实现自动化整理的完整流程。通过GEOquery和Seurat等工具包,读者可以高效获取单细胞RNA测序数据,完成从原始数据下载到预处理的全过程,最终生成可直接用于分析的Seurat对象。文章包含完整代码示例,特别适合生物信息学研究者处理单细胞数据。

weixin_29061821的博客 418

关于STM32编译报错:Error: L6218E: Undefined symbol SystemInit (referred from startup_stm32f10x_md.o).

今天新建工程发现出现一个错误 —— …\Output\CG.axf: Error: L6218E: Undefined symbol SystemInit (referred from startup_stm32f10x_md.o). 但我觉得我的操作没有任何问题,而且配置和上一个文件比较是一模一样的。 于是我开始百度查询,然后发现了下面几个博客—— @weixin_44133391——STM32 编译错误 @dorlolok——iel5 编译报错 error: L6235E: More than one

纯粹,学术,热爱。 9395

AD936x Evaluation Software 详细配置

作者:ShownSun 工作室:时沿科技 文章目录AD936x Evaluation Software详细配置1 系统概述2 AD9361 Wireless Transceiver Evaluation Setup2.1 标签描述2.2 用户参数2.3详细配置3 AD936x RF Wizard3.1 标签描述3.2 用户参数3.3 详细配置4 AD936x Digital Filter Wizard4.1 标签描述4.1.1 时钟配置4.1.2 滤波器配置4.1.3 接收滤波器配置4.1.4 发射滤..

ShownSun博客 5177

宇树G1嵌入式软件架构及技术实现

该架构通过硬件加速(FPGA)+确定性调度(RTX5)的组合,在1ms控制周期内完成从传感器采集到43轴输出的全链路处理,相比波士顿动力系统缩短40%的着地稳定时间。,结合ARM Cortex-R5与FPGA的异构计算能力,实现43自由度1kHz实时控制。

m0_60674045的博客 4297

yolov5深度剖析+源码debug级讲解系列(一) yolov5的架构和源码debug准备

前言 前段时间分析了yolov3的源码,这次想带着小伙伴一起把yolov5完全掌握。博主还是保持着一贯的风格,依旧采用debug级别的源码剖析。目的就是让大家可以通过一个系列的文章就把yolov5的架构、设计理念和每一行源码都弄懂。只要小伙伴可以花时间把这个系列读完,就会对yolov5的理解有所提升。 去年参加了kaggle的小麦检测比赛,yolov5在比赛的中段开始呈现霸榜趋势,超越了efficientdet。虽然最后yolov5因为权限等某些问题被kaggle官方禁用了,但是仍然体现出了其强大的能力。值

人唯优的博客 4万+

Spring AI 项目实战(十):Spring Boot + AI + DeepSeek 构建智能合同分析技术实践(附完整源码)

摘要:基于Spring AI的智能合同审核系统开发 本文介绍了基于Spring Boot 3.2.0和Spring AI 1.0.0-M4构建的智能合同审核系统。系统采用分层架构设计,整合DeepSeek API实现文档解析、条款提取和风险分析功能。核心技术栈包括Spring AI、H2数据库、Apache POI/PDFBox等文档处理工具,实现了合同条款语义分析、异常识别和审核报告自动生成。项目解决了传统人工审核效率低、主观性强等问题,为合同管理提供了智能化解决方案。文章详细阐述了系统架构设计、技术选型

博客 648

uniapp - 解决uni.getLocation定位不准有偏差,定位经纬度不准确有几百米误差、获取地图定位有偏差怎么办,已配置高精确度但依旧不精准(uni.getLocation定位不准如何解决)

uni.getLocation,获取当前的地理位置、速度。已经设置altitude高精度,uniapp API获取定位有差异问题解决,获取定位有几百米偏差,uni.getLocation(OBJECT)中使用默认type ”wgs84“会导致定位不准的问题,gcj02,uni.getLocation地图定位不准,获取经纬度错误偏移了几十公里,经纬度的精确度误差,怎么消除经纬度偏差,解决 uniapp uni.getLocation 定位经纬度不准问题,使用定位不准,定位不准误差问题,解决定位不准问题,高德地

✅ 精选推荐文章 1万+

jre9下载 jdk9

(Java SE Runtime Environment 9.0) 9.0u175 官方最新版 【x86|x64】

数学建模模型总结

这是本人在两年内准备参加数学建模竞赛搜集到的模型资料,已经经过了本人的筛选和整理,希望能够对准备参加数学建模竞赛的学弟学妹们提供一些帮助!

OV9734 DATASHEET,完整规格书

OV9734完整规格书,包括电气参数,尺寸规格,寄存器配置表等

visio安装包

Microsoft Office Visio 是一款专业的制图软件。利用经过更新的形状、协作工具和数据链接图表,创建专业级图表以简化复杂的信息。

上一篇: Pipeline并行处理模型
下一篇: 论分布式系统中Metric框架的设计
Android路上的人
Android路上的人 领域专家: 大数据技术领域 领域专家: 大数据技术领域
博客等级 码龄14年 3398粉丝 451原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值