前言
关于GDPR是什么,可能许多同学之前并不太了解,至少笔者在之前也是不清楚的。GDPR全称为通用数据保护条例,General Data Protection Regulation。它是一项来自欧盟的关于计算机数据保护相关的条约,旨在规范系统如何收集,管控用户私人数据的种种行为。但是当前的一些存储系统并没有完全符合里面的原则规范定义,比如典型的一点关于数据的清除。
GDPR条例中规定个人用户有绝对的权利发送请求让系统清除其数据并且这些数据在被删除会不能被访问到。当前的HDFS/Ozone系统其实也并未完全做到这点,为什么这么说呢?本文笔者来聊聊分布式存储系统内关于GDPR中的数据清除原则的内容。
HDFS存储系统数据的完全删除
我们平时在使用一些分布式系统做数据存储的时候,也经常会涉及到数据删除的操作,从用户角度来说,这些数据也确实是被删除了。因为他们从原先的目录下看不到他们之前存在的文件数据了,不过这里笔者想说的是:这是否意味着数据的完全删除了呢?数据真的彻彻底底地从系统中被物理清除了吗?
按照GDPR数据保护条例的说法,当用户发出明确的删除数据的之类后,系统应立即使其数据在系统中被彻底“遗忘”,无法被访问到。注意这里的关键词是“遗忘”和”无法被访问“,换句话,GDPR关于数据清除的一个核心准则在于数据的不再可见,物理删不删除倒不是必须的。
那么按照上述规则定义,当前一些成熟的分布式存储(比如HDFS)系统是否符合这个规则呢?答案是否定的。
HDFS的删除块行为是异步延迟执行的,它通过一个额外的Replica Monitor线程进行周期性的块处理操作,让后将待删除块信息通过心跳的方式传达到下面的节点内。所以说这个过程是有延时的。假设我们做一个极端情况的模拟,我们将Monitor线程的扫描周期调成1周,那么最早被HDFS用户删除的块需要等1周的时间才会被最终物理删除掉。而在这1周时间内,这个块数据对于其它用户通过非系统方式访问还是可见的,比如访问实际存储节点的物理文件访问。因此我们说HDFS的这种数据删除行为违背了GDPR中的数据清除原
1185




被折叠的 条评论
为什么被折叠?



