ETL数据清洗

大多数据仓库的数据架构可以概括为：

数据源-->ODS(操作型数据存储)-->DW-->DM(data mart)

ETL贯穿其各个环节。

​一、数据抽取：

可以理解为是把源数据的数据抽取到ODS或者DW中。

1. 源数据类型：

    关系型数据库，如Oracle,Mysql,Sqlserver等;

    文本文件，如用户浏览网站产生的日志文件，业务系统以文件形式提供的数据等；

    其他外部数据，如手工录入的数据等；

2. 抽取的频率：

    大多是每天抽取一次，​也可以根据业务需求每小时甚至每分钟抽取，当然得考虑源数据库系统能否承受；

3. 抽取策略：

   个人感觉这是数据抽取中最重要的部分，可分为全量抽取和增量抽取。

   全量抽取，适用于那些数据量比较小，并且不容易判断其数据发生改变的诸如关系表，维度表，配置表等；

   增量抽取，一般是由于数据量大，不可能采用全量抽取，或者为了节省抽取时间而采用的抽取策略；

   如何判断增量，这是增量抽取中最难的部分，一般包括以下几种情况：

         a) 通过时间标识字段抽取增量；源数据表中有明确的可以标识当天数据的字段的流水表，如createtime，updatetime等；

         b) 根据上次抽取结束时候记录的自增长ID来抽取增量；无createtime,但有自增长类型字段的流水表，如自增长的ID，抽取完之后记录下最大的ID，下次抽取可根据上次记录的ID来抽取；

         c)  通过分析数据库日志获取增量数据，无时间标识字段，无自增长ID的关系型数据库中的表；

         d)  通过与前一天数据的Hash比较，比较出发生变化的数据，这种策略比较复杂，在这里描述一下，比如一张会员表，它的主键是memberID,而会员的状态是有可能每天都更新的，我们在第一次抽取之后，生成一张备用表A，包含两个字段，第一个是memberID,第二个是除了memberID之外其他所有字段拼接起来，再做个Hash生成的字段，在下一次抽取的时候，将源表同样的处理,生成表B,将B和A左关联，Hash字段不相等的，为发生变化的记录，另外还有一部分新增的记录，根据这两部分记录的memberID去源表中抽取对应的记录；

          e) 由源系统主动推送增量数据；例如订单表，交易表，有些业务系统在设计的时候，当一个订单状态发生变化的时候，是去源表中做update，而我们在数据仓库中需要把一个订单的所有状态都记录下来，这时候就需要在源系统上做文章，数据库​触发器一般不可取。我能想到的方法是在业务系统上做些变动，当订单状态发生变化时候，记一张流水表，可以是写进数据库，也可以是记录日志文件。当然肯定还有其他抽取策略，至于采取哪种策略，需要考虑源数据系统情况，抽取过来的数据在数据仓库中的存储和处理逻辑，抽取的时间窗口等等因素。

二、数据清洗：

顾名思义​，就是把不需要的