IBM公司全新的数据仓库解决方案——面向制造零售快速消费品行业的案例

生产力水平的提高使得制造零售快消品行业供大于求的矛盾越来越突显；同时，由于人力成本上升、物价上涨、人民币贬值等因素，国内企业的成本优势逐渐丧失，出口的拉动效应越来越差；加上同类产品的同质化竞争非常严重，国内企业面临着非常严峻的挑战。

为了在竞争中获胜，优秀的企业需要不断加强在品牌管理、人员管理、费用控制、计划和预测机制等方面的管理来提升企业营销体系的核心竞争力。IBM 的全新数据仓库解决方案能够让用户快速制定出那些对企业利润有积极影响的 BI 策略。意味着在面对任何可能的市场机遇或威胁时，企业能够根据最精准的情报做出更快更准确的反应。

现代制造零售快消企业的竞争，是决策管理体系的竞争，面对激烈的市场竞争，企业要生存发展，就需要建立快速敏捷的决策体系，加强终端管理，控制好各项费用，提高对市场的快速反应能力，提升企业自身的核心竞争力。利用信息化技术来提升管理管理水平，成为众多企业发展的必要战略。

如下架构图是 IBM 全新数据仓库解决方案，该方案中包括了刚引进中国市场，但在全球范围已有众多案例的 Netezza，也包括了满足绝大多数苛刻的数据整合需求所需的功能的 Infosphere Datastage, 以及能提供完美前端展现的 Cognos。

图 1. IBM 数据仓库架构总览

1.Netezza 介绍

IBM Netezza 对数据分析所采用的方法已获得专利，内嵌在易于使用的设备中。该方法在以物理速度 处理大量数据的同时，最大限度地减少了数据的移动。TwinFin 系统是 IBM Netezza 推出的第四代设备，TwinFin 是目的性很强且基于标准而建立的数据设备，在架构上将数据库、服务器和存储功能进行了集 成，是一个独立并易于管理的系统。TwinFin 设备针对快速分析 PB 量级的数据而设计，其性能比其他传统数 据仓库供应商的设备性能高出 10-100 倍。

Netezza TwinFin 的特点：

• 满足企业对数据仓库可靠性和可用性的要求，有超过 99.99% 的正常运行时间。
• 数据量可从 1TB 以下扩展到 PB 量级。具有极强的可扩展性。
• 支持数以千计用户的使用，并支持高度复杂、混合的复杂查询。
• 极快的加载速度，每小时超过 2TB。
• 极快的备份速度，数据速率超过 4TB 每小时的高速备份以及存储性能。
• 设备易用性，无需索引或调整；少量的运行管理工作。
• 行业领先的多核 Intel 刀片服务器，在实施过程中结合了磁盘存储和 Netezza FPGAs 专利数据过滤技术。
• 兼容市场领先的 BI 工具，应用软件以及基础设施。
• 低功耗和散热要求且占地面积紧凑。
• 针对高级分析的平台，好几个数量级的性能优势。

2.Infosphere DataStage 介绍

IBM 建议使用 IBM InfoSphere 信息集成系列产品软件来建设 ETL 系统，其中包括：Ferderation Server 和 Replication Server、DataStage 和 Metadata WorkBench 工具软件。该解决方案的逻辑系统架构如下图所示。

图 2. 解决方案的逻辑系统架构图

上述系统架构可分成三部分：

• 数据源数据抽取
• ETL 服务器平台上数据转换
• 数据处理结果加载 / 更新到目标数据库 Netezza

DataStage具有以下功能：

• 整合来自最大范围的企业和外部数据源的数据
• 合并数据有效性规则
• 利用可扩展的并行处理能力处理并转换大量数据
• 处理极为复杂的转换
• 管理多个整合流程
• 提供到作为源或目标的企业应用的直接连接
• 利用元数据进行分析和维护
• 以批量、实时或作为 Web 服务的方式运行
• 数据采集和数据转换要求能够整合到一个整体平台，通过一个完整的图形化界面进行展现和定义。
• 具备统一调度、多进程并行监控和管理功能，实现统一调度和流程的控制。实现完善的任务中断恢复机制。

3.Cognos 介绍

IBM Cognos BI 为商业智能与分析提供了一个完整的工作平台，使得整个组织可以面对业务上的关键问题，并超越对手。IBM Cognos BI 可以：

• 更美观、更流畅的展现效果
• 更容易的浏览、收集并定制化数据信息
• 多角度浏览所有形式的信息，评估当前的业务情况。
• 通过简单的数据浏览，预测和 what-if 分析来分析业务数据，指定企业决策。
• 通过协作建立决策网络，体现群体的智慧。
• 在企业内提供透明力度与问责制，群策群力。
• 沟通并协调任务使得正确的人在正确的时间地点工作
• 支持移动设备与实时分析，随时随地获得信息并采取行动
• 将日常分析整合到业务流程中

案例分析

W 公司是一家国际有限公司在华投资的以粮油加工、种业开发、仓储物流、内外贸易、油脂化工、大豆蛋白于一体的多元化侨资企业。上世纪 80 年代末，开始参与中国粮油行业的发展和建设，经过近二十年的发展，涉足压榨、精炼、小包装食用油、油脂化工、特种油脂和米面等多种业务和产品系列。在中国建立了布局合理的生产体系和为消费者提供便捷服务的供应网络。

通过前期和 W 公司业务部门和 IT 部门的交流，我们了解到，客户现阶段的 BI 系统面临下面一些问题：

1. 性能问题：由于性能原因，无论是报表还是查询都非常慢，( 很多 Update Query 都达到 10 分钟以上 ), 业务部门意见很大，也无法存储周期更长的历史数据。
2. 平台不统一：各个应用开发中包含各自的分析功能和平台
3. 系统不稳定：目前用 BW 中内置的 ETL 功能，跑 ETL 时，经常导致 SAP 无法操作 ( 甚至可能影响多达 2 天 ), 主系统受到影响。
4. 信息不及时：新加坡总部关心每天定时 (16 点 ) 能拿到 Daily 的报表，目前无法得到保障。

随着客户业务的增长，将来还会面临更多的挑战：

1. 未来的数据规模、查询处理复杂度、用户数、访问并发数、实时查询分析、BI 及数据挖掘等等一切都在增长，系统性能无法及时满足市场等业务部门的需要。
2. 组织机构庞大，有总部，新加坡分公司，中国分公司 ，非洲分公司，欧洲分公司。
3. 数据越来越多，以 SAP R/3 为核心，寻源、生产、销售、财务等核心模块。并能涵盖非 SAP 信息。
4. 需求越来越复杂：无法满足业务部门对 BI 的性能要求，及时提供相关报表和分析。以及未来基于企业统一业务视图的数据和分析的需求。

针对客户以上情况，IBM 向客户建议了以 DataStage 为 ETL 平台，Netezza 为数据仓库核心，Cognos BI 为前端展现分析工具的整体 BI 系统解决方案。本次测试的目是为了验证该方案的整体可行性和该方案在客户真实业务场景中的性能表现。测试系统架构如下图所示。

图 3. 测试系统架构

1. 测试目的

1. 验证 DataStage 与 SAP BW 的连通性，DataStage 在抽取 SAP BW 数据时的性能。
2. 验证 DataStage 的数据转换能力，通过基础业务数据生成 BI 分析模型。
3. 验证 DataStage 向 Netezza 数据仓库中加载数据的性能。
4. 验证 Netezza 的简单易用性。
5. 验证 Cognos 报表在 Netezza 上的展现性能。

2. 测试步骤

1. 安装 SAP BW，并配置 Open Hub Service 接口，并向该系统中导入 W 公司真实业务数据。
2. 安装并配置 DataStage，通过 Open Hub Service 从 SAP BW 中抽取销售数据和相关主数据。
3. 通过 DataStage 的 ETL 功能将所抽取的数据转换成相应的 BI 数据模型，并加载到 Netezza 数据仓库中。
4. 在 Netezza 中将数据放大到 1TB 的数据量。
5. 安装并配置 Cognos BI 连接到 Netezza 数据仓库一体机。
6. 在 Cognos 中进行数据建模并开发相应的报表进行查询展示。

3. 测试结果

1. DataStage 作为 ETL 平 台，可以很好的集成源数据，抽取源数据中的各种数据对象，同时 DataStage 提供的丰富的组件能够轻松实现各种数据转换和数据清洗逻辑，基于图形化的开发方式也简单易用。充分利用 DataStage 可扩展的并行构架，DataStage 在加载 Netezza 数据仓库时达到了很好的性能，当测试用 ETL 服务器满载时，每小时可以向 Netezza 数据仓库加载 200GB 数据。充分证明这两个 IBM 软件产品之间配合的默契和无缝的衔接。
2. Netezza 数据仓库一体机在本次测试中展现了卓越性能，数据的查询和分析简单快速，能够及时返回有用的信息，缩短生成报表和业务分析的时间。同时管理和维护简单，节省 IT 运营成本。在测试过程中，我们使用了实际生产系统中 100 倍以上的数据量，但测试报表仍然能够在数分钟内完成，比原有数据仓库生产系统的性能快了十倍以上。
3. Cognos BI 提供了功能强大并简单易用的商业智能平台，提供无缝密合的报表、 分析、 记分卡、仪表盘等解决方案。使分析人员、管理人员或执行人员能够从多角度对信息进行快速、一致、 交互地存取，从而获得对数据的更深入了解，有效地将各种相关的信息关联起来，使用户在分析汇总数据的同时能够深入到自己感兴趣的细节数据中，以便更全面地了解情况，做出正确决策。

本次测试方案整体可行性高而且性能优越。不仅如此，还充分体现出了整套方案的先进性 : 包括 Netezza 一体机带来的后期易维护与易操作性，整体项目实施和维护时间上的节省，帮助快速上线，降低项目风险。ETL 产品的可视化与图形开发便利性，任务调度能力，图形化监控，整体性能，扩展性与通用互联能力。除了对原有报表的快速展现，Cognos 还在即席查询与下钻等额外演示中充分体现了其强大的功能与友好的界面。

IBM 提供的正是这样一种技术，它将所有的数据抽取，数据高速访问，数据分析和展现功能汇总在一起 ，并通过计划、场景建模、实时监控、预测性分析等不同技术衔接起来，同时采用协作、工作流等技术扩展业务分析与业务活动和决策的联系程度，从而大大扩充了商业智能的能力和使用范围，使您深入了解企业内外的各种信息，并给予信息获得及时正确的业务洞察力，及时制定决策和做出战略或计划的调整并付诸行动。在 IBM 成熟的数据仓库平台基础之上，汇聚多种技术的 Netezza,Datastage 和 Cognos，提供革命性的全新用户体验，展示和管理效果，通过提供全新的加载，数据仓库高速引擎，分析技术、协作、实时分析、数据挖掘、mobile 等功能扩展了传统的商业智能（BI）的应用范围和能力。IBM 全新数据仓库解决方案将是各大国内企业的坚实数据分析，管理和展现的平台，是各种原有系统及数据源的联系纽带 . 它让数据分析技术与企业决策和业务活动之间真正结合在一起。

附：笔者只是在最近几个数据仓库案例接触的大多是制造零售快消品行业，深感 IBM 数据仓库解决方案真正解决他们的积压已久的数据性能和及时完美展现给决策人员的问题。所以以此行业作为标题。最后也作声明，IBM 数据仓库解决方案适合与各行各业，IBM 全球的各大实际上线案例也充分证明了这一点。