中心数据库设计

5.2.2.1 数据库

根据该系统的开发需求，按照数据库的功能和作用将其分为风险查询类、风险评价类、系统管理类三大类（萨师煊等，2000）。主要数据见表5.5。

表5.5 海外油气与金属矿产资源开发风险管理系统的主要数据表

续表

5.2.2.2 数据仓库

油价数据来源于美国能源部（DOE）下属的能源信息署（EIA）网站、中石油（CNPC）网站和《华尔街日报》（WSJ）网站提供的油价数据，油价序列本身就是一个不规则的时间序列，油价数据具有以下几个特点。

（1）数据的一致性差

油价数据格式多样，存在数据冗余，主要体现在：使用的数据格式均不相同，并且各个子系统相对独立。在网站单独作用的情况下，一般都没有问题，但要将这些不同系统或不同时期的数据集中起来综合利用，就可能出现数据不齐全、不一致或重复的现象。

（2）数据存放的分散

油价数据来源多，缺乏统一管理，没有一种相应的网页数据自动化抓取 *** 作实现数据的本地化 *** 作过程。

（3）数据资源开发不充分

大容量数据导致对数据资源的开发利用不充分，缺乏对获取的数据如各分析机构制定的期货合约元数据进行各种深层次分析、综合、提炼、挖掘和展现的应用，因此很难对丰富的统计数据资源进行二次开发利用。

根据油价数据中所包含的油气产品种类、油气产品合约制定日期、油气产品的价格类型、不同市场下油气产品价格的差异等，能够加深对油价走势的了解。油价的这种与时间相关性、不可修改性，以及集成的性质，使得我们采用多种角度对原始数据进行理解，并真实反映其特性，也让我们发现使用一种整合的技术对油价进行精确预测十分必要。

数据仓库的构建流程如图5.13所示由下至上逐步实现。

图5.13 数据仓库构建流程

1）数据源。

A.数据源的复杂性。数据分散在数据库管理系统、电子表格、电子邮件系统、电子文档甚至纸上。系统中要求采集的3个数据源中，EIA 网站存储在网页上的油价相关事件更新较慢，虽然提供了各市场日、周、月、年的油价数据下载，但是下载完成之后的表格字段格式时常发生变化，这为实现自动获取数据并下载到本地自动入库的要求增加了难度；中石油网站数据除上述只显示3条数据之外，网站上会将访问流量过大的IP地址列入黑名单使其不能继续下载到本地进行保存，为这些数据建立统一的模型将会耗费很大精力。

B.数据的有效性。由于存在经验局限，如何处理数据的空值、不同时间间隔时间字段格式，入库时应注意的问题等，如果应用程序没有检验数据的有效性，会对数据多维显示产生极大影响，因此也归结为数据源数据质量问题。

C.数据的完整性。数据源上的数据并不那么明显或者容易获得。油价是高度敏感的数据，因此各个网站虽然提供了各个油品交易市场的日、月或年数据，但是完整性并不能充分保证，根据企业政策的不同，有时对要获得的数据，需花费大量精力。为此，要对不同的数据源进行建库，以保证所获数据的完整性。

2）数据处理。

高效的多维数据集展示离不开底层数据源数据的精确获取，或者叫做数据理解和数据清洗。于是系统在基于元数据获取、加工、入库和多维数据集展示上实现预期的要求。

A.ETL。该功能是整个油价数据仓库的核心之一，主要功能是按照事先定义的数据表对应关系从相关系统表中抽取数据（Extraction），经过数据清洗和转换（Transform）,最终把正确的数据装载到数据仓库的源数据中（Load），作为以后应用的基础。

B.数据转换。该功能是在数据抽取过程中按照定义的规则转换数据，避免了数据在分析时的多样性，保证数据一致性。

C.数据集成。该功能主要是把油价信息数据仓库系统的源数据，按照事先定义的计算逻辑以主题的方式重新整合数据，并以新的数据结构形式存储。

3）数据存储。

星型模型（星型架构）是数据仓库开发中多维展现重要的逻辑结构，构成星型模型的几个重要特征是：维、度和属性，在实际应用中表示为事实表和维度表。在油价数据中，各市场的期现货价格表为数据仓库的事实表，油品类型、合约规定日期等为维度表。

油价数据仓库星型模型的设计方案如下：

A.事实表。数据库表中EIA的期现货价格表（包括日、周、月、年表）作为数据仓库中的事实表，根据不同时间维度构成多个星型模型，即星座模型。这些价格表中以市场编号、油气产品类型、期货合约日期、价格单位度量衡编号作为主键和外键与其他维度表相连，形成多维展示联动的基础，以油价数据和其他事实数据为记录数据，作为主要输出结果。

B.维度表。根据市场、油品、价格数据、度量衡和事件类型作为油气数据仓库中多维分析的角度和目标。

图5.14以EIA的日期货数据表作事实表为例，构建星型模型，其他不同时间维度的模型结构图与此图基本相同。

图5.14 以EIA数据为例的日期货价格星型模型

以星型模型设计为基础，完善数据存储中 *** 作型数据存储（ODS）的原型设计，提供DB-DW之间中间层的数据环境，可实现 *** 作型数据整合和各个系统之间的数据交换。

了解了数据整合，那么你们应该更加想知道如何进行数据整合，进而推动信息化建设。

数据在整合的过程中，需要经过多个步骤的处理，才能符合数据规范和公司的需求，达到数据整合的目标，各数据处理的步骤如下：

步骤一数据抽取：数据抽取是数据整合的第一步，即选择并提取数据源集中的一个特定子集的处理过程。依靠数据抽取，可以准确地从大批量数据中仅复制相关的数据。

步骤二数据传送：数据传送是紧接数据抽取的第二步，即将抽取到的特定数据子集发送到目的位置的处理过程。依靠数据传送，可自动保持数据的流通和共享。

步骤三数据清洗：对直接传送来的数据，在数据格式、数据编码、数据一致性等方面按照清洗规则进行处理。依靠数据清洗，可以保障中心数据库中数据的规范性。

步骤四数据重组：将清洗后的数据，按照新的数据组织逻辑进行关联处理，加强数据的内在联系。

步骤五数据发布：按照主题数据库层需要，将中心数据库中部分数据子集定期发布到主题数据库层。依靠数据发布，可以保障主题数据库层数据的及时更新。

步骤六服务重组：根据主题数据库中的数据，通过开放各类数据服务，提供面向各类应用的主题数据服务，以此加强数据的重利用。

步骤七数据展示：数据展示通常用报表或图形的表达方式来表示数据之间的关系，使使用者能快速直接的了解到数据变动情况。

经过以上的数据整合，那么你就可以获得以下数据整合优势。

数据整合优势一：

底层数据结构的透明 ，为数据访问（消费应用）提供了统一的接口，消费应用无需知道：数据在哪里保存；源数据库支持那种方式的访问；数据的物理结构；网络协议等。

数据整合优势二：

提供真正的单一数据视图 ，数据视图data view这个概念大家很容易理解，数据整合（Data Consolidation）的优势是经过了数据校验和数据清理，你看到的数据更加真实，准确，可靠。

数据整合优势三：

数据管控能力加强 ，

管控是SOA里面重要的概念。数据整合（Data Consolidation）的优势是数据规则可以在数据加载，转换中实施，保证了数据管控。

数据整合优势四：

可重用性好 ，由于有了实际的物理存储，数据可以为各种应用提供可重用的数据视图，而不用担心底层实际的数据源的可用性。

1、离线时写本地数据库，通了往服务器上传；

2、离线时通过socket写本地数据库，通了往服务器上传；

这2种方式，从技术上来说，第一种直接访问数据库，技术上少了自己定义socket一环，稳定性上要比使用socket好，但去掉“socket”，技术实现方向没有任何区别。

当：

用于局域网环境时，第一种好，因为直连效率最高；

用于互联网环境时，第二种好，因为服务器与客户端通过socket接口转接，增加了数据库安全性。(当socket消息经过加密和验证处理)

---