数据质量与商业智能
数据质量角色
对于增强数据资产准确度和价值而言，将数据质量规则与活动（探查、清洗和监测）和MDM流程相集成显得十分关键。在启动任何MDM项目之前，您都需要了解源数据的内容、质量和结构。在数据源进行的数据探查使数据管理员和数据仓库管理员能够在数据进入MDM系统之前，快速发现和分析跨所有数据源的所有数据异常。此流程可极大加快从MDM实施中获取价值。
由于数据清洗增强了数据的准确度，带来了数据完整性，并从源头增进了数据的可信度，因此数据清洗改善了MDM系统中的数据一致性。一旦源数据进入MDM系统，它将接受数据质量处理，其中包括验证、更正和标准化。MDM系统存储了在数据清洗前后的整个历史记录，从而开发人员不必再跟踪数据仓库中的数据沿袭。
最后，数据质量度量标准使数据仓库管理员能够更好地监控参考数据的质量，并确保可以长期持续使用高质量的数据。
因此，从技术角度看，实施MDM和InformaticaDataQuality，作为数据仓库中主数据的确定来源，可以从提取、转换和加载（ETL）流程中简化数据集成。此方法可极大减低与数据仓库有关的整个开发和维护工作。通过建立数据质量度量标准和定义数据质量目标，数据仓库管理员和数据管理员能够更好地监控参考数据的质量，并确保随着时间的推移能够跨企业持续使用高质量的数据。MDM简化了对数据仓库维度更新的处理，因为用于确定更改内容的所有逻辑均封装在MDM系统中。
此外，MDM系统可以卸除大多数数据仓库的历史记录跟踪负担，使数据仓库仅管理它需要为进行聚合而应跟踪的变更。此系统可带来更小的数据仓库维度以及对负荷和查询性能的重大改进。运用MDM和InformaticaDataQuality将最终降低数据集成的工作量，提高从商业智能和报表推导的洞察分析的质量，确保能够从为商业智能增效的数据仓库方案中获得预期的价值和投资回报。
数据质量水平与商业智能的关系
当无法通过商业智能系统和报告系统提供准确的数据时，业务总体上都会受到影响。以下是为创建报表的商业智能系统提供不可靠数据所造成的一些后果：
业务负责人：不准确的管理报告导致决策不够明智。
合规主管：合规性法案要求公司能为其财务和合规报表提供一定的透明度和可审计性。
业务分析师：如果业务分析师花费过多时间在多个商业智能系统间手动搜索和整理信息以更新和修正报表，则业务分析师的生产率会受到影响。此低效的工作会直接影响成本和营利能力。
这些业务问题的根源在于没有关于客户、产品、渠道合作伙伴和供应商的唯一真实版本。由于在处理每个业务流程的不同系统间收集、存储和管理这些数据（亦称之为参考数据或主数据），因此，需要正确地解析重叠和冲突的参考数据，以获得唯一真实版本，从而带来宝贵而可 *** 作的洞察力。许多组织拥有数十或数百数据库，并且在这些数据库中有维护相同核心参考对象的数十个（有时为数百个）不同的应用程序，而这些核心参考对象还具有重叠的属性。
商业智能系统的用途是以中立的视角报告取自多个系统的现有数据。商业智能系统可以为维度分析进行一些累积工作，但是设计或配备商业智能系统并非为了创建唯一的真实版本。在取自应用程序孤岛的客户或产品数据中存在的不一致会对数据仓库中运行的分析可靠性产生消极的影响。
总而言之，企业的商业智能只会与企业的数据质量水平相当。
数据质量与五种形式的商业智能。
商业智能已经发展成为多种形式，旨在满足企业不断增长的要求和任务关键型活动日益增长的水平。这些形式都有其自己的一套数据质量要求。
仪表板
记分卡和仪表板正被广泛采用，越来越多的用户利用它们获取财务，业务和绩效监控的鸟瞰图。通过可视化的图形、图标和计量表，这些传输机制帮助跟踪性能指标并向员工通知相关趋势和可能需要的决策。提供集成视图所需的数据元素通常跨越多个部门和学科，需要绝对最新才能有效。
数据质量会影响记分卡和仪表板用户，因此这些用户必须能够：
1．使用仪表板中计量表和刻度盘上的完整数据，并迅速采取措施。
2．获取集成视图并使用标准化数据进行协作。
3．利用具有一致数据的正式记分卡方法。
4．向下钻取以查看组或个人级别绩效的准确数据。
5．找到能够生成明显趋势且重复数据最少的业务流程。
6．推导关联性并通过验证的数据执行交叉影响分析。
企业报告
企业报告为所有级别的个人提供来自企业资源规划（ERP）、客户关系管理（CRM）、合作伙伴关系管理（PRM）、发票和帐单系统，以及整个企业内其他源系统的各种运营报告和其他业务报告。这些报告分布广泛，而薪酬和其他激励计划通常与报告的结果有关。
数据质量会影响组织报告，因为组织必须：
1．浏览多个报告，将它们显示到从不同来源聚合数据的多个表单中。
2．选择各种参数并通过标准化数据为用户定制报告。
3．利用各种性能指标的协调数据呈现多个表格和图表。
4．使业务用户能够利用高精准数据创建自己的报告，无需IT部门参与。
5通过清洗和匹配的数据减少合规性管理的人工检查和审计。
6．利用完整财务数据直接从商业智能报告开具发票和帐单。
OLAP分析
OLAP使用户能够即时以交互方式对相关数据子集进行“切片和切块”。同时，OLAP功能，比如向上钻取、向下钻取、或任意挖掘（跨业务维度）、透视、排序、筛选、以及翻阅，可用于提供关于绩效的基本详细信息。最为重要的是它能够回答存在的任何业务问题。这意味着调查深入到单个或多个数据仓库中可用的最原子级别的详细信息。
数据质量会影响OLAP分析，因为用户和组织需要：
1．通过对目标数据的完全访问在所有维度中任意钻取以进行深入调查。
2．通过设置好格式的一致数据将OLAP轻松应用于任何维度子集。
3．利用一致的基本数据对象最大限地减少冲突报告，确保交互性。
4．利用多个维度的正确数据执行用户驱动的适时分析。
5．提供更新的同步数据来处理事务级数据分析。
预测分析
高级和预测分析使富有经验的用户能够充分调查和发现特定业务绩效背后的详细信息并使用该信息预测远期效果。此方法可能涉及高级统计分析和数据挖掘功能。为了推动积极决策和改进对潜在商业威胁的姿态，预测分析可能包括假设测试，客户流失预测，供应和需求预测，以及客户评分。预测建模可用于预测各种业务活动及相关效果。
数据质量会影响高级和预测分析，因为用户会寻求：
1．为可定制报告创建跨越任何数据元素的报告过滤标准。
2．为标准化数据格式搜索模式和预测洞察力以促进积极决策。
3．通过一致数据获得信心，找出相互依存的趋势和预期成果。
4．对准确数据采用多变量复原和其他技术，以实现更好的预测。
5．在无数据重复的前提下定制数据分组，最大限度减少冲突。
6．使用经认证的数据检验假设并使用统计、财务和数字函数。
通知警报
使用电子邮件、浏览器、网络服务器和打印机、PDA或门户网站时，通过通知和警报在广泛的用户触点间主动共享信息。通过及时交付目标信息，关键相关人士和决策者可以识别潜在的机会领域并发现要采取措施的问题领域。这种“一线”BI传输机制使组织能够保持协调一致，与业务风险和机会并进，同时事件仍将保持新鲜和有意义以保证响应。
在此领域，数据质量会影响组织，因为组织会努力：
1．从任何和所有数据源向最广泛的用户接触点发布警报。
2．确保标准化及非冲突数据集上各种订阅类型的高吞吐量。
3．使用户能够打开附件或点击链接，同时呈现一致、集成的数据。
4．通过预先评定并核准的数据质量来降低发布错误警报和通知的风险。
5．允许在多个事件数据符合特定阙值时实时触发警报。
6．利用经验证的数据进行内容个性化和组关联。
1加大统计执法力度，确保统计数据的准确性。对于那些严重的造假行为，绝对不能姑息，一旦发现，要严惩，情节严重的还要追究刑事责任，只有加大该项工作的执法力度，才能够让相关的统计工作人员认识到违法杜撰的严重性。而且要适当地增加处罚金额，毕竟一些企业在财务报表上弄虚作假主要是受利益的驱使，所以大量的罚款金额能够比较好地遏制财务数据的造假，从而保证统计数据质量。为了更好地建立统计诚信体系，仅仅靠部分人的努力是远远不够的，需要各大相关的部门相辅相成，共同合作，纪检司法等有关部门应该密切配合，在各司其职的基础上，共同为统计数据工作的诚信体系而不断努力02
2树立新的统计数据质量观理念。提高统计数据质量是统计工作的一个永恒的主题。但是在不同时期对统计数据质量有不同的标准，明确新时期统计数据质量的含义和概念
1、清晰自己的剖析主题
如你拥有来自不同部分的交易数据，那么此刻你想做一件什么事情，变得尤为重要，你是想剖析部分的成绩情况，还是想看哪个客户是优质客户这时咱们要清晰剖析主题。
2、合理的数据建模
清晰主题后，咱们要事务建模，事务模型继而确认技术建模。
那么要确认优质客户的规范是什么，如收入问题，有，交易额超越10万。那咱们此次建模只需要收集这些拥有的信息字段就好。合理的数据建模可以给剖析减负。
3、去除脏数据
脏数据可以理解为反常数据，如电话号码中存在汉字，性别中存在其他字符。那这部分咱们需要清洗，严格要求。
如何提高数据质量大数据时代带来了海量、多样、非结构化的数据，我们得以进行更加广泛且深入的分析，但这必须建立在高质量的数据上才有意义。本期以企业级的视角，介绍数据质量的评价、提升与监控。
大数据的时代，数据资产及其价值利用能力逐渐成为构成企业核心竞争力的关键要素;然而，大数据应用必须建立在质量可靠的数据之上才有意义，建立在低质量甚至错误数据之上的应用有可能与其初心南辕北辙背道而驰。因此，数据质量正是企业应用数据的瓶颈，高质量的数据可以决定数据应用的上限，而低质量的数据则必然拉低数据应用的下限。
数据质量一般指数据能够真实、完整反映经营管理实际情况的程度，通常可在以下几个方面衡量和评价：
准确性：数据在系统中的值与真实值相比的符合情况，数据应符合业务规则和统计口径。常见数据准确性问题如：
与实际情况不符：数据来源存在错误，难以通过规范进行判断与约束;
与业务规范不符：在数据的采集、使用、管理、维护过程中，业务规范缺乏或执行不力，导致数据缺乏准确性。
完整性：数据的完备程度。常见数据完整性问题如：
系统已设定字段，但在实际业务 *** 作中并未完整采集该字段数据，导致数据缺失或不完整;
系统未设定字段：存在数据需求，但未在系统中设定对应的取数字段。
一致性：系统内外部数据源之间的数据一致程度，数据是否遵循了统一的规范，数据集合是否保持了统一的格式。常见一致性问题如：
缺乏系统联动或联动出错：系统间应该相同的数据却不一致，缺乏必要的联动和核对。
及时性：数据在采集、传送、处理等环节快速支持应用的程度，考察数据的时间特性对应用的满足程度。及时性关系到系统能否在规定的时间内获取到系统需要的特定时间产生的数据，以完成系统功能。常见及时性问题如：
缺乏时效性：未按照规定的数据更新时间要求对数据进行更新。
可用性：用来衡量数据项整合和应用的可用程度。常见可用性问题如：
缺乏应用功能，没有相关的数据处理、加工规则或数据模型的应用功能，获取目标数据;
缺乏整合共享，数据分散，不易有效整合和共享。
其他衡量标准再如有效性可考虑对数据格式、类型、标准的遵从程度，合理性可考虑数据符合逻辑约束的程度。此前一项对某企业数据质量问题进行的调研显示常见数据质量问题中准确性问题占33%，完整性问题占28%，可用性问题占24%，一致性问题占8%，在一定程度上代表了国内企业面临的数据问题。
提高数据质量的首要任务是定义一套标准化的数据规范，对具体数据项的定义、口径、格式、取值、单位等进行规范说明，形成对该数据项的具体质量要求。依托这套规范作为衡量和提高数据质量的标尺，可在数据采集、加工和应用的各环节对关键数据项进行预防性或监测性的核检。广义的企业级数据字典可以作为数据标准化规范的载体，对企业运营过程中涉及的数据项名称、业务定义和规则等要素进行收录、规范和编制，对数据项描述信息进行标准化处理，统一定义对安全性和数据质量的要求，进而为业务运营提供可靠的数据服务、提高整体数据质量奠定基础。理想情况下广义的企业级数据字典是完备的，企业各系统全部数据项都被数据字典收录，不存在同名不同义或同义不同名的情况。与此相对，狭义的数据字典通常是针对单一系统的技术属性标准，为单一系统的开发和应用服务。
企业级数据字典通常分为三层：数据项、值域和域取值。数据项层面的规范主要包括名称、业务规则定义、数据安全要求和数据质量要求等。
数据项名称：包括数据项的中文名称、英文名称和英文简称，含义不同的数据项名称不同，物理数据库应沿用数据字典定义的全局唯一的英文简称对字段命名
业务规则定义：包括数据的业务含义、转换规则、加工规则等安全元数据：包含数据来源、所有者和访问权限等安全要求的定义
数据质量要求：在数据规范定义基础之上，提出满足业务需要的数据长度、格式、取值、数据处理、勾稽关系等要求，以此作为数据质量管理的落脚点
值域可细分为代码域、编码域、文本域、金额域、数值域、时间域等。例如“出生地”数据项对应值域为“行政区划”代码域，引用国家标准GB-T2260-2016《中华人民共和国行政区划代码》，对应的域取值为该国标定义的代码表。再如“借记卡号”数据项对应值域为“19位卡号”编码域，定义16位卡号和19位卡号两种编码方式，不需列举对应具体的域取值。
数据质量管理是指在数据创建、加工、使用和迁移等过程中，通过开展数据质量定义、过程控制、监测、问题分析和整改、评估与考核等一系列管理活动，提高数据质量以满足业务要求。数据质量管理工作遵循业务引领的原则，确定重点质量管控范围，并动态调整阶段性管控重点，持续优化。可按照“谁创建、谁负责;谁加工、谁负责;谁提供、谁负责”的原则界定数据质量管理责任，由数据流转环节的各责任方对管辖范围内的数据质量负责。对数据质量规则优先采取系统程序的自动化控制措施，并尽可能前移管控点，从源头上控制数据质量。
数据质量监控点通常针对关键数据项设置实施，定义数据质量监控规则，生成监控报警，按严重性等级分级报告，由相应层级进行处理和响应。关键数据项根据经验判断，一般影响较广如涉及多业务条线，或应用于关键业务环节如合约签订、会计核算、绩效分析、产品定价、资金收付等，或应用于内部经营管理、对外信息披露和行业监管要求，例如财务报告数据和新资本协议实施中明确提出的重要指标项。
数据质量监控点的控制手段分为预防型和监测型：
预防性控制防止错误数据的产生，一般部署在数据采集点，用于控制手工输入的源数据，以及批量导入的源数据校验：
数据输入校验：例如贷款利率的输入校验;
数据阈值：例如数据非空，数据取值超出值域定义合理范围，数据格式不符合标准等;
质量控制方式：系统自动校验/双人手工复核;
系统校验方式：强制，如不符合规则无法通过。
监测型控制监测错误数据，发现数据质量问题进行报警。一般部署在数据加工和应用环节，验证数据完整性、一致性和准确性等：
数据输出校验：例如贷款余额总分核对
数据一致性：例如交易头寸与总帐系统记录的交易头寸一致
质量控制方式：系统自动校验
系统校验方式：非强制，错误及差异提示
对选定的关键数据项，需定义数据质量规则以及数据质量等级。数据质量等级可利用“阈值”和“容忍度”进行分级：
良好：数据项质量评分高于“阈值”
可容忍：数据项质量评分低于“阈值”，但高于“容忍度”
报警：数据项质量评分低于“容忍度”
严重报警：数据项的质量问题将带来非常严重的影响，人工经验判断
关键数据项监控点的详细信息应在企业级数据字典中维护更新，与其开发、实施和测试情况保持同步。
在进行数据质量分等级报告及响应纠错时应遵守如下原则：
及时性。对导致数据质量等级进入“可容忍”、“报警”和“严重报警”状态的数据质量事件能够及时发现、报告和处理;
规范性：针对分级别的数据质量问题，汇报至利益相关方，配置相应资源;
高效性：数据质量问题，在分级别规定时间内被解决。应按照“可容忍”、“报警”和“严重报警”酌情规定响应时间;
有序性。在开展数据质量分等级报告工作时，应有序上报、统一领导、分级负责。
部署在UDP层面的数据质量监控程序实时或定期监测关键数据项的质量，对其数据质量进行评分，通过比较该监控点的“阈值”和“容忍度”，将数据质量进行分级，对于非“良好”的评价结果，数据质量监控程序将发送报警消息通知数据质量管理人员。报警消息内容包括问题定位头文件和具体描述。数据质量管理人员根据报警信息调查问题数据项，验证报警内容，生成预警信息通知下游用户，同时填制纠错工单通知相关责任人员。相关责任人员依据纠错通知提示的具体内容，开展数据质量问题调查，提出数据质量改进需求和解决方案，由实施运维团队在数据应用层面修正，或在数据采集和集成层面修正。若纠错告警问题由数据质量要求过于严苛或控制规则错误引起，应修改关键数据项清单及其相关监控规则，并由实施运维团队修改或取消已部署的对应监控点。
由于数据清洗（DataCleaning）工具通常简单地被称为数据质量（Data Quality）工具，因此很多人认为数据质量管理，就是修改数据中的错误、是对错误数据和垃圾数据进行清理。这个理解是片面的，其实数据清洗只是数据质量管理中的一步。数据质量管理（DQM），不仅包含了对数据质量的改善，同时还包含了对组织的改善。针对数据的改善和管理，主要包括数据分析、数据评估、数据清洗、数据监控、错误预警等内容；针对组织的改善和管理，主要包括确立组织数据质量改进目标、评估组织流程、制定组织流程改善计划、制定组织监督审核机制、实施改进、评估改善效果等多个环节。
任何改善都是建立在评估的基础上，知道问题在哪才能实施改进。通常数据质量评估和管理评估需通过以下几个维度衡量。 完整性 Completeness：完整性用于度量哪些数据丢失了或者哪些数据不可用。
规范性 Conformity：规范性用于度量哪些数据未按统一格式存储。
一致性 Consistency：一致性用于度量哪些数据的值在信息含义上是冲突的。
准确性 Accuracy：准确性用于度量哪些数据和信息是不正确的，或者数据是超期的。
唯一性 Uniqueness：唯一性用于度量哪些数据是重复数据或者数据的哪些属性是重复的。
关联性 Integration：关联性用于度量哪些关联的数据缺失或者未建立索引。 配置管理 Config Management：此维度用于度量数据在其生命周期内的一切资源是否得到了控制和规范，即数据的计划、产生、变更直至消亡的过程中，与数据相关的计划、规范、描述是否收到控制。评估指标包括：评估配置项的细化粒度、评估基线准确度和频度以及变更流程是否合理完善等。
培训 Training：此维度用于度量数据的生产和使用者在数据生命周期内的一切活动中是否经过了知识和技能的培训、培训效果是否满足岗位需要；受训的知识和技能是否经过审核和确认，受训的内容是否与企业文化和价值观一致；培训流程是否合理完善等；
验证和确认 Verify & Validation：此维度用于度量数据在其生命周期内是否得到验证和确认。评估内容包括是否通过验证流程确保工作产品（数据）满足指定的要求、是否通过“确认”流程保证工作产品（数据）在计划的环境中满足使用的要求；“验证”和“确认”的流程是否完善；
监督和监控 Monitoring：此维度用于度量产生和使用数据的流程在数据的整个生命周期内是否真正受控。脱离监控的信息、技术、计划、流程、制度，会导致数据质量低下。监督和监控的流程是否完善。
欢迎分享，转载请注明来源：内存溢出
微信扫一扫
支付宝扫一扫
评论列表（0条）