大数据背景下唯品会精准营销存在的问题及解决方法

一、唯品会大数据平台规划和现状这是唯品会大数据平台一个中长期的规划。目标很明确，我们希望从技术上能把整个大数据做成一个包含离线计算平台、流式计算平台、模型训练平台、VRE、 DMP和多种应用的完整生态链，并且希望通过这个平台，让我们公司的分析师、开发人员可以很简易地运用起来。这是唯品会大数据平台的现状，总体和上面的规划图类似，重点在于离线平台的搭建，目前离线计算平台也已经做得差不多了。我们现在有一套很完整的数据开发平台，可以让公司的分析人员在不需要任何培训的情况下，方便地利用这个系统去挖掘大数据中的各种知识，为业务服务。除此之外，我们也有很多产品，看到图中数据产品一块，有情报中心、比价、选品、数读、魔方罗盘、仪表盘等。二、大数据中的资源管理大数据管理本身是一个很广的概念，涵盖了很多知识面。但资源管理是今年让唯品会特别难受的一个点，很多工作人员经过长时间的不眠不休，才最终把它解决掉。所以今天我会把资源管理作为重点，单独拿出来分享。这里的“数据平台使用申请”打了引号，我想说的是这个“平台使用申请”在初创公司或者建设数据平台的初期，一般是很难做到这么完善的。因为我们需要用户提交很多要求，而且这些要求是明确的，包含了比如我需要什么样的资源，HDFS的存储、数据库、计算都需要多少，资源的数目是多少，要通过什么方式去访问。拿到这个申请以后，管理员会负责去分配同样的资源，比如HDFS中分配多少资源给你使用，Hive也是，如果我想要这样一个资源分配队列，需要明确分配给你的最大/最小资源是多少。当然，这是一个理想的情况，现实却很骨感。因为这个行业的发展非常快，相信很多做大数据的同学，很多时候你是被业务和领导推着向上的，所以这时你的思考可能不是很完善，你会发现，你的理想状态是系统很强大、数据规范、流程规范、技术成熟、业务成熟，但现实呢？唯品会在半年前也是这种现状：模型的变更非常迅速，线上的那些代码实际上是我们的人员按小时为单位去做变更的。用户的能力参差不齐。有很多的历史包袱，唯品会的数据平台其实四年前就开始搭建了，其中有三年的历史包袱。同时，有大量的技术包袱，而且平台非常不稳定，掌控力差，有各种各样的瓶颈。整个大数据平台的分层也不是很明确。这是我们面临的现实。那么，这种情况下，维护人员或者像我们这样的技术架构人员就会经常接到用户各种各样的投诉和问题。这里我列了一些用户经常会抱怨的问题：这个任务昨天还好好的，为什么今天跑不出来了？2-10倍的数据量，能撑得住吗？怎么几千个任务都慢了？最近磁盘使用率急剧增加，谁在用？这个表好像不用了，我能删除掉吗？集群要扩容吗？扩多少?当你在没有足够能力应付的情况下，面对这些问题，你是一筹莫展的。而由此也引申出今天的核心议题——资源管控。三、资源管控中的存储资源和计算资源做运维、DBA，或者大数据管理人员，都需要了解一个核心，那就是资源管控。做资源管控，其实和分田到户是同样的道理。当把一块田交给你，那你就在这块田里自己玩，不要到别人的田里去掺和。通过资源管控，可以实现很多目的：从乱序到有序。申请和分配有据可查。规则公开透明。数据公开透明。有多少资源，干多少事。有合理的KPI和惩罚机制。ROI，资源倾斜给回报率高的项目。以Hadoop为例。Hadoop平台是大家都在用的一个技术框架，它有哪些资源呢？总的来说，有四个模块：计算资源、存储资源、权限资源、业务资源。今天我会重点讲右侧的计算资源和存储资源。为什么存储和计算需要关注？首先是NameNode。NameNode在Hadoop中相当于一个技术的管理节点，我们平台目前已经存储2亿的文件超过2亿的blocks，现在NameNode的内存使用在100G左右。在这么大的一个集群规模情况下，会遇到很多问题。standby namenode updateCountForQuota缓慢影响主从一致性，进而影响切换（HDFS-6763）standby checkpoint缓慢导致增量blockreport汇报被skip, 影响主从一致性，进而影响切换（HDFS-7097）standby checkpoint GC导致transfer Fsimage超时失败这里列了几个问题点，都在社区被不少人提出来，我们也确实受到了影响。其中，最重要的是集群启动时，规模越大，你的启动时间可能越慢，除非你把这部分的代码全部进行重构。举个例子，可能我们的集群重启需要30分钟，因为需要每个block去上报。另外，第二个瓶颈就是资源管理，叫做ResourceManager，这也是Hadoop中的一个技术组件。唯品会现在的规模并行度是高峰期可以有一千个任务在跑，每天有将近40万的任务提交到Hadoop集群里，基本24小时内时时刻刻都有人在运行。因为现在的电商，包括现在的大数据已经不是以前那种玩法，不是你晚上跑个批处理，事情就做完了。现在大家的要求是，你能不能5分钟内跑出来，所以我的批处理在上面可能是5分钟一个力度去提交的，所以这个集群对我们来说已经不是夜间作业的集群，而是24小时专机，永远不能宕机的一个服务。https://issues.apache.org/jira/browse/YARN-3547部分解决问题https://issues.apache.org/jira/browse/YARN-518our patch for fairscheduler这里也列了两个问题，就不展开讲了，关键是第二个，我们提交给社区的补丁。这些问题社区还没有解决，我们这个补丁也还没有打到任何社区的版本里去，但是如果当你的集群规模非常大，运行HDFS时肯定会遇到和我们同样的问题——分配能力有瓶颈。目前我们通过这个补丁，分配能力提升到了近10-15倍。这其实很夸张，我们一直考虑的是，现在已经有几百台节点了，那能不能变到几千台？如果分配这个问题不解决，你的瓶颈永远卡在那，即使再加机器，管理也会因为瓶颈上不去，无法提升到几千台这样的规模。前面讲到了很多问题，怎么解决呢？开源节流。分两块，一块要提升各方面主机的性能，图中列出来的，包括了NameNode RPC性能、yarn的container assign性能，以及加机器。另外一块，就是要做各种优化管理。大家想，原先你就有几百个用户在用，当开放出去后，随着大数据应用的发展，不断有人去用，久而久之就会变成上万个用户在用。这时，你的存储是否被有效地利用呢？是否都是有价值的数据放在上面呢？你的计算是否都是有效的计算呢？还有人在用这样的一个任务吗？管理数据化成果给大家看一下我们在这一块的成果。理念很简单，就是做一个闭环。把整个数据仓库和Hadoop做成一个闭环，大家可以看到内圈，其实就是正常开发的一个数据仓库，你会建立任务、执行、下线，这是一个循环。而外循环是从整个任务建立时就开始对它进行管理，当你任务申请好之后，你会分配到一个队列，查看你的每一个日志。存储和计算会告诉你用了多少，同时还可以做一些智能的分析。在你的任务执行完之后，可以在系统里面看到任务的整个生命周期运行情况。基本上我们就是把整个大数据分到项目，分到人，分到数据库，分到几个任务，所有的指标都可以可视化地让你看到，也就是说，即使你只是简单地在系统里提交了一个SQL，可实际上你得到的是一个可视化、数据化的成果。你可以知道，今天我提交了多少个SQL，占用了多少资源，剩下多少文件，所有这些东西在系统里都可以看到。这样数据分析师也能主动跟你讲，今天慢了可能是因为提交的任务太多，今天提交的任务比上周多了一倍。你也能主动地在系统里找，为什么多了一倍？什么样的任务最占用资源？整个架构闭环大大降低基本架构技术人员的工作量。而当我们所有的数据都开放给数据分析师时，他们又能通过这些数据去做一些自己的分析，这也是一个闭环的形成。对很多公司来说，通过构建闭环，这一块的工作效率将会得到很大的提升。接下来重点讲两块资源的管理。一块是存储的资源，一块是计算的资源。存储资源管理一般情况下，大家在Hadoop中都是用Hive这个数据库，它对应的是后端的一些一二三级目录等数据库和表的目录。我们要怎样获取这些数据呢？从我们的角度来说，我们也是数据分析人员，我们要做的东西和其他的分析师其实是一样的，只不过我们分析的对象是系统的性能数据。我们会想要获取各种各样的性能数据，同时，我们需要去计算这些性能数据，做多维度的各种计算，然后把它推出去给用户看。存储资源基本上就是通过这几大块来收集，左边是获取到的各种存储的信息，文件、表、数据仓库、ETL、Hadoop的日志……第二步是把它转化为Hive里计算的文件元数据信息、表元数据信息、调度任务元数据信息、路径访问信息，最后得到的产出通过各种维度的计算，可以得到：维度：包括分区、表、数据库、任务、业务、人、目录层级、时间等所有维度；指标：全量、增量、趋势、平均文件大小、最大文件大小、最小文件大小、文件数目、占比等；热度：哪些表被频繁访问？哪些表3个月没人访问，是否可以下线了？安全：有没有敏感信息被非法访问。通过这一系列的存储资源管理，可以把所有的关键信息收集起来。下面，讲一下这些数据的使用，这也是我们公司目前正在践行的：容量计费通过计费来控制资源，使存储数据完整透明。消费预警，会提前知会用户。空间管理自动配置生命周期管理规则；存储格式，压缩格式选择（orc+gzip）；文件管理自动配置生命周期管理规则；小文件har归档。控制存储的价值：一方面可以解决NN“单点”瓶颈，控制服务器的数量，降低成本。如果没有加以控制，很快你的规模就会变成几百、几千，逐渐失控。另一方面，规范数据生命周期管理，统计冷热数据的使用，区别哪些数据是能删的、哪些是能归档的、哪些是被频繁使用的，都可以通过这个手段反馈给ETL生命周期管理。计算资源管理这是yarn的一个架构图。大家都知道yarn是Hadoop的一个统一的调度管理。但yarn好像把所有资源管理的事情都搞定了，我们还需要管理什么呢？实际上，还有很多没有解决的问题。

烟草精准营销论文

合理运用精准营销策略，进一步促进工商协同发展

摘要 我国烟草行业不断加快改革，加强管理，逐步提高培育品牌水平，增强整个行业的竞争能力。工商协同营销已经成为烟草行业发展的一种新形势，实现卷烟的精准营销成为工商协同的一个较好的手段和途径，本文就合理运用精准营销策略，进一步促进工商协同发展进行探讨。

关键词 烟草；精准营销；工商协同

1．引言

我国烟草行业最鲜明的特点是国家烟草专卖体制。近年来，行业不断深化改革，引入市场机制，逐步加强集中管理。在2002 年，国家烟草专卖局明确提出了"大企业、大品牌、大市场"的行业战略，为行业改革与发展指明了方向。到2007 年，国家烟草专卖局开始推广协同营销理念，工商共赢、协同营销的理念迅速得到全行业广泛关注和重视。2008年，《国家烟草专卖局关于进一步推动工商企业协同营销工作的指导意见》出台，并在北京等单位开展试点，着力探索"工商协同营销模式"。 2010年，国家烟草专卖局姜成康局长在全国烟草工作会议上强调，要继续推进工商协同营销，全面提高培育品牌水平。至此，工商协同营销，全面提高培育品牌水平在整个烟草行业开展起来。

纵观烟草行业一路走来的改革发展，工商协同营销的根本目标和任务是培育行业知名品牌，提高行业的竞争力。如何更好的实现这一目标呢？"精准化营销"的提出可以说是这一目标实现的"导航灯"，这一营销理念是当今营销界的热点问题。合理运用这一理念，进一步促进工商协同发展，为行业知名品牌价值的提升提供了重要实现途径和手段，是有效推进"市场营销上水平"的重要举措，为行业"卷烟上水平"战略目标的实现提供了重要支撑。

2.工商协同营销

2.1 工商协商的定义

工商协同营销成为当前烟草行业的热门词汇，是指烟草工业与商业协同联手，共同以培育大品牌为工作目标，充分发挥市场与计划的调控作用，从而获取双赢的营销模式。工商协同营销以"平等互利、互动互信、资源共享、效率责任"为指导，通过建立市场导向、面向消费者、面向客户的营销体系，着力解决工商企业营销脱节、重复投入、省内依赖等问题，努力克服非市场因素，营造公平竞争环境，形成全国统一市场，构建新的营销模式，提高行业营销效率，降低内部交易成本，促进企业有序竞争，培育中国烟草优势品牌。

2.2 工商协同的形式

工商协同营销紧紧围绕卷烟品牌，通过工业企业开展以品牌细分市场，商业企业以市场选择品牌，通过加强信息沟通，提高服务水平，共同促成战略目标的达成和实施。但考虑到工商协同营销工作是跨越行业供应链的两个组织之间的纵向协同营销工作，要实现目标一致，措施得力的协同营销工作，需从信息平台建设、内部结构建设、行业营销 *** 作等方面进行有效对接，以期实现双赢局面。

2.2.1 信息对接

工商协同营销工作的深入开展首先应以营销信息共享平台建设为前提，然后明确工商双方营销信息需求，完善信息交互内容，从而做到信息共享，信息互补，避免出现重复信息的搜集或没有价值信息的采集，浪费人力物力财力。工业企业要及时分享提供企业品牌的基础信息（包括企业自身信息，卷烟品牌信息，年度营销计划等），产品工业这一方面的产品链接信息（包括产品生产计划，工业月度发货信息等），工业企业内部的经营信息（包括工业月度卷烟销售数据，工业月度经营报告）；商业企业要注重挖掘、利用、共享平台商业基础信息(包括市场背景信息，零售户信息等)，实时销售信息（包括零售监测信息，销售数据汇总信息等），产销链接信息（包括需求预测信息，商业企业日程安排等），经营分析信息（包括月度市场营销活动信息，商业经营分析报告等），这些以信息化手段形成通畅、高效的对接。

2.2.2 组织结构对接

工商协同营销的根本目标和任务是培育行业知名品牌，探索符合行业整体品牌发展战略的协同营销实现机制，加快形成全国性品牌、区域性品牌为系列的中国烟草品牌体系，是行业发展的需要，也是工商协同营销的根本目标。

工商协同营销工作的实现应围绕这一目标，双方积极探索，不断创新，制定富有效率、充满活力的协同营销组织架构，如商业企业设立品牌管理部门、工业企业设立首席品牌代表等，通过完善工商协同组织架构，进一步明确双方组织、人员接口，优化协同岗位，加强技能培训，提高工商之间的对接能力。

2.2.3 营销 *** 作对接

工商协同营销工作应建立公平的协同营销规则，以规则实现协同营销在策略和 *** 作层面的对接。要根据订单供货流程要求和工商协同营销流程框架，实施分工明确、目标统一、步调一致、无缝对接的流程优化，主要包括协同预测、协同产销、协同供货、协同促销、一体化物流和协同信息等环节，形成完整统一的协同营销主流程，以流程连接和固化协同接口。

3.精准营销

3.1 精准营销的定义

精准营销是当前比较时髦的一个营销术语 ，它是由菲利普·科特勒提出的一种创新观念的营销理论。从理念上讲是关心客户的长久利益和终身价值 ；从技术上讲是传统定性的营销转变成定量的营销；从理论上讲则是个性沟通及顾客增值理论。整体的营销思想是在精准定位的基础上，依托现代信息技术手段建立个性化的顾客沟通体系，实现企业可度量的低成本扩张之路。大致意思就是充分利用各种新式媒体，将营销信息推送到比较准确的受众群体 ，从而既节省营销成本，又能起到最大化营销效果。

总而言之，所谓精准营销就是通过定量和定性相结合的方法对目标市场的不同消费者进行细致分析 ，根据他们不同的消费心理和行为特征。企业采用有针对性的现代技术，方法和指向明确的策略 ，实现对目标市场不同消费者群体的强有效．高回报的营销沟通。

3.2 精准营销之烟草行业

2010年全国烟草工作会议上，国家局在关于进一步加大品牌培育力度的论述上，要求全行业要深入开展按订单组织货源、工商协同和精准营销工作，着力提高品牌培育能力。深入推进按订单组织货源，切实尊重消费者选择，认真做好需求预测工作，使订单更好满足市场需要。深入推进工商协同营销，进一步完善工商对接方式和协同机制，继续鼓励异军突起、后来居上，高度重视低焦低害产品和雪茄烟培育，引导消费，引领潮流，共同做好知名品牌培育工作。从论述中我们可以看出，精准化营销工作是继按订单组织货源，工商协同营销后提出的在促进"大企业，大品牌，大市场"战略目标形成的又一重要举措。在全行业加快培育"532"和"461"知名品牌战略目标的的进程中，精准化营销工作为品牌规模扩张的同时不断提升品牌价值提供了重要的支撑和保障。

4.精准营销三要素与工商协同

国烟办综〔2011〕197号国家烟草专卖局办公室关于深入推进卷烟品牌精准营销工作的意见明确提出，精准化营销工作要以"卷烟上水平"总体规划为指导，按照"准确定位、有机对接、突出品牌、全面提升"的工商协同营销总体要求和"精确信息、精准投放、精细管理"的精准营销工作要求，通过开展卷烟品牌精准营销，促进工商深度协同，提高知名品牌市场竞争能力，扎实推动市场营销上水平。

可见，精准营销三要素--精准信息，精准投放，精细管理是对精准营销的有力阐述，也是精准化营销工作开展的"三驾马车"，同时这"三精"也能更好的促进工商协同，同时也需要工商协同营销工作的支撑。

4.1精确信息是工商协同的前提和基础

通过构建知名品牌卷烟精准营销体系，实现品牌发展的信息渠道从多层次信息采集向通道式信息共享转变，实现信息采集的便捷性与顺畅性，进一步夯实品牌发展的市场信息基础，提升品牌发展的内在质量，促使实施精准营销的品牌市场价格稳定、社会库存合理，提高其覆盖率和上柜率，改善其动销率和断货率。这就要求进一步明确工商双方的信息需求，并要建立健全工商协同信息共享机制。

以"中华卷烟"营销为例，首先对全市"中华品牌"目标客户，应用"信息采集分析系统"以周为单位，按照分层抽样法，选择不同经营业态、经营规模，确定样本客户，然后通过调查验证吸纳为中华品牌精准营销目标客户，再通过信息平台实时客观的反映出零售客户的动销率、断货率、存销比和价格波动情况，并通过工商协同营销平台的对接，使工业企业直面市场的营销机制不断充实和完善。

4.2精细管理是工商协商的保障

精准营销工作能否取得实效，其重点在于对工商协同，信息共享，品牌定位、市场细分，精准投放，品牌发展趋势分析等重点环节进行精细有效管理，以此保障精准化营销工作取得实效，促进知名品牌市场价值的不断提升，通过健全过程控制和考核评估，以工作持续改进为精准营销提供有效支撑。"中华卷烟"利用《中华品牌服务手册》开展专题培训，提高营销人员在精准营销过程中的指标跟踪、过程监控、指导经营等技能。

4.3工商协商是精准投放的关键

在精确信息的基础上，精准投放是完成精准营销工作的核心，工商协商是关键。首先，工业企业对品牌进行准确定位，商业企业对市场进行精准划分细分，对品牌目标消费群体进行选择，据此选择最佳通路（渠道），使品牌与目标消费群在终端快速实现相遇。目前，货源投放从多环节向扁平化方向转变，就是一个很好的尝试，有效的提高了投放的精准性。

以"中华卷烟"为例，在某市就实行"四步法"投放措施。第一步，严格标准，分客户；第二步，划分商圈，定市场；第三步，关注节点，控节奏；第四步，集成信息，点对点。通过这四步措施，收到了很好的效果。

综上所述，实现卷烟上水平的首要任务就是要合理运用精准营销，大力促进工商协商，不断提升烟草品牌培育水平以此为实现烟草营销新发展的突破口，全面提升烟草市场活力，更好地满足市场消费需求，真正实现烟草上水平的工作任务要求。从而，推动烟草行业快速、规范、健康、科学发展。

参考文献

[1] 烟草业的精准营销--"中华"品牌全国战略.市场.2011(6)

[2] 安阳烟草精准营销模式探析.管理观察.2010（12）

[3] 精确信息、精准投放、精细管理、精诚服务--晶派红双喜精准营销"四部曲".上海商业

[4] 精准营销研究现状.经济研究导刊.2010(9)

精准营销有三个层面的含义：

第一、精准的营销思想，营销的终极追求就是无营销的营销，到达终极思想的过渡就是逐步精准。

第二、是实施精准的体系保证和手段，而这种手段是可衡量的。

第三、就是达到低成本可持续发展的企业目标。

精准营销也是当今时代企业营销的关键，如何做到精准，这是系统化流程，有的企业会通过品牌联播等营销做好相应企业营销分析，市场营销状况分析，人群定位分析，最主要的是需要充分挖掘企业产品所具有的诉求点，实现真正意义上的精准营销。

精准营销，是时下非常时髦的一个营销术语。大致意思就是充分利用各种新式媒体，将营销信息推送到比较准确的受众群体中，从而既节省营销成本，又能起到最大化的营销效果。这里的新式媒体，一般意义上指的是除报纸、杂志、广播、电视之外的媒体。

---