物流之数据治理
浏览量:
(一)、数据仓库技术
设计一个新仓库，翻新一个现有的仓库，或改善仓库运营需要详细了解设施设备能负载的工作量。其中，必须分析客户订单模式和它如何决定设施内的工作量。下面，我们来看看如何进行仓库数据统计分析：
数据来源：
主要有三类必需的数据用于支撑性能分析：每个SKU有关的数据，客户订单有关的数据和仓库内位置相关的数据。
SKU数据收集关于每个SKU包涵的有用的信息
•一个区别于其他所有SKU的唯一ID，能够允许我们将其他资料和这个数据连接起来
•一个简短的文本解释，用于确认和检查错误
•产品系列可能对存储和操作有一定的影响，这些尤其成为产业的趋势，所以必需了解内容。比如，一个药品连锁店的产品系列可能包括护发产品，牙科产品，剃须产品等，在零售店里都摆放在一起。对于杂货店经销商来说，产品系列可能包括干货、日化、生产、冷藏、冷冻等。
对于一个糖果经销商来说，产品系列可能包括巧克力（对热度过敏），薄荷味的糖（有气味），棉花糖（轻，容易吸收其周围的气味）等等。对于一个服装经销商来说，产品系列可能包括服装类型，磨（mill），款式，颜色或大小。请注意，一个SKU可能会超出一种产品系列。
•仓库内存储位置的地址，可能包括区，过道，部件，货架和货架上的位置
•对于以这种SKU存储的每个位置
存储单元的规模，如托盘或箱子，有利于验证和检查错误
存储单元的物理维度（长度，宽度，高度，重量），都有利于认识所需求的空间
销售单位的规模，如箱数或件数，这利于验证和检查错误
每个存储单元所销售的数量，这可能是1
•推出日期，这有助于识别可能因新推出的在作业中所代表数不足的SKU
•按月或周的最大库存水平，这有助于确定有多少空间必须提供给这个SKU
仓库所使用的不同类型的存储单元和销售单元是有区别的，了解这些约定显得尤为重要，例如，词语“纸箱”通常被称为其它名称（“箱”，“盒”），并根据其在一个仓库中使用时所能具有本质上的不同的含义。
例如，一个供应商出货的一个纸箱内可能包含几个包，每个包内包含几个盒子，每个盒子包含着件数（如图2.2），一个标准的例子，办公产品经销商提供一个标准SKU的圆珠笔，制造商可能会提供12只产品作为一盒（如同你在商店里看到一样），12盒为一个内包装（放在一个薄纸箱容器），4个内包装为一个纸箱，供应商的纸箱（或货运单位）里总共有576只笔。虽然每个术语，盒、内包、纸箱、货运单位都普遍使用，也并没有约定它们适用于哪个级别的包装。
了解这个包装的数据如何存储在数据库中，是很重要的，常常零售客户（经销商的）必需购买的销售单位的整数倍数量，笔的销售单位可能是每一个，这意味着一个客户实际上可以订购不足一个12只笔的完整的盒子。在数据库中这些信息可能被存储为任一数字“1”或符号“EA”（代指每个），如果客户必需是购买盒数的，那么销售单位可能被列为“12”或“盒”。
现在假设数据库记录的客户购买是12，出现在订单拣选员的拣货单上的是什么？究竟是什么意思？12只笔（1盒）或12盒？如果您认为这意味着12只笔的时候，而实际上表示12盒，你会低估需求12的一个因素。如果制造商销售的笔以件数计，会计将以一只单一的笔为单位记录交易，尽管在出站端对它是如何被转售有限制。
为确保一致性，人们可以随时以最小的物理单位记录，钢笔数，但这要求订单拣选员清楚，如：156只=13盒。为了便于精确拣货，所要求的记录可能是13，同时订单拣选员需要知道，这意味着13盒。（当然，如果另种笔是以只数转售的，这会导致混乱），为了避免这种混乱情况，许多设施都以会计目的，将如何记录需求和如何将其呈现在拣货清单上分开处理，例如，拣货清单上应该这样说：需求=156=13盒12只装。
还有另外一个原因是这种包装的数据很重要，它总是以某种轻松手持容器而不是松散的件数，更高效的存储和处理产品。以笔作为案例，这个处理单元可以是12盒或12箱的内包。为了补充库存产品的货架，这将是更容易以内包装单位补货。为了货架的空间效率和订单拣选效率，堆放整齐的盒装产品将是更好的存储方式。
SKU的数据可能保存在一个公司内不同的数据库，所以收集所有数据可能会呈现出挑战，作为一般的规则，如果你认为一些数据可能是相关的有最小的机会，那么收集它！
订单历史订单历史就是在过去一年提交的所有顾客的购物清单的简单串联，它包含以下信息
•这个订单唯一的ID，与其他客户的购物清单所区别，并从另一天或之后的同一天，区分同一客户的购物清单
•SKU唯一的ID，可以让我们看见SKU就明白它存储的地方
•客户
•特殊处理
•订单拣选日期/时间
•出货数量
为了分析仓库操作，你必须要对你获得这个数据仔细，通常这个数据是来自于销售交易数据库，通过金融作业而不是仓库作业。结果，记录的日期可能是代表订单被放置或印刷时的日期，不是当它在设施中被处理的日期。
类似地，出现在销售交易数据库的订单也许实际上已经在另一台设备处理过了。然而，一般情况下，有些地方的信息是可用的，因为每天订单拣选员不得不知道要拣选的东西。
记住，一个订单历史记录的主要是财务信息，好的一点是它很可能是非常准确的；但它也可以是误导性的，因为它所代表的是金融交易，而不必是操作作业。例如，它可以发生这样的情况，所被要求的SKU显示的金额为负数，但这通常意味着类似的货物被退回和进货到货架上。
有一个简单的检查是否收到的订单数据大约是正确的，大部分公司持续跟踪每一天的发货线路，作为第一个验证检查的办法，按时间段计算在数据库中的线路数，这些数字应该与所记录的数据非常匹配。（如果您只是获知相信员工已经发货，当通过仔细处理数据库后得到的数字是明显不同时，请不要感到惊讶。）
订单数据将会是你必须管理的最大的文件，用一个粗略的估计预计每行每条线路约50个字节，每天的线路数可以涵盖从2000-8000条（每年0.5-2万条线路）为一般活跃的设施（例如办公用品，高级纸张，电信物资）。
到每天10000-40000条线（每年2.5-10万条）为一个非常活跃的设施（例如，服务配件，零售药店），更达到每天超过80000条线路（每年20万条）为最活跃的设施（例如，药物或目录分销）。因此，一年的订单数据可能超过100兆字节.
仓库的布局与选址一张仓库的地图让我们清楚每个SKU存储的地点，我们可以推断，一个订单拣选员不得不前往这个位置取回产品;并从图上我们可以推断一些关于所需行走的事情，这将使我们能够评估选择布局和仓库的设计。
（二）、物流数据分析，主要分析什么？
在做物流规划设计时，人们往往对设计指标感到茫然，对新员工尤其如此。有些设计人员比较急躁，一上来就急于做方案、画图，结果画来画去，就不知道自己到底要做什么了。耽误了不少时间不说，设计方案要么不知所云，要么离题万里，对用户是一个很大的伤害。
一个良好的设计习惯，往往是应该首先明确设计目标，了解清楚设计要求之后，再去动笔，就比如写文章，总应该先确定写什么主题，目的是什么，给谁看，然后才开始写提纲、反复推敲提纲、找好素材和参考资料，再动笔写，然后再反复推敲、修改润色。不然，就很难写成一篇有质量的文章。画图虽然很重要，但到底只是一种比较简单的劳动，而画什么，表现什么主题，达到什么目标才是设计的关键。
设计是如此，对一个设计方案的评价也是如此。我遇到很多客户要求评价一个总体的方案，其实这是很难的。其中关键的一点就是，方案是设计需求的响应，对方案进行评估，首先要对设计目标进行分析和评估，这才是根本。
数据分析是一件很严肃和需要专业知识的工作，并非仅仅对数据进行简单的加减排列组合就可以了。我特别反对那些不注重数据分析的客户。一项设计，设计指标是基础。基础出现问题，你选用的设备再好，系统再先进，也是于事无补的。
其实物流仓储系统的规划设计也没有那么难，关键一点是需求要清楚明确。而需求是可以用数据来描述和定义的。一个项目，其关键数据也就那么几个而已，如收货量、发货量、库存量、拆零量、SKU等，并不难掌握。本文就讲一讲这些最基本的需求，为了便于理解，主要从物流仓储的几个环节进行描述。
基础数据
在进行系统性描述之前，一定要清楚物流的作业当量最后是以小时来计算的（当然还可以细化到半小时，甚至更小单位）。所以，我们所有的物流量，最终要以小时当量来计算。然而，从用户那里得到的实际的设计指标，很可能是年度的作业纲领，如年配送100亿。这个数据非常重要，却也是非常不确定的，因为从这个指标推导下来，就会看到，每年的作业天数、每天的作业时间、货物的价值、仓库库存周转次数等，对最终设计都有很大的影响。所以，这些关联数据应该是要首先明确的。
假设设计纲领是G(年配送目标，亿元)，单箱价格是p，则年度总配送箱数是：
Q = G/p
假设每年作业天数是N（天），每天工作时间是t，则每小时的作业量是：
q = Q/N/t
如果库存周转天数为D，则库存量的计算公式如下：
W = q*t*D
以上的数据关系都很容易推导，但在实际中要注意的是：不同的作业，其作业时间可能是变化的，如高峰时期每天作业时间要大于平常作业，发货时间有时也与收货时间不同等，会增加计算和分析的难度。
在进行具体数据分析时，还要明确箱与托盘的对应关系。托盘一般选择标准托盘（1200*1000），假设平均的满盘量为n，则库存托盘数应为：P = W/n
当然，在描述具体数据时，要区分收货、发货还是退货，每一个作业也许是不一样的。很多时候，用户是不清楚这些差异的，或者表述不清楚，那么我们就应该将自己的经验或理解进行分享，以便双方达到认识的一致。
1 、收货有关的数据
与收货有关的数据，包括到货量（箱）、订单数、车辆的装载量、收货区域大小、收货作业时间、每天收货SKU数等。
车辆的装载量和卸载时间主要对于站台设计有影响，包括车辆大小、载重量等。一般情况下，还要分析卸货的方式、速度，以便详细规划站台的数量。
收货一般是比较简单的，但也有比较复杂的情形，比如新华书店图书的收货即是如此。因为每天到货的品种很多，还有大量混包的情形，因此收货要进行专门的处理。有些电商的收货也比较复杂，包括要进行QC等动作，对收货区的要求就不一样。
很多人对高点平均值和算术平均值对于设计的影响不甚了解。简单来说，将一年（或一定时间）的收货量除以一年（或一定时间）的实际工作天数，即得到平均每天收货量，一年中最大收货量的一天，即最大收货量。在实际上设计中，如果按照平均值设计，则使得加班的天数会很多；如果按照最大值进行设计，则会出现工作很不饱满，设备闲置的现象。因此，一般取平均值和最大值之间的某个值进行设计，具体要根据实际需要确定，发货也有这种情况。
2 、储存有关的数据
库存能力对系统的设计非常重要。但如何确定库存却是非常有讲究的。除了库存总量W以外，还要考虑SKU数，以及各种存储方式下的库存要求等。很多情况下，仓库的设计并非是单一的。所以，设计的时候就要清楚库存的方式是什么，有什么要求。
一般的储存形式分为2种主要方式：以托盘为单位储存（分为立体库和平面库两种最基本形式）和以箱为单位储存。当然还有其它形式，如包裹、麻袋、散料等，也有条状物（如钢材），异形物品（如服装的挂装等）等，不再详述。在设计中，这两种方式都要考虑，有时以托盘为主，有时以箱储存为主，有时两者比较均衡。
计算库存能力当然与箱规有关，也与平均库存天数有关，这是基础。SKU对库存分配的要求有很大的制约作用，往往与作业面设计有关。此外，发货量对于库存设计也有非常大的影响，如拆零量，就要求对拆零区有一定限制。
库存ABC分析也是非常重要的，对于仓库设计起到重要作用。一般情况下，库存ABC分析结果决定了储存形式，ABC的定义将随着不同业务有所不同，要因地制宜。实际操作中，往往要对够托盘，够1/2托盘的SKU及这些SKU所占库存比例进行分析，以便正确决策。
随着电子商务的兴起，SKU不断扩大，ABC分析尤其重要。此外要注意的一个趋势是，箱式存储方式越来越受到重视，其占比越来越高。也影响库存的分析。
再计算储存能力时，人们普遍对库存充满率感到困惑。一般情况下，我们知道，托盘或货箱并不能完全被充满，而为了满足作业的顺利进行，货位也不能完全被充满。因此，要留有余地，这两个系数在不同的案例中会有差异，但都不应该忽视。
3、 拣选有关的数据
拣选的订单数、订单行数、发货量是比较重要的设计数据。
发货ABC分析同样重要，要注意的是：发货ABC分布与库存ABC往往是不相同的，分析时要注意加以区分。
拣选环节设计关注的主要是拣选、包装和输送问题，因此，有关拣选的细节问题就非常重要。如整盘出库量、整件出库量和拆零出库量，这三个参数对于设计也是非常重要的。
一些基础信息也是要清楚的，如拣选效率、播种效率和包装效率等，有些可以通过其它项目经验获得，有些应进行实际测量。需要指出的是，测量结果与作业流程、工位设计以及测量方法有关，有时很难确定一个准确的结果。
不同的拣选方法其效率差异很大，这是设计要特别考虑的地方。事实上，采用什么样的技术手段，对设计结果影响甚大。这一些问题，在数据分析时，就应该有所考虑。
4 、发货有关的数据
发货路向、数量、车辆形式、作业时间、暂存时间等数据是发货设计阶段的基础。
众所周知，分拣机的格口不可能无限增加。因此，设计中应考虑波次问题，以便控制格口数量。有些物流中心的发货区设计很小，站台停车位很少，给发货造成很大困难。
集货区的大小与发货波次有关。很多小的物流中心，每天只安排一次发货，其发货区就要大一些；对一个大型的物流中心来说，一般要按照多个大波次组织发货，每个大波次还有若干小波次，由此可以大幅度降低对集货区的需求。这在设计中是要注意的。
随着大家对物流认识越来越深刻，发货装车环节越来越受到重视。因此，设计中也要与时俱进，考虑自动化系统对发货区的影响。
5 、退货有关的数据
退货很重要也很困难，但容易受到忽视。
在通常的数据分析中，退货分析也是不充分的。事实上，退货与收货的过程是不一样的。这主要是因为退货收货需要处理的数据量远远大于普通收货。
退货作业不是均衡的，有很大的波动性。因此，在数据分析中（实际作业也是如此），要将退货收货与退货处理分开来。其作业时间和作业量都不会一样。
对退货来说，其作业流程对于设计会产生影响。一般数据分析仅仅提供退货量即可，包括订单数、订单行、SKU、数量等。
要注意的是，退货有两种形式，其一是终端退回到物流中心；其二是物流中心退回供应商或者报废处理。两者差异是很大的。在数据分析时，要分别对待。
6、其它
数据分析很重要，也有一定难度，这是需要指出的。经验和专业知识对于数据分析很重要。此外，数据分析结果必须得到用户确认才能用于设计。
对一个数据样本的预处理，是分析数据的第一步。什么数据是有效的，什么是无效的，要有明确的规则。剔除无效数据对于数据分析是很关键的一步。当然，要做到这一点，除了认真调研和分析外，经验和常识也很重要。
数据要有典型性，因此，数据量不能太少。比如，一年四季的数据是变化的，一个季度之中的数据也是变化的。每月、每周、每天，甚至每个小时的变化如何，要有系统的分析。一个静止的和孤立的数据是没有意义的，必须与系统环境相关联。这一点也很重要。
有时，数据分析与方案设计不是一个人，这时就需要注意沟通。数据分析不可能完全独立进行，它需要与设计方案相匹配，正因为如此，每个项目的数据分析的重点也是不一样的。
数据分析人员至少要对设计需求有所了解，才能知道如何分析数据，如何从成千上万的数据中找到规律并抽出有用的东西。
最后要说明一点的是，数据分析的结果并不是直接应用于设计，而是要据此提出设计指标。其中有些数据的变化是比较缓慢的，如产品特点、订单结构、品项数、作业方式等，有些却会变化剧烈，如设计指标等。这些除了经验、行业情况能够提供帮助外，关键的是要认真分析，找出规律。在这个过程中，充分的调研，与用户充分的沟通尤其重要。
附录 关于EIQ分析
EIQ分析对于物流规划设计与物流管理都是非常重要的分析方法。其中E(Entry)表示订单，I（Item）表示品项数，即SKU数，Q（Quant）表示数量。
EIQ分析的分析项目主要有：
1）EN分析：即每张订单的订货品项数量分析。即通常所说的订单结构或订单行数分析。EN分析可以对订单行的分布情况做出准确判断，从而对拣选策略尤其是拆零方式提供指南。比如说B2C电商业务，其订单行很少，而对于医药的B2B配送，每张订单的行数会较多，两者在设计上的处理方法是不一样的。
2）EQ分析：每张订单的订货数量分析。对一个订单的每行数量进行分析，就可以获得订单结构的基本情况。对一个订单行来说，会存在整件和拆零两种情况，因此，订单的分布情况还可以指导对库存分布、拆零拣选的具体设计。
3）IQ分析：每个单品的订货数量分析。这种分析主要用于库存ABC分析。库存ABC对于仓库库存结构设计和拣选系统的设计都有非常重要的作用。
4）IK分析：每个单品的订货次数分析，也即产品订货的频率。这是与发货ABC相关的指标。发货ABC分析对于货物存放的策略、补货策略，以及拣货策略的设计都是至关重要的。
EIQ分析一般是对历史数据进行。用于设计的分析，旨在确定订单结构和库存结构。对运营管理而言，EIQ分析则常常用于对实际运营的优化，如ABC分析即使如此，可以根据一段时间的ABC分析结果，及时调整库存的结构，以期达到提高拣选效率的目的。
对一项设计而言，一般应选取1年以上的数据比较适宜。太少的数据可能缺乏代表性。当然也有例外，如数据量本身就不够，那就只有从行业中其他企业的数据中寻找规律了。
（三）、大数据思维的核心原理
大数据思维原理是什么?笔者概括为7项原理。
01 数据核心原理
从“流程”核心转变为“数据”核心
大数据时代，计算模式也发生了转变，从“流程”核心转变为“数据”核心。hadoop体系的分布式计算框架已经是“数据”为核心的范式。非结构化数据及分析需求，将改变IT系统的升级方式：从简单增量到架构变化。大数据下的新思维——计算模式的转变。
例如：IBM将使用以数据为中心的设计，目的是降低在超级计算机之间进行大量数据交换的必要性。大数据下，云计算找到了破茧重生的机会，在存储和计算上都体现了数据为核心的理念。大数据和云计算的关系：云计算为大数据提供了有力的工具和途径，大数据为云计算提供了很有价值的用武之地。而大数据比云计算更为落地，可有效利用已大量建设的云计算资源，最后加以利用。
科学进步越来越多地由数据来推动，海量数据给数据分析既带来了机遇，也构成了新的挑战。大数据往往是利用众多技术和方法，综合源自多个渠道、不同时间的信息而获得的。为了应对大数据带来的挑战，我们需要新的统计思路和计算方法。
说明：用数据核心思维方式思考问题，解决问题。以数据为核心，反映了当下IT产业的变革，数据成为人工智能的基础，也成为智能化的基础，数据比流程更重要，数据库、记录数据库，都可开发出深层次信息。云计算机可以从数据库、记录数据库中搜索出你是谁，你需要什么，从而推荐给你需要的信息。
02 关注效率原理
由关注精确度转变为关注效率
关注效率而不是精确度，大数据标志着人类在寻求量化和认识世界的道路上前进了一大步，过去不可计量、存储、分析和共享的很多东西都被数据化了，拥有大量的数据和更多不那么精确的数据为我们理解世界打开了一扇新的大门。大数据能提高生产效率和销售效率，原因是大数据能够让我们知道市场的需要，人的消费需要。大数据让企业的决策更科学，由关注精确度转变为关注效率的提高，大数据分析能提高企业的效率。
例如：在互联网大数据时代，企业产品迭代的速度在加快。三星、小米手机制造商半年就推出一代新智能手机。利用互联网、大数据提高企业效率的趋势下，快速就是效率、预测就是效率、预见就是效率、变革就是效率、创新就是效率、应用就是效率。
竞争是企业的动力，而效率是企业的生命，效率低与效率高是衡量企来成败的关键。一般来讲，投入与产出比是效率，追求高效率也就是追求高价值。手工、机器、自动机器、智能机器之间效率是不同的，智能机器效率更高，已能代替人的思维劳动。智能机器核心是大数据制动，而大数据制动的速度更快。在快速变化的市场，快速预测、快速决策、快速创新、快速定制、快速生产、快速上市成为企业行动的准则，也就是说，速度就是价值，效率就是价值，而这一切离不开大数据思维。
说明：用关注效率思维方式思考问题，解决问题。大数据思维有点像混沌思维，确定与不确定交织在一起，过去那种一元思维结果，已被二元思维结果取代。过去寻求精确度，现在寻求高效率;过去寻求因果性，现在寻求相关性;过去寻找确定性，现在寻找概率性，对不精确的数据结果已能容忍。只要大数据分析指出可能性，就会有相应的结果，从而为企业快速决策、快速动作、创占先机提高了效率。
03 预测原理
从不能预测转变为可以预测
大数据的核心就是预测，大数据能够预测体现在很多方面。大数据不是要教机器像人一样思考，相反，它是把数学算法运用到海量的数据上来预测事情发生的可能性。正因为在大数据规律面前，每个人的行为都跟别人一样，没有本质变化，所以商家会比消费者更了消费者的行为。
例如：大数据助微软准确预测世界怀。微软大数据团队在2014年巴西世界足球赛前设计了世界怀模型，该预测模型正确预测了赛事最后几轮每场比赛的结果，包括预测德国队将最终获胜。预测成功归功于微软在世界怀进行过程中获取的大量数据，到淘汰赛阶段，数据如滚雪球般增多，常握了有关球员和球队的足够信息，以适当校准模型并调整对接下来比赛的预测。
世界杯预测模型的方法与设计其它事件的模型相同，诀窍就是在预测中去除主观性，让数据说话。预测性数学模型几乎不算新事物，但它们正变得越来越准确。在这个时代，数据分析能力终于开始赶上数据收集能力，分析师不仅有比以往更多的信息可用于构建模型，也拥有在很短时间内通过计算机将信息转化为相关数据的技术。
几年前，得等每场比赛结束以后才能获取所有数据，现在，数据是自动实时发送的，这让预测模型能获得更好的调整且更准确。微软世界怀模型的成绩说明了其模型的实力，它的成功为大数据的力量提供了强有力的证明，利用同样的方法还可预测选举或关注股票。类似的大数据分析正用于商业、政府、经济学和社会科学，它们都关于原始数据进行分析。
我们进入了一个用数据进行预测的时代，虽然我们可能无法解释其背后的原因。如果一个医生只要求病人遵从医嘱，却没法说明医学干预的合理性的话，情况会怎么样呢?实际上，这是依靠大数据取得病理分析的医生们一定会做的事情。
从一个人乱穿马路时行进的轨迹和速度来看他能及时穿过马路的可能性，都是大数据可以预测的范围。当然，如果一个人能及时穿过马路，那么他乱穿马路时，车子就只需要稍稍减速就好。但是这些预测系统之所以能够成功，关键在于它们是建立在海量数据的基础之上的。
此外，随着系统接收到的数据越来越多，通过记录找到的最好的预测与模式，可以对系统进行改进。它通常被视为人工智能的一部分，或者更确切地说，被视为一种机器学习。真正的革命并不在于分析数据的机器，而在于数据本身和我们如何运用数据。一旦把统计学和现在大规模的数据融合在一起，将会颠覆很多我们原来的思维。所以现在能够变成数据的东西越来越多，计算和处理数据的能力越来越强，所以大家突然发现这个东西很有意思。所以，大数据能干啥?能干很多很有意思的事情。
例如，预测当年葡萄酒的品质
很多品酒师品的不是葡萄酒，那时候葡萄酒还没有真正的做成，他们品的是发烂的葡萄。因此在那个时间点就预测当年葡萄酒的品质是比较冒险的。而且人的心理的因素是会影响他做的这个预测，比如说地位越高的品酒师，在做预测时会越保守，因为他一旦预测错了，要损失的名誉代价是很大的。所以的品酒大师一般都不敢贸然说今年的酒特别好，或者是特别差;而刚出道的品酒师往往会“语不惊人死不休的”。
普林斯顿大学有一个英语学教授，他也很喜欢喝酒，喜欢储藏葡萄酒，所以他就想是否可以分析到底哪年酒的品质好。然后他就找了很多数据，比如说降雨量、平均气温、土壤成分等等，然后他做回归，最后他说把参数都找出来，做了个网站，告诉大家今年葡萄酒的品质好坏以及秘诀是什么。
当他的研究公布的时候，引起了业界的轩然大波，因为他做预测做的很提前，因为今年的葡萄收获后要经过一段的时间发酵，酒的味道才会好，但这个教授突然预测说今年的酒是世纪最好的酒。大家说怎么敢这么说，太疯狂了。更疯狂的是到了第二年，他预测今年的酒比去年的酒更好，连续两次预测说是百年最好的酒，但他真的预测对了。现在品酒师在做评判之前，要先到他的网站上看看他的预测，然后再做出自己的判断。有很多的规律我们不知道，但是它潜伏在这些大数据里头。
例如，大数据描绘“伤害图谱”
广州市伤害监测信息系统通过广州市红十字会医院、番禺区中心医院、越秀区儿童医院3个伤害监测哨点医院，持续收集市内发生的伤害信息，分析伤害发生的原因及危险因素，系统共收集伤害患者14681例，接近九成半都是意外事故。整体上，伤害多发生于男性，占61.76%，5岁以下儿童伤害比例高达14.36%，家长和社会应高度重视，45.19%的伤害都是发生在家中，其次才是公路和街道。
收集到监测数据后，关键是通过分析处理，把数据“深加工”以利用。比如，监测数据显示，老人跌倒多数不是发生在雨天屋外，而是发生在家里，尤其是旱上刚起床时和浴室里，这就提示，防控老人跌倒的对策应该着重在家居，起床要注意不要动作过猛，浴室要防滑，加扶手等等。
说明：用大数据预测思维方式来思考问题，解决问题。数据预测、数据记录预测、数据统计预测、数据模型预测，数据分析预测、数据模式预测、数据深层次信息预测等等，已转变为大数据预测、大数据记录预测、大数据统计预测、大数据模型预测，大数据分析预测、大数据模式预测、大数据深层次信息预测。
互联网、移动互联网和云计算机保证了大数据实时预测的可能性，也为企业和用户提供了实时预测的信息，相关性预测的信息，让企业和用户抢占先机。由于大数据的全样本性，人和人都是一样的，所以云计算机软件预测的效率和准确性大大提高，有这种迹象，就有这种结果。
04 信息找人原理
从人找信息，转变为信息找人
互联网和大数据的发展，是一个从人找信息，到信息找人的过程。先是人找信息，人找人，信息找信息，现在是信息找人的这样一个时代。信息找人的时代，就是说一方面我们回到了一种最初的，广播模式是信息找人，我们听收音机，我们看电视，它是信息推给我们的，但是有一个缺陷，不知道我们是谁，后来互联网反其道而行，提供搜索引擎技术,让我知道如何找到我所需要的信息，所以搜索引擎是一个很关键的技术。
例如：从搜索引擎——向推荐引擎转变。今天，后搜索引擎时代已经正式来到，什么叫做后搜索引擎时代呢?使用搜索引擎的频率会大大降低，使用的时长也会大大的缩短，为什么使用搜索引擎的频率在下降?时长在下降?原因是推荐引擎的诞生。就是说从人找信息到信息找人越来越成为了一个趋势，推荐引擎就是说它很懂我，知道我要知道，所以是最好的技术。乔布斯说，让人感受不到技术的技术是最好的技术。
大数据还改变了信息优势。按照循证医学，现在治病的第一件事情不是去研究病理学，而是拿过去的数据去研究，相同情况下是如何治疗的。这导致专家和普通人之间的信息优势没有了。原来我相信医生，因为医生知道的多，但现在我可以到谷歌上查一下，知道自己得了什么病。
谷歌有一个机器翻译的团队，最开始的时候翻译之后的文字根本看不懂，但是现在60%的内容都能读得懂。谷歌机器翻译团队里头有一个笑话，说从团队每离开一个语言学家，翻译质量就会提高。越是专家越搞不明白，但打破常规让数据说话，得到真理的速度反而更快。
说明：用信息找人的思维方式思考问题，解决问题。从人找信息到信息找人，是交互时代一个转变，也是智能时代的要求。智能机器已不是冷冰冰的机器，而是具有一定智能的机器。信息找人这四个字，预示着大数据时代可以让信息找人，原因是企业懂用户，机器懂用户，你需要什么信息，企业和机器提前知道，而且主动提供你需要的信息。
05 机器懂人原理
由人懂机器转变为机器更懂人
不是让人更懂机器，而是让机器更懂人，或者说是能够在使用者很笨的情况下，仍然可以使用机器。甚至不是让人懂环境，而是让我们的环境来懂我们，环境来适应人，某种程度上自然环境不能这样讲，但是在数字化环境中已经是这样的一个趋势，就是我们所在的生活世界，越来越趋向于它更适应于我们，更懂我们。哪个企业能够真正做到让机器更懂人，让环境更懂人，让我们随身携带的整个的生活世界更懂得我们的话，那他一定是具有竞争力的了，而“大数据”技术能够助我们一臂之力。
例如：亚马逊网站，只要买书，就会提供一个今天司空见惯的推荐，买了这本书的人还买了什么书，后来发现相关推荐的书比我想买的书还要好，时间久之后就会对它产生一种信任。这种信任就像在北京的那么多书店里面，以前买书的时候就在几家，原因在于我买书比较多，他都已经认识我了，都是我一去之后，我不说我要买什么书，他会推荐最近上来的几本书，可能是我感兴趣的。这样我就不会到别的很近的书店，因为这家书店更懂我。
例如，解题机器人挑战大型预科学校高考模拟试题的结果，解题机器人的学历水平应该比肩普通高三学生。计算机不擅长对语言和知识进行综合解析，但通过借助大规模数据库对普通文章做出判断的方法，在对话填空和语句重排等题型上成绩有所提高。
让机器懂人，是让机器具有学习的功能。人工智能已转变为研究机器学习。大数据分析要求机器更智能，具有分析能力，机器即时学习变得更重要。机器学习是指：计算机利用经验改善自身性能的行为。机器学习主要研究如何使用计算机模拟和实现人类获取知识(学习)过程、创新、重构已有的知识，从而提升自身处理问题的能力，机器学习的最终目的是从数据中获取知识。
大数据技术的其中一个核心目标是要从体量巨大、结构繁多的数据中挖掘出隐蔽在背后的规律，从而使数据发挥最大化的价值。由计算机代替人去挖掘信息，获取知识。从各种各样的数据(包括结构化、半结构化和非结构化数据)中快速获取有价值信息的能力，就是大数据技术。大数据机器分析中，半监督学习、集成学习、 概率模型等技术尤为重要。
说明：用机器更懂人的思维方式思考问题，解决问题。机器从没有常识到逐步有点常识，这是很大的变化。去年，美国人把一台云计算机送到大学里去进修，增加知识和常识。最近俄罗斯人开发一台计算机软件通过图林测试，表明计算机已初步具有智能。
让机器懂人，这是人工智能的成功，同时，也是人的大数据思维转变。你的机器、你的软件、你的服务是否更懂人?将是衡量一个机器、一件软件、一项服务好坏的标准。人机关系已发生很大变化，由人机分离，转化为人机沟通，人机互补，机器懂人，现在年青人已离不开智能手机是一个很好的例证。在互联网大数据时代，有问题—问机器—问百度，成为生活的一部分。机器什么都知道，原因是有大数据库，机器可搜索到相关数据，从而使机器懂人。是人让机器更懂人，如果机器更懂人，那么机器的价值更高。
06 电子商务智能原理
大数据改变了电子商务模式，让电子商务更智能商务智能，在今天大数据时代它获得的重新的定义。
例如：传统企业进入互联网，在掌握了“大数据”技术应用途径之后，会发现有一种豁然开朗的感觉，我整天就像在黑屋子里面找东西，找不着，突然碰到了一个开关，发现那么费力的找东西，原来很容易找得到。大数据思维，事实上它不是一个全称的判断，只是对我们所处的时代某一个纬度的描述。
大数据时代不是说我们这个时代除了大数据什么都没有，哪怕是在互联网和IT领域，它也不是一切，只是说在我们的时代特征里面加上这么一道很明显的光，从而导致我们对以前的生存状态，以及我们个人的生活状态的一个差异化的一种表达。
例如：大数据让软件更智能。尽管我们仍处于大数据时代来临的前夕，但我们的日常生活已经离不开它了。交友网站根据个人的性格与之前成功配对的情侣之间的关联来进行新的配对。例如，具有“自动改正”功能的智能手机通过分析我们以前的输入，将个性化的新单词添加到手机词典里。在不久的将来，世界许多现在单纯依靠人类判断力的领域都会被计算机系统所改变甚至取代。计算机系统可以发挥作用的领域远远不止驾驶和交友，还有更多更复杂的任务。别忘了，亚马逊可以帮我们推荐想要的书，谷歌可以为关联网站排序，Facebook知道我们的喜好，而linkedIn可以猜出我们认识谁。
当然，同样的技术也可以运用到疾病诊断、推荐治疗措施，甚至是识别潜在犯罪分子上。或者说，在你还不知道的情况下，体检公司、医院提醒你赶紧去做检查，可能会得某些病，商家比你更了解你自己，以及你这样的人在某种情况下会出现的可能变化。就像互联网通过给计算机添加通信功能而改变了世界，大数据也将改变我们生活中最重要的方面，因为它为我们的生活创造了前所未有的可量化的维度。
说明：用电子商务更智能的思维方式思考问题，解决问题。人脑思维与机器思维有很大差别，但机器思维在速度上是取胜的，而且智能软件在很多领域已能代替人脑思维的操作工作。例如美国一家媒体公司已用电脑智能软件写稿，可用率已达70%。云计算机已能处理超字节的大数据量，人们需要的所有信息都可得到显现，而且每个人互联网行为都可记录，这些记录的大数据经过云计算处理能产生深层次信息，经过大数据软件挖掘，企业需要的商务信息都能实时提供，为企业决策和营销、定制产品等提供了大数据支持。
07 定制产品原理
由企业生产产品转变为由客户定制产品
下一波的改革是大规模定制，为大量客户定制产品和服务，成本低、又兼具个性化。比如消费者希望他买的车有红色、绿色，厂商有能力满足要求，但价格又不至于像手工制作那般让人无法承担。因此，在厂家可以负担得起大规模定制带去的高成本的前提下，要真正做到个性化产品和服务，就必须对客户需求有很好的了解，这背后就需要依靠大数据技术。
例如：大数据改变了企业的竞争力。定制产品这是一个很好的技术，但是能不能够形成企业的竞争力呢?在产业经济学里面有一个很重要的区别，就是生产力和竞争力的区别，就是说一个东西是具有生产力的，那这种生产力变成一种通用生产力的时候，就不能形成竞争力，因为每一个人，每一个企业都有这个生产力的时候，只能提高自己的生产力，过去没有车的时候和有车的时候，你的活动半径、运行速度大大提高了，但是当每一个人都没有车的时候，你有车，就会形成竞争力。大数据也一样，你有大数据定制产品，别人没有，就会形成竞争力。
在互联网大数据的时代，商家最后很可能可以针对每一个顾客进行精准的价格歧视。我们现在很多的行为都是比较粗放的，航空公司会给我们里程卡，根据飞行公里数来累计里程，但其实不同顾客所飞行的不同里程对航空公司的利润贡献是不一样的。所以有一天某位顾客可能会收到一封信，“恭喜先生，您已经被我们选为幸运顾客，我们提前把您升级到白金卡。”这说明这个顾客对航空公司的贡献已经够多了。有一天银行说“恭喜您，您的额度又被提高了，”就说明钱花得已经太多了。
正因为在大数据规律面前，每个人的行为都跟别人一样，没有本质变化。所以商家会比消费者更了消费者的行为。也许你正在想，工作了一年很辛苦，要不要去哪里度假?打开e-Mail，就有航空公司、旅行社的邮件。
说明：用定制产品思维方式思考问题，解决问题。大数据时代让企业找到了定制产品、订单生产、用户销售的新路子。用户在家购买商品已成为趋势，快递的快速，让用户体验到实时购物的快感，进而成为网购迷，个人消费不是减少了，反而是增加了。为什么企业要互联网化大数据化，也许有这个原因。2000万家互联网网店的出现，说明数据广告、数据传媒的重要性。
企业产品直接销售给用户，省去了中间商流通环节，使产品的价格可以以出厂价销售，让销费者获得了好处，网上产品便宜成为用户的信念，网购市场形成了。要让用户成为你的产品粉丝，就必须了解用户需要，定制产品成为用户的心愿，也就成为企业发展的新方向。
大数据思维是客观存在，大数据思维是新的思维观。用大数据思维方式思考问题，解决问题是当下企业潮流。大数据思维开启了一次重大的时代转型。
（四）、大数据赋能物流行业
随着信息技术的飞速发展，特别是云计算、物联网技术的成熟，推动了以大数据应用为标志的智慧物流产业的兴起。
随着信息技术的飞速发展，特别是云计算、物联网技术的成熟，推动了以大数据应用为标志的智慧物流产业的兴起。智慧物流极大地促进了物流产业优化和管理的透明度，实现了物流产业各个环节信息共享和协同运作，以及社会资源的高效配置。而如何抓住大数据时代带给我们的机遇，成为物流企业在竞争中赢得主动和实现跨越发展的关键所在。
大数据究竟能够给物流行业带来什么？如何抓住机遇？又会面临哪些挑战？这些问题都值得深入研究和探讨。
推动智慧物流发展
“数据作为一种新的资源，数据的拥有者将来会获得越来越大的话语权，整个社会的治理结构与规则将会发生非常深刻的变化，这是每个人都会面临的社会变迁。”中国物流学会常务副会长、中国物流与采购联合会专家委员会副主任戴定一认为，智慧物流是物流的发展目标，而大数据能够支撑智慧物流的发展，物流行业和企业要利用好大数据，才能够真正从变革中受益。
戴定一表示，首先要做好整合，这是大数据的关键。“整合一定要建立在有价值的服务之上。很多数据整合或者叫第三方云平台能否建成的主要障碍，是利益关系能否协调好，否则来自各个利益主体的信息很难被整合在一。”他告诉记者，目前比较成功的案例都有一个规律，那就是采用了利益交换的模式--用服务去换取管理。也就是说，各个利益主体通过交换的方式，你将信息的管理权交给我，我将信息整合起来后形成服务给你，你再将更多信息给我，我给你更多的服务……这样循环起来，就产生了更多的价值。
除了利益难以整合，来自于各个利益主体的信息，由于数据结构、标准等都不一样也很难整合在一起。戴定一指出，这就需要对信息进行科学拆分，拆分是整合的基础。“现在很多时候过多强调了整合，却不知整合的成功与否，很大程度上取决于基础模块分得是否科学，是否标准。只要拆得好，拆得标准，将来整合起来会非常方便。”他说。
其次，如何让获得的数据得到充分的利用，是大数据的另一大关键问题。对此，戴定一提出要关注两个方面。一个是数据的数量优于质量。“在大数据时代，数据的质量不再是第一位的，因为现在数据量非常大，能够解决所有质量上的缺陷。所以在大数据时代，数据量越大，价值越大。”
另一个是数据相关性优于数据逻辑性或因果性。他表示，在大数据的时代，数据的很多因果性事先无法获知，但是通过数据处理获得的相关性结果，能够告诉你里面可能有什么样的因果关系。因此，在大数据时代，因果关系不是主要的。因为数据处理的及时性，只需要知道这件事与那件事之间有什么关系，可以把结果做成一个黑匣子，知道输入什么会输出什么就够用了。
与此同时，在大数据时代，服务的方向也开始朝着动态化、个性化发展。如上所述，大数据时代，物流数据的特征将是一个动态的电子地图，每个人的电子地图都不一样，我的地图上标注的东西是我关心的，他标注的是他关心的，并且这些信息可能每分每秒都在发生变化。因此，动态化和个性化服务将具有非常大的价值。
第三，要抓住物流的基本问题。“大数据时代的智慧物流有许多新的发展，但是始终还是会围绕网络和流程这两个物流的基本问题发展的。”戴定一强调。智慧网络将提升资源管控和利用率水平，而智慧流程将提升管理精细化与协同水平。一个是对资源的管控，一个是对作业流程（服务流程）的优化，这两件事是物流的基本问题与核心。
此外，公共平台将在解决网络（资源）与流程（服务）结合的基础上，创造新的公共服务。“公共平台正在成为数据集聚的漏斗，这个漏斗产生的数据可能会是产生一种新的公共服务创新，这是我们非常期待的大数据价值。”他表示。
驱动电商物流变革
作为当今物流业的发展热点，电商物流得到了很多关注。中国综合开发研究院副院长曲建认为，与大数据的结合是电商物流发展的必然趋势。
曲建表示，大数据时代的来临，不是技术的变革，首当其冲是思维的变革，随之而来的将是商业模式的改变。在众多技术领域中，大数据是最容易收割成果的技术，它处在技术萌芽期和期望膨胀期这样一个转型过程中，经济价值的增长量非常大；并且，它通过数据化、价值化、和角色的再定位，重新给每个企业寻找到一套挖掘价值的潜力。“在大数据时代，因为物流业的应用特点与大数据技术有较高的契合度，在主客观条件上也有较高的应用可能性，是未来大数据时代赢家的选择。因此，物流企业特别是电商物流企业要高度关注大数据时代的机遇。”
通过互联网技术和商业模式的改变，可以实现从生产者直接到顾客的供应渠道的改变。这样的改变，从时间和空间两个维度都为物流业创造新价值奠定了很好的基础。“可以看到，通过互联网技术的变化，可以让全国物流业的布局相应地发生一系列调整。从过去生产者全国配送中心，逐步演化成为个性化订单，从顾客的需求向上推移，促使整个配送模式的改变。过去是供给决定需求，今后越来越多地从需求开始倒推，按照需求的模式重新设计相应的供给点的安排。”曲建指出，这些都是因为大数据时代到来所产生的变革。
而未来，电商物流企业在大数据时代如何更好地发展？曲建强调，要特别值得关注两个方面的建设，一个是物流仓储平台建设，它对物流成本的影响至关重要。在今后全国产业布局调整完以后，物流仓储平台在全国如何布局是很关键的问题。
另一个是物流信息平台建设。今后的物流信息平台，将是基于大数据的中转中心或调度中心、结算中心。物流信息平台会根据以往的快递公司的表现、各个分段的报价、即时运力资源情况、该流向的即时件量等信息，进行相关的“大数据”分析。得到优化线路选项，并对第三方物流公司进行优化组合配置，系统会将订单数据发送到各个环节，由相应的物流公司完成。
通过运用大数据，电商物流中心将得到大幅优化。仓储运输的空间将被系统化布置。将在物流节点公司上进行整合，对过去单一物流企业，搭建起桥梁。物流车辆行车路径也将被最短化、最畅化定制。此外，企业信息系统将全面整合与优化。
曲建最后建议，要发展大数据时代的电商物流，首先可以借鉴新加坡贸易网经验，高效率的信息管理，搭建网络平台简化所有单证手续，节省时间和成本，提高效率。其次，引进电子数据交换系统，实现无纸化。建立交易商、货运代理商、政府机构之间贸易文件、航空运单、托运单等的电子化链接。第三，发布物流系统电子数据交换标准，规范辅助各方面的电子联系，如有必要，给予企业资助以实现电子交换系统可获得性。第四，为仓库和配送中心配套自动存储和回复系统，仓储管理系统，来提升运营。
加速公路运输整合
作为物流业的重要组成部分，对于公路运输市场来说，大数据又意味着什么？对此，香港物流运输过程透明管理研究院院长南兴军表示，大数据时代要求传统物流产业发生变革，在运力整合方面未来也将会发生诸多变化。
物流运输企业的运力基本上都是由三个部分组成：自有车辆、签约承运商、业务量大时临时租车。南兴军认为，过去我们是以合约的模式，内部管理或考核在线下组织车辆和运力来完成我们的业务；未来在大数据时代，将走向平台，走向社会，面向社会整合运力，而整合的内容主要包括时间、空间、管理和服务。
“大数据时代的运力生态圈将是一个平台，但又不只是一个平台，而是由很多个平台组成的一个系统、一个生态体系。而处于生态圈中心的是社会运力池。”南兴军说，比如现在车辆都要装GPS,GPS运营商自然会有几万甚至几十万的运力客户，这么多的车辆在一起就会形成一个社会运力池。这个运力池存在大量的、功能型号用途各异的车辆，车辆的数据也在这里面，通过大数据进行拆分整合、分析，就可以知道这些车的优点缺点、线路时效等。
他进一步解释，在运力池周围的是“货主圈”,有很多类似中外运这样的大中型物流企业私有平台，企业利用自己所掌握的货源控制了大量的运力，并利用私有平台对这些运力进行整合。如果把这些私有平台与运力池进行对接，就会产生一种新的平台--运力整合平台。
“我们知道，公共信息平台的特点是提供标准产品和信息服务，而私有平台更多的是个性化、专业化的流程、服务和产品。通过运力池的大数据分析，公共运力的标准化和专业运力的个性化需求之间就会产生良好的匹配。这解决了公共信息平台上没有货源或货源信息虚假的问题。”南兴军强调。
