新闻资讯

  • 物联网：大数据时代下的铺路石

    作者：郑昱

    发布时间：2013-06-18

    来源：《中国自动识别技术》杂志社

            大数据将为人类的生活创造前所未有的可量化的维度。大数据已经成为了新发明和新服务的源泉，而更多的改变正蓄势待发。        经济学家预测2013年年底全球将有10亿物物相连，物联网产生大数据，大数据进一步推动物联网更快速地发展。        大数据时代，全世界物联网虚拟网络上一分钟可以产生大量的数据，苹果手机用户一分钟下载2万余次、网民一分钟会上传10万条新微博……        我国物联网市场已进入稳步发展期，2012年市场规模达到3650亿元，比去年增加 38.6%。到2015年，预计物联网市场规模达到7500亿元，年付增长率30%。        2012年IDC公司指出在2005年由机器产生的数据占到数据总量的11%，2020增加到 42%。据 Cisco预测，到2015年全球移动数据流量将激增26倍，将达到6.3EB/月；宽带IP数据流量将达到80.5EB/月。        大数据时代，我们到底能做什么？又能从中收获什么……        “大数据”是一项蕴藏了大量机遇的科技，是一项在质检领域有着广阔应用空间的科技。大数据加速质检信息化        【本刊讯】2013年5月10日，国家质量监督检验检疫总局开展了第二期质检大讲堂暨党组中心组第四次学习（扩大）活动，通过学习，了解掌握信息技术发展前沿动态。        工业和信息化部副部长杨学山作了题为“大数据时代的信息化发展趋势”的专题讲座，杨学山从“大数据”的由来和发展、信息技术为大数据开辟了前进道路、大数据是走向信息时代的奠基石、大数据发展的关键环节以及电子政务发展中的大数据等 5 个方面，深刻阐述了“大数据时 代”信息化的发展趋势。他特别结合“大数据”对电子政务发展和政府管理方式变革的影响，对质检系统如何应用“大数据”加强质量诚信体系、食品农产品安全追溯体系建设以及提升出入境检验检疫业务监管水平等工作，针对性地提出了很好的意见和建议。               随后，就质检系统围绕“大数据”的学习应用，推进质检工作创新发展，国家质检总局局长支树平代表总局党组提出了三点要求：        一要高度重视“大数据”技术的开发和应用。支树平指出，“大数据”技术是一场革命，质检系统要以更加开放的心态和锐意创新的勇气，迎接“大数据时代”的到来，主动认识它，主动掌握它，要努力培养收集、组织、管理、利用质检工作相关数据信息的能力，更加注意相关技术的引进吸收和普及应用，着力把质检系统信息化建设水平提高到一个新层次。        二要高度重视对新知识、新技术的学习运用。支树平强调，当今时代是知识爆炸的时代，新事物、新科学、新技术、新知识、新概念、新理论日新月异，层出不穷。质检系统是技术执法部门，在质检工作领域，无论是对质量工作的管理，还是对质检自身的管理，都需要努力鼎故革新，开拓新视野，运用新技术，增强新能力，为中国特色质检事业科学发展提供知识支撑、技术支撑和智能支撑。        三要高度重视质检工作的创新发展。支树平指出，党的十八大和新一届中央政府，都对质检工作的改革发展提出了更高的要求，要坚定不移地走中国特色质检工作之路：一方面要加强宏观研究，积极吸收和利用一切有利于推动质检工作科学发展的好经验、好方法、好技术、好思路，推动中国特色质检理论体系、制度体系、技术体系、工作机制的进一步完善；另一方面要切实抓好具体工作的落实，细化重点工作和 重点任务，全面推进各项工作。        随着经济全球化进程的加快和国际国内竞争的加剧，质量诚信体系建设的作用愈发显得重要。质量诚信体系建设是社会信用体系的重要组成部分。实现质量诚信方式的创新，需要加强日常质量信息的监管，大量获取第一手的信用信息数据，有效地去伪存真，及时归纳、整理，对企业质量信用状况定期跟踪，动态监管，确保质量信用信息来源的准确公正，构建覆盖全面、数据准确的大数据企业信息体系是实现质量信用诚信体系建设的根本。        近日，在2013（第四届）中国物联网大会上，来自国内十余位院士、百余位知名学者和企业家围绕物联网高端前沿技术、核心技术与关联技术、物联网人才培养、产业化与项目对接以及最新政策解读等问题进行深入探讨。与会代表从专业和科学的角度出发，针对物联网的核心问题和难点问题，分析了物联网的现状，指出了发展机遇。 中国工程院院士、中国电子学会物联网专家委员会主任委员邬贺铨 大数据助力物联网        物联网产生的大数据与一般的大数据有不同的特点。物联网的数据是异构的、多样性的、非结构和有噪声的，更大的不同是它的高增长率。物联网的数据有明显的颗粒性，其数据通常带有时间、位置、环境和行为等信息。物联网数据可以说也是社交数据，但不是人与人的交往信息，而是物与物，物与人的社会合作信息。各方面数据的融合将使物联网的数据变得更有用，将物联网感知的数据与通过社会媒体获得的数据结合，即人与机器的“社会联网”，使决策更科学。        但从数据挖掘到决策来说，物联网不能基于单个事件（单个观察或传感器的读数）来触发活动。需要利用专家系统和数学模型，综合异构来源的多种信息，对观察到的数据进行过滤、汇聚和数据挖掘，参考历史数据，考虑事件间的相关性和上下文感知，进行分析推理 ，给出决策 。          大数据助力物联网，不仅是收集传感性的数据，实物跟虚拟物要结合起来。比如说，某天北京发生了交通堵塞，但我们并不知道堵塞原因，如果政府发布消息和市民微博发布消息结合起来，就可以得知究竟发生了什么事。所以说物联网要过滤，而过滤要有一定模式。物联网数据挖掘涉及到数据存储，从实物虚拟物获取存储，然后进行一些虚拟化和找出数据摘要。 数据挖掘模式，合并压缩、清洗过滤、格式转换，法阶段数据分析、知识发现、可视化、数据阶段，关联规则，分类、聚类、序列、路径等方面的工作都需要扎实开展跟进。 中国物品编码中心高级工程师张旭 物联网统一标识势在必行        随着物联网异构系统之间的信息融合和共享的需求日益强烈，以物联网统一标识为纽带的大数据时代已经来临。大数据是建立在历史数据的基础上，预测未来的数据；通过数据分析和挖掘，找出与数据相关的规律，为决策提供依据；它是商业模式的核心，大数据正在以各种方式创造价值；大数据时代将使得以往像流水一样流失的信息，被收集、分析整理成有价值的数据。        物联网编码标识属于基础性的关键技术，由编码、数据载体、数据协议、信息系统、网络解析、发现服务、应用等。随着物联网技术的发展尤其是各领域日益广泛的应用，物联网中的编码标识已成为当前的焦点和热点问题，各个国家和国际组织都在尝试提出一种适合于物联网应用的编码。国家物联网编码标识项目组将重点致力于我国物联网编码标识的基础技术标准制定、物联网在各个行业领域的编码标识体系制定，以及推广应用等工作。        物联网统一标识体系包括Ecode方案（Entity⁃code）、数据标识、中间件、解析系统、信息查询和发现服务、应用模式等部分组成，是一个完整的技术体系，称之为Ecode标识体系。        当前，我国物联网编码标识方面存在的突出问题就是各应用编码标识不统一，方案互不兼容，无法实现跨行业、跨平台、规模化的物联网应用。因此，当前急需在我国自主提出的物联网 Ecode 标识体系方案基础上，开展国家物联网标识管理与公共服务平台建设，并与各种行业或企业级物联网平台形成对接机制，以标识平台为枢纽，构建跨行业分布式的大数据中心，来支撑各个行业的物联网应用，推动我国物联网标准化和深度应用稳步有序发展。统一和兼容的方法        物联网统一标识技术体系的研究，是今后实现标识兼容并打造国家物联网统一标识管理公共服务平台的理论基础，是支撑物联网示范工程和产业化发展的前提。        物联网统一标识是物联网建设的基石。当前，我国物联网编码标识存在的突出问题是编码标识不统一，方案不兼容，无法实现跨行业、跨平台、规模化的物联网应用。在国内物联网示范工程的应用中，采用各自系统的编码方案，当需要实现跨系统、跨平台、跨地域的互联互通时，就会遇到编码标识不统一这一瓶颈问题。随着物联网应用的深入，跨系统、跨平台、跨地域之间的信息交互、异构系统之间的协同和信息共享会逐步增多，建立统一物联网编码标识体系已成为共识。        2010 年，国家物联网基础标准工作组由国家发展和改革委员会与国家标准化管理委员会共同批准成立，其下设物联网总体架构、标识和信息安全三个项目组，中国物品编码中心为国家物联网基础标准工作组标识技术项目组组长单位，目前成员单位 60 多家，标识项目组致力于开展我国物联网统一标识技术体系的研究与标准制定。        物联网统一标识体系是在深入研究了国内外各种标识技术现状基础上，结合我国物联网示范工程和行业应用需求，在国家物联网基础标准工作组标识项目组成员单位的专家共同努力下，提出自主可控并适合我国物联网应用的统一标识体系的方案。物联网统一标识技术体系方案的研究，是今后打造国家物联网统一标识管理公共服务平台的理论基础，是支撑物联网示范工程和产业化发展的前提。 物联网标识体系模型         研究物联网统一标识体系首先要明确物联网中物的概念，物联网的“物”是指存在（Entity），也可叫做实体，包括物理实体和虚拟实体；具体而言可以指人、对象、位置，其中人可以是法人或自然人，对象可以是物理对象、网络资源、软件和内容。        物联网统一标识体系包括物联网统一编码（Entity code，Ecode）、数据标识、中间件、解析系统、信息查询和发现服务、应用模式等部分组成，是一个完整的体系，(如图1)。物联网统一编码（Ecode）根据物联网的编码现状，总结提炼出具有共性的特征，在兼顾各种标识方法特点的情况下提出科学、合理、符合我国国情并能够满足我国当前物联网发展需要的提出一套编码方案和统一的数据结构，既能实现物联网环境下对“物”的唯一编码，又能针对当前物联网中多种编码方案共存的现状，兼容各种编码方案。物联网统一编码是适用于物联网各种物理实体、虚拟实体的编码。物联网统一编码方案应遵循如下原则：唯一性原则，物联网统一编码是对实体的唯一性标识，这个唯一性既可以是全局唯一，也可以是局部唯一。兼容性原则，物联网统一编码能实现对现有各应用领域中已在的编码方案的兼容，通过建立各种映射规则和编码映射关系，支持已经存在的各种编码。可扩展性原则，物联网统一编码要具有可扩展功能，给出扩展机制。如果未应用有扩展需求，可提供合理的扩展方案。安全性原则，物联网统一编码要考虑标识的安全性，通过编码加密/解密技术及传输协议，支持标识能够在特定的应用场合不对外显示标识对象的任何信息。实用性原则，考虑未来物联网海量信息的特点，为降低信息搜索发现复杂性、减少查询冗余、实现高效物联，代码结构码段不能无限延长。        简单的说，Ecode 编码方案，就是在原有编码基础上增加编码体系标识——Numbering System Iden⁃tifier(NSI)，为了确保编码具有全局唯一性，NSI 需要统一注册和管理。        NSI 的分配原则：1.该编码系统有特定的数据结构，这个特定的数据结构需要用标准来确定，可以是国家标准、行业标准、地方标准、或企业标准；2.明确的法人管理机构，也就是该编码需要有一个明确的主体进行注册和维护；3.特定的应用范围，该编码需要在某一领域取得一定规模的应用。        但是，对原有的编码系统，有了新的NSI 如何进行标识和识别，这是一个棘手的问题。对此，我们将情况分为以下几种，第一情况是如果对于全新对象的编码，或者可以在原有编码基础上，进行重新标识，我们强烈建议原有编码和该编码的NSI 作为一个整体，采用条码、二维条码或者 RFID 标签进行标识。第二种情况，原有编码已经在应用，短时间内无法改变其编码结构和载体，建议在该编码的载体之外，再增加一个承载有 NSI 的新标签贴在原标签之外，如下图。   NSI LOGO         当然，除此之外，针对具体的应用，还可以通过数载体标识符和编码绑定的模式来实现编码体系的识别，从而系统识别出该编码的 NSI，数 据 载 体 标 识 符 是 国 际 标 准 ISO/IEC 15424 中规定的，目前市场上的条码识读器绝大多数都支持这个标准，这种方式只适合少数编码系统。        此外，中国物品编码中心在基于 Ecode 标识技术体系，在制定系列标准的同时，也正在加紧建设国家物联网标识公共服务平台，未来可以通过识读器的中间件来判断编码的NSI。总之，解决物联网编码的统一，是在兼容的基础上，在编码层、载体层、中间件层等多种方式来综合实现。 亚马逊:实现个人云存储服务        亚马逊低调在中国上线了个人云存储服务 Cloud Drive，每 个 用 户 拥 有 免 费 的 5G 空间。用户可以通过网页或者本地电脑客户端（支持 Windows和 Mac）将 文 件 上 传 到 CloudDrive，单个文件不能超过 2G。此次推出 Cloud Drive 意味着整个亚马逊的服务离中国消费者更近了一步。亚马逊网络服务所提供的服务包括：亚马逊弹性计算网云（Amazon EC2）、亚马逊简单储存服务（Amazon S3）、亚马逊简单数据库（Ama⁃zon SimpleDB）、亚马逊简单队列服务（Amazon SimpleQueue Service）以及AmazonCloudFront等。淘宝网:打造大数据王国        淘宝网的数据以及流量产生的核心是围绕着买卖双方的交易展开的，以此向外扩展，衍生出海量的相关数据与信息。同时，也正因为这些数据、信息都与交易相关，因此也形成了极具商业价值的数据信息，为淘宝网建立自身的数据“生态圈”奠定了基础。        淘宝通过多年的数据积累，掌握了这些数据的运用方法，将其商业价值做到最大化的开发，针对不同群体提供不同服务，进而实现从“单纯的交易平台到‘生态圈’基础服务提供商”角色的转变，完成其由平台销售向数据销售的盈利模式转变的目标。通过对多源数据的采集以及对这些数据进行的分类存储、管理与分析，淘宝实现了从数据信息到数据产品的转换过程，形成了针对不同使用群体的多项数据产品。从而在更大程度上改变了电商行业的产业链与市场格局。京东商城：实现物流可视化        配送是电商供应链中最后的环节，也是“最后一公里”竞争的关键。京东商城早在去年就通过利用物联网信息系统—GIS（GeographicIn formation Sys⁃tem，地理信息）来实现物流可视化体验：传统的线下店，用户可以看到摸到商品，眼见为实的体验是电子商务无法代替的。        “GIS系统在技术上，不是特别难。”京东和一家提供地图服务的公司合作，将后台系统与地图公司的 GPS（全球卫星定位）系统进行关联。在包裹出库时，每个包裹都有一个条码，运货的车辆也有相应的条码，出库时每个包裹都会被扫描，同一辆车上包裹的条码与这辆车的条码关联起来。当这辆车在路上运行时，车的GPS与地图就形成了适时的位置信息传递。        由此可见，随着数据的快速增长所带来的数据存储、处理、分析等方面的需求也日益增大。对于IT、电商企业来说，充分发挥数据在获取、存储、搜索、共享、分析和可视化等方面的作用，实现数据智能分析成为企业提升竞争力的必要工具。如何以数据有效支持企业决策和业务发展，实现大数据的商业价值，成为IT、电商企业未来发展的重点。