作者：Qlik亚太区数据集成部门副总裁 杨沛艺
从数据迁移和数据仓储，到主数据管理和实时商业智能，关键 IT 计划的投入和成功与否，很大程度上都取决于数据集成的执行方式。数据集成平台通过提供高性能工具来收集、过滤和横跨多个存储点、同时移动不同存储点之间的数据，使得关键IT计划以及其他计划都能够轻松实施，甚至加快部署。
Qlik认为以下五点将成为数据集成领域中的五大发展趋势：
1、成为一家”实时企业”已是大势所趋
如果您打算部署嵌套数据集，您需要在正确的时间将信息传递到正确的位置。目前，全球领先的企业都在进行实时运作，因为很多项目的执行都对其监测的响应速度有着较高的要求，例如，监测市场活动的效果，发现涉嫌欺诈的异常现象，提供医疗保健和人道主义服务，进行现场个性化操作，甚至优化供应链等。近期，以下三项相关技术取得的突破将在2020年共同推动以上各方面的发展。
> 随时随地接入高速网络。得益于5G和IPV6技术的应用，我们具备实现超级连接的能力。
> 按需实现无限拓展的工作负载。随着所有数据纷纷向云端迁移，Kubernetes变得尤为瞩目。这一企业级的容器化应用能够合理安排资源分配，让正确的工作负载在正确的位置运行，即使是在边缘设备上也不例外。
> 强大的流式架构。由Apache Kafka等解决方案驱动的变化数据捕获（CDC）平台和实时数据流平台能够在低延迟情况下，高效地摄取和处理大量数据。
行业预测
到2022年，超过一半的主要新业务系统都将集成使用实时上下文数据来改进决策，以实现持续型智能。
—— Gartner
行业大事件
根据云原生计算基金会每半年发布一次的调查报告显示，四成拥有5000名或更多员工的企业表示，他们会将Kubernetes应用于其生产环境中。
—— Enterprisers Project
2、DataOps和自助服务带来全新敏捷性
由数据发现工具驱动的自助分析服务，使企业用户获得了最贴近他们需求的解决方案。但直到现在，在数据管理方面却还未实现同样的敏捷性。
DataOps衍生于DevOps，是一种自动化、面向流程的方法，能够提高数据管理质量并缩短数据管理周期，从而便于开展数据分析。得益于变动数据捕获（CDC）和流数据管道等技术，它还能够实现数据实时测试和部署的自动化。此外，它还能够利用随需应变的IT资源来支持持续的数据传递。如今，80%的数据应以这种系统化的方式交付给企业用户。进行这样的操作，我们就可以无需再单独准备自助服务数据。通过在操作端使用DataOps，在企业用户端使用自助服务，企业将能够更有效地体验数据在整个信息价值链上的流动，并实现数据的整合及分析，以便部署嵌套数据集。
行业预测
到 2020 年，业务部门的数据和分析专家数量的增速将是 IT 部门专家的 3 倍，这会迫使企业重新考虑其组织模式和技能。
—— Gartner
行业大事件
近期数据与分析市场的整合表明，这正日益成为一种必然趋势。
3、活动元数据目录为数据和分析提供支持
数据集的分布日益广泛，这对企业而言，是一项巨大的挑战，因为所有这些数据都需要进行编目和整合。如果放置不管，数据可能很快就会过时。数据目录会在这方面有所帮助，因此对数据目录需求的飙升并不足为奇。
其中一个颇具发展前景的解决方案是通过机器学习增强元数据目录。它们将数据管理从被动变为主动，甚至在跨混合/多云生态系统的情况下，也能保持数据的适应性和不断变化。本质上，这些元数据目录提供了必要的联结和管理，以满足DataOps和自主服务所需的敏捷性。此外，它们还包括信息个性化，即生成相关洞察和定制内容的基本组件。但是，为了集成分散的分布式数据，目录还必须可以在选择的分析工具环境之外发挥作用。
行业预测
到2023年，60%的企业将使用数据目录来统合数据发现、访问和智能化，并提高DataOps和业务结果的透明度和可信度。
—— IDC
4、像”Shazam”一样识别数据：这个可以有
著名的音乐服务应用 Shazam 能够通过设备的麦克风识别歌曲，从而开启一个发现目录。Google Lens 能够通过深度学习和视觉分析来识别动植物以及阅读和翻译文本等。亚马逊也推出了类似的技术，通过分析图片就能找到想要的衣服。然而，我们能够像 Shazam 识别歌曲那样识别我们的数据吗？
到2020年，嵌入整个信息价值链的人工智能将使分析系统中的算法能够更好地识别我们的数据、发现异常情况，并指出需要分析的新数据（但这还不是最重要的）。我们将能够指向一个数据源，并查看数据来自何处，使用者是谁，数据发生了多大程度的变化，质量是否良好等。无论数据规模如何，人工智能都能够从中获得更多洞察，并将数据整合与分析融为一体。
行业预测
到 2024 年，对于部署由机器学习驱动的数据管理、集成和分析解决方案的企业而言，其以数据为中心的员工的生产力将提升一倍。
—— IDC
行业大事件
亚马逊的 StyleSnap 使用机器学习为用户寻找相似的衣服和风格。
—— The Verge（美国著名科技媒体网站）
5、既有道德和又有责任感的计算目前至关重要
大多数技术飞跃在某种程度上都改变了我们周围的世界，并为我们开辟了更美好的未来。然而，一些”进步”可能会带来一些重要的隐患。算法会如何影响我们的隐私，以及影响我们的自由意志？从个人数据的不当使用到自动分析，利用这些数据的诱惑令人难以抗拒。
为了防范这个问题，相关法规陆续出台，如美国的《云计算法案》和欧盟的《通用数据保护条例（GDPR）》等，以确保云计算战略的合规。跨国公司受到的影响尤为明显，因为各国出台的法规各不相同。鉴于此，当前混合多云方法不再是一个可选项，而是成为了一个必选项。
当今时代，增强企业责任感变得更为重要。除了确保合规之外，企业还必须赢得并保持客户的信任。一旦一家企业被视为在客户隐私方面越线，则很有可能对其品牌造成不可挽回的损害。问题不只是某件事是否能做，而是这件事是否应该做。在企业中成立数字道德委员会是一种应对之策，可有助于实现风险最小化和回报最大化。从长远来看，企业需要将关注点从股东转向利益相关方。
行业预测
到2023年，超过75%的大型企业将雇用人工智能行为鉴定、隐私和客户信任方面的专家，以降低品牌和声誉风险。
—— Gartner
行业大事件
违规行为在过去的四年中增加了50%甚至更高，而2019年成为了”有史以来违规情况最严重的一年”。
—— TechRepublic （美国知名 IT 网站）
在这个充斥着海量数据的日益碎片化的时代，如果不对数据进行整合，数据分析将会受到影响。企业和分析专业人士必须使用支持数据整合和分析的方法、人员和技术来扩展他们的工具包。在基于数据分析来制定战略和实现创新，以及确保能够遵循纷繁复杂的法律法规方面，这一点尤其重要。
伴随着互联网经济的发展和大数据时代的到来，数据作为一种生产要素在国民经济发展过程中的重要性日益凸显。2020年4月，中共中央、国务院发布《关于构建更加完善的要素市场化配置体制机制的意见》，将数据作为与土地、劳动力、资本、技术并列的生产要素，要求”加快培育数据要素市场”，能够看出数据正成为科技创新的突破口。
当我们能够将数据进行整合，并让人们能够以改变行业规则的方式（部署数据镶嵌）使用数据时，我们就能够促进业务、人类乃至整个世界走向真正的变革。
关于作者
杨沛艺先生现任Qlik 亚太区数据集成部门副总裁，主要负责通过不同的渠道以及战略合作伙伴的合作，在亚太地区拓展 Qlik 的数据集成业务。
在”多云”时代，杨沛艺先生协助企业客户完成关键的数据整合工作，帮助他们将大量实时的、质量完好，直接服务于分析的数据传输到信息流、云平台以及数据仓库和数据湖中。
杨沛艺先生在企业软件行业有超过25年的工作经验，曾担任销售、专业服务和支持服务等多个部门的管理工作。加入Qlik之前，杨沛艺先生曾担任 Attunity 亚太地区副总裁（Attunity 于2019年5月被 Qlik 收购）。
杨沛艺先生拥有剑桥大学的硕士学位以及伦敦大学的计算机科学学士学位。
关于Qlik
Qlik的愿景是创建一个具备数据素养的世界，在这个世界里，所有人都可以运用数据来优化决策，解决最具挑战性的问题。Qlik的端到端数据集成和分析平台能够将企业任何来源的数据汇集在一起，从而使任何技能水平的使用者都能饶有兴趣地探索并且发现新的深度分析结果。企业使用Qlik能够更加深入地了解客户行为，重塑业务流程，发现新的收入来源，并平衡风险和回报。Qlik的业务遍及100多个国家，为全球5万多家客户提供服务。
