8月22日-8月23日,2019全球闪存峰会(Flash Memory World)在杭州召开。腾讯云智天枢人工智能服务平台高级产品架构师、AI博士腾讯郭律发表了《无数据不智能,AI应用开发中的数据难点与解决方案》的主题演讲。
演讲嘉宾介绍:郭律,AI博士,腾讯云智天枢人工智能服务平台高级产品架构师。主导腾讯云AI服务平台产品的规划设计。从上海交通大学模式识别与智能系统专业博士毕业后,先后就职于IBM、普华永道、第四范式从事IT架构、咨询、AI解决方案设计等方面的工作,对AI与政企业务场景的结合与落地具有深刻理解。
以下内容根据速记整理,未经本人审定。
郭律:大家下午好,非常荣幸有机会可以来分享腾讯云对于AI、AI在产业中的落地,应用开发中的落地,以及关于腾讯的一些观点。
我叫郭律,来自于腾讯,腾讯云智天枢人工智能服务平台,是这个平台产品架构师。这个平台目标讲其实是用于解决AI应用开发出来到最后应用开发中,就从AI模型训练出来到最后应用开发好以后,然后投入生产中使用后一公里,我们是目标为了这个里面的一些问题。
今天的交流主要分为三个部分:第一部分谈一下对产业+AI的理解,今天的主题是说AI应用的落地,就是说如何把AI在产业中用起来,那就是产业+AI的理解。第二,企业在做AI应用的落地中,我们发现的在AI产业落地中可能跟数据有关的一些难点。第三,结合自己在实际的应用开发中发现的这些难点如何解决,最后沉淀下来去做这样一个工具来解决这一块的问题。
首先来讲智慧产业在企业数字化转型。我们认为是这其实就是一个趋势。早年的时候,最开始英国工业革命机械化、自动化,接下来2000年初的时候,计算机普及、信息化、然后互联网化、移动互联网化,到现在这个阶段2016年开始,智能化慢慢普及起来了。我认为这是我们在这个事情大的背景。
具体而言的话,我们认为其实企业里面AI用能到地方方方面面,包括产品生产,如何去降低研发成本。我们之前帮制药的企业做药物的分子,然后再做设计的时候需要做精心设计,这个时候用人工智能模拟不同的机型,可以大大降低药物研发的成本,加快研发的速度。这是在产品设计生产的时候有帮助一些工业的企业通过这个图象识别的技术做一些缺陷检测这样的功能。
在营销、物流领域,现在推荐个性化的广告这个事情非常多了。其实我们就认为做这个事情生产各个方面都是可以人工智能,具体怎么用,我们可以看到在能看到企业的IA应用中几个类型:
第一种类似是计算机代替人的眼睛和耳朵来看和听。这种具体应用很明显,图象识别、语音识别、这些都是属于看和听。自然语言理解,让计算机去懂,获得外界非结构化的信息可以理解下来。
第二块应用就是智能交互,就是除了看,除了听以外,还能给出一些反馈。比方说目前比较火的机器人,包括知识图谱有很多这样的一些功能,去获得外界一些信息,然后去根据外界信息通过计算机自己去判断,然后给出反馈。
第三块,智能决策。就是说主要是指除了可以获得信息,反馈信息基于获得和反馈重新获得这些信息做一些决策和判断,比较类似于银行做的信用卡支付反欺诈,包括工业做一些工业设备的预测性维护,这些事情其实都是属于我们认为计算机做决策这样的实例。
总体而言,AI可以来帮忙产业做提升。具体怎么提提升法?总结下来三点:降本增效、创新,后面会一一用例子解释什么叫降本,怎么叫创新?
第一个降本的例子,降本增效和创新对于企业而言应该一个从低层次的诉求向高层次诉求往上走,现在可能降本增效多一些,创新的会少一点,但是我们相信后面会越来越多。
降本这一块,帮保险公司做智能和保的案例,具体怎么来做?在以往的时候保险公司里面如果集中运营的中心经常会有大量的人去录保单,做初审判断这些事情。除了报单信息以外还有很多寿险提醒报告,还有医院诊断通知书一类的内容。对于保险公司而言量太大,每个信息收集回来的话,成本太高了。对于保险公司怎么做?就是拿到这些报告,把认为几个点或者是十几个点信息收购录进来,提交一份报告采集出来结构化信息有价值的信息,大概有2000项。也就是说100倍及保险公司因为成本的限制,可能丢失掉100倍的有用的信息,全部堆在档案库里面。
做智能核保的时候,我们主要用了OCR+NLP+分类引擎,相当于除了保单信息进来以后,把体检这些其他的信息全部都结构化,再做一个大的核保引擎,录进去全部信息,通过模型去算。下面有例子,最左边的图实际就是结构化出来的信息,外边是体检报告。这边是健康的建议,比方说有什么风险是无,还是低风险,还是高?最右边就是核保结论,给一个建议。
第二块提升效率。帮北京地铁做安检时候的一个案例,也就是说过去安检检查违禁物品都是靠人去看的,我们把几十种这样的一些违禁物做训练,训练以后机器把特性提示出来。效率提高了20%,准确度达到了95.5%,提高安检的速度。大家感觉过一个安检仪耗时很长,这样的技术手段可以改善感受,右边有一个图可以看到,用了这套技术以后,在高峰期基本上这个每小时通过可以通过200个。
还有一个提升效率的场景就是帮地铁站做的人流监控。有很多的传统摄像头,以往基本上靠人去做,因为出来全部是模拟影像数据流,都是靠人去去保安室去看,其实也做不出什么分析的东西。我们做的事情根据影像信息流用AI模型数人头,可以判断地铁战每个区域里面的人流密度,根据这个人流的密度调整地铁站里面不同的通道的开关,可以帮地铁站做疏导分流的决策。
创新这一块其实现在来看会有一些比较有意思的,比方说讲药物做一个分析,在腾讯做得比较多。大家知道视频、微信早几年这些基于AI做小的创新场景的应用。
这么多的应用其实落地的时候遇到一些难题,怎么来看这些难题,怎么来解决这些难题?
人工智能应用开发与人工智能产业落地的挑战,我们认为主要五个方面:
第一,应用本身。也就是说场景越来越复杂,以往做一个应用可能只设计一个AI模型就够了,越往后AI模型串接会越多,有一些涉及到里面一些分支、分杈不同的东西。这样会带来以往用烟囱式应用,这有点像早年的时候很多大的企业级架构,系统太多,烟囱式数据隔离了,系统之间的集成特别复杂。这个在未来AI应用越来越复杂也会有这样的问题。
基础设施的问题。大家知道做AI的应用,不管是训练,其实对计算资源的要求非常高,比方说现在最近这几个月比较火的NRP模型,这个模型觉得很好用,可以很快训练出一个理解的模型,效果也很好。
这个模型训练一下GPO成本都是好几十万美元,一般人肯定用不了。怎么样把这个成本训练成普通人可用的架构,这其实是需要考虑的一个问题。
数据的问题,在这边其实看到几个方面:AI模型对于数据的量和数据的质量都是很高的要求。
第二,你在训练模型训练好的以后,使用的时候有很多模型应用是包含了不同的AI模型,必然就会导致再使用这个应用的时候对这些不同的数据源就会存在很大一块应用开发的量,对于概念里面去做AI都是模型训练,数据科学家这种专门去研究算法,他们对于工程这一块东西不是特别擅长,这一块会出现提供AI的模型人,不知道怎么去关心怎么去数据集成进来。
应用这个模型的人就是客户,他会觉得做这一块的事情成本很高,很费劲。而且这一块的事情跟业务的关联不大,业务价值不高。例如,在一家面板厂做面板缺陷检测,他提了七类缺陷,七类缺陷对应的每一类缺陷可能有不同的品牌的机台,这样的出来同一个缺陷表象一样。也就是说对每一类机台缺陷单独建模,这样带来要建几十个模型,导致标注成本上百万。大家的共识就是得把这一块的成本下来,解决大量标注的问题,以及在模型上线后需要不断的迭代更新,否则效果会下降的。
迭代更新的时候如何把数据标注和迭代这一块打通,这其实也是需要考虑的问题。另外还有跟设备有关,因为现在大部分的AI都是会和图像、包括音频有关系,这个肯定涉及到图像的采集、包括OCR。这些都有设备,不同的设备其实标准比较多,如何接这些设备,是AI应用要去考虑的问题。
第二块基础设施的问题,大部分基础设施第一是说贵,第二这些异构基础设施如何托管,也是需要AI应用开发者考虑的问题。
第三,数据。不同的数据标准来自于国家、行业、来自于企业,还有数据标注的量特别大,以往源源不断的迭代就需要标注。
算法模型调优这一块,AI人工智能可以帮到我们,但是需要很大的建模的成本,需要很多人AI模型,一个模型是只能满足一个问题。问题一多需要很多的模型,必然来大量一个建模成本的提高,所有厂商定制化建模解决种AI的满足业务需求,其实都不太现实,因为成本太高了。
业界认为,解决人力的不足和大量这种多样化、定制化需求,他的途径其实有两套路。自动机器学习,这个是可以看到未来摆脱人力在建模瓶颈一套可选的路。第二条路就是外部的力量,通过生态、引入、外部合作方式解决这个问题。众人拾柴火焰高,其实这一块也是可以在做AI应用考虑的一个问题。
再往后就是一些技术的手段,通过迁移学习,把以前网络算法拿过来,强化学习,相当于可以去用奖惩机制提高模型的效果。
后面就是设备的问题,其实现在比较火一个概念就是云边端协同,以往模型是放在云端的,那么前端的可能设备也好,或者是终端采集回来的数据往后台丢,要么就是说可能有手机里面已经装了小的AI模型在里面,那么这里面属于端和云,现在的话最近提出一个概念,边缘计算。
我们会在边缘部署一个AI,它的好处会比端模型更复杂,但是它又会比云上的AI模型计算时候更快一点,因为更贴近场景。在这种情况下就会有大量的设备需要托管和管理的。
讲了一下我们对AI产业落地中五个方面的难点,接下来看一下腾讯云怎么解决这个问题。我们认为应对上面五个挑战,比如说应用场景,需要对应用去做服务化的托管,做一些标准化的封装。
另外,应用上面引入一些合作伙伴一起来做这个事情,涉及到合作伙伴的管理。接下来在资源这一层,我们认为可以去做一些引入微的服务架构,弹性伸缩,包括监控容器化这样的功能。包括对底层计算资源的一个托管,这样的话其实用的容器化隔离地层易购的资源。
对于数据,我们认为,其实异构的数据介入,还有不同的数据标准,数据标注。对于异构数据接入,我们的解决办法市面上罗列出来的数据源的适配全部,做到对于应用开发者而言不用关心。
对于数据标准的适配也是一样,我们会把一些主流标准、一些数据需要转化或者是适配的模板做好。数据标注就两条腿,对于不是特别敏感的数据可以这么做的。这个平台关注模型训练好以后应用就可以落地。
模型训练完成了以后部署的服务,包括如何去迭代。模型的评估作为腾讯算是权威第三方对不同来源的做评估,供应用开发者去使用。包括边缘的推理这也是需要解决的问题。
设备,主要做的几个事情,一是设备的接入、设备的适配、设备模型的定义,包括设备升级和设备状态监控。为了达到前面讲的这样一些能力,我们推出这样一款产品,云智天枢平台全栈式人工智能服务平台,这个平台结构是像B字一样。灰色的部分其实就是平台本身,上面和下面其实都是属于可以插在平台上面外部一些能力。下面这一层把腾讯内部的AI的能力,包括外部合作的模型能力,包括数据、设备接在这个平台上,上层可以基于原子能力通过服务化的调用和拼装做应用。这个平台主要会分成包含六个窗口,底层三个窗口算法仓库、设备中心、数据中心,分别管理托管算法原子能力,设备原子能力的数据原子能力。AI工作室把底层这些原子能力通过一些工作流的调度传接形成比较复杂的场景。
应用中心对这个封装好的工作流做应用,应用可以在托管。管理一些基础平台管理的功能。
这一块讲平台可以什么样的方式来使用?我们这边总结了有三种模式。
第一种模式AI中台方式,作为一个企业级的AI中台。
第二,某个客户对某个应用场景有需求。
第三,有些AI应用厂商技术比较牛,它可能需要腾讯云提供拿到AI原子能力就可以,比如说人脸识别、语音、语意,这种情况以这种平台作为模型托管的容器提供能力。
这边是平台的特性,我们认为有四个特性可以单独讲一讲。
第一自动化的算法接入,我们这边算法接入只需要点几个按钮就可以了。第二,全栈式的服务,从模型部署到模型的服务推理上线,反馈数据的采集、标注,模型的迭代包括设备的介入整个是打通的。第三,灵活定制。AI的工作室原子能力进行编排和调度的时候,其实需要少量的代码。通过可视化、选择配置就可以把一个工作流给配出来了。第四,对于云边端混合部署和服务调度,包括数据终端的模型怎么推到边缘,边缘的状态怎么回到云端等等这样一些功能,我们都是支持。这是我们认为平台的几个特点。
对于平台而言户,其实不只是说企业级客户,我们最早目标用户客户开发者,价值在于帮助开发者快速去构建应用,可以建模而言人分享自己的,获得自己的收入。
以上就是我今天分享的内容。谢谢大家!