基于无服务器架构的边缘AI计算平台

基于无服务器架构的边缘AI计算平台

刘 畅 毋 涛 徐 雷

中国联通研究院 北京 100176

摘　要 随着人工智能(AI)技术的发展，AI技术正在逐步参与到人们工作和生活的方方面面。但是，AI技术对计算资源和存储资源都有非常高的要求，传统的网络结构已经逐渐不堪重负。MEC边缘计算技术为了缓解传统网络的压力应运而生。文章利用MEC技术，结合无服务器架构(Serverless)这种无状态的事件触发式运行的第三代云计算技术，对传统的网络结构进行了改进，提出了一种新型的计算模型，并以AI计算平台为例，对系统的计算资源和存储资源都有显著的加速效果，进而更好地满足了AI计算平台的需求。关键词 无服务器；边缘计算；人工智能

1 AI计算平台

1.1 AI的定义

AI(Artificial Intelligence)即人工智能，是计算机科学的一个分支领域[1]。1956年夏季，以麦卡赛、明斯基、罗切斯特和申农等为首的一批有远见卓识的年轻科学家在一起聚会，共同研究和探讨用机器模拟人类智能的一系列相关问题，并首次提出了“人工智能”这一术语，它标志着“人工智能”这门新兴学科的正式诞生。

尼尔逊教授对人工智能下了这样一个定义：“人工智能是关于知识的学科，一个关于怎样表示知识以及怎

软硬件来模拟人类某些智能行为的理论、方法和技术。

1.2 AI计算平台

AI计算平台的目标是通过大量的历史数据训练得到一个尽量贴合应用需求的模型，然后通过不断的迭代优化完善模型，最终使该模型在应用推理过程中的结果最贴近期望值[2]。在训练过程中，AI计算平台需要大量的计算，才能保证模型的时效性和准确性，所以需要将系统部署在一个大型的计算集群中，云计算服务刚好满足这种需求，部署在云中是目前主流的部署模式。如图1所示，AI计算平台主要分为三个部分。

󱓊⭞󱧞⨼样获得知识并使用知识的科学。”而另一个美国麻省理工学院的温斯顿教授认为：“人工智能就是研究如何使计算机去做过去只有人才能做的智能工作。”这些说法都很好地反映了人工智能学科的基本思想和基本内容，即人工智能是研究人类智能活动的规律、构造具有一定智能的人工系统，研究如何让计算机去完成以往需要人的智力才能胜任的工作，也就是研究如何应用计算机的

󱮦󱦤␻⨼󱮦󱦤䳼󱡆󱮦󱦤󰨎󱦘󱮦󱦤󱖈㓜󱮦󱦤人󰼺⨼⁗󰷁󱶺󱔰⁗󰷁󱓊⭞⁗󰷁Վ󰥌⁗󰷁䇣㓹Ӈ󰀃󰀃󰀃󰀃󰀃󰀃󰀃󰀃󰀃󰀃ㄥ䇗㇍䳼㗚图1 传统AI计算平台45

系统与方案System & Solution

1)数据预处理。AI建模所使用的数据源通常是海量的大数据，这些数据的维度众多，数据质量参差不齐，甚至还有很多垃圾数据以及不完整的数据，如果不进行处理，会给建模的过程带来很大的困难，也会影响模型的准确程度，所以，在AI的建模过程中，数据预处理是非常重要的工作。数据预处理主要包括数据清理、数据集成、数据变换以及数据归约，最终把它归类到AI的计算模型中。

2)模型训练。目前，针对不同的应用有不同的训练算法，模型的训练首先要选择与应用相匹配的算法。在选择了合适的算法之后利用计算集群强大的计算资源结合历史数据对模型不断的迭代优化来形成最终的AI模型、算法公式以及一些相关的参数。随着应用过程中数据的不断累积，模型还可以不断地进行优化，以使计算结果更加接近期望值。

3)应用推理。在实际的应用中，将实际数据带入上面第二步训练得到的模型进行推理计算，可以得到期望的推理结果。

片时，就会产生一个事件，这个事件会触发云函数的运行；例如和API网关的对接，也可以作为事件来源，在用户的HTTP请求到达网关之后，API网关会把该请求作为事件转发给云函数，触发云函数的运行，云函数拿到请求之后进行处理，生成响应给到用户。

如图2所示，Serverless的运行方式是按需运行，仅在设定的触发器上有事件产生时才会运行。图中左侧，是用户将代码和配置提交到Serverless平台进行保存，当设定好的事件产生后，针对每一个事件都会拉起一个函数实例，实现触发式运行。

ԙ⸷䞃㖤ӁԬ󰠳󱮦󱇔󰗁󱇔󰗁6HUYHUOHVV󰀃󱒩󰨦󱇔󰗁󱇔󰗁图2 Serverless平台工作流程2 无服务器架构

无服务器(Serverless)架构可以分成两种类型[3]。一种是BaaS(Backend as a Service，后端即服务)，例如消息队列、CDN、云对象存储、云数据库等，这些服务主要是承载数据的存储。另一种是FaaS(Function as a Service，函数即服务)，这种方式主要是承载用户的计算功能，更多是对用户的计算进行托管。第二种方式是无服务器架构的核心技术点。

本文主要介绍采用FaaS方式的架构。采用此种架构，用户首先要将代码和配置提交到云平台上，代码即用户为实现某一个函数功能编写的一份代码或者代码包；配置则是指本身对于函数运行环境的配置，使用的是哪种环境、所需的内存、超时时间等，以及触发函数运行的触发器的配置。因为整个FaaS的运行方式是触发式运行，触发就需要有一个事件来源，而事件来源可以有很多种。例如当用户上传一张图片或者删除一张图

因为函数本身是托管型的，用户本身无法感知到实例在哪里运行。Serverless平台背后有个大的计算资源池，用户实例触发之后，平台会从资源池中随机选取可运行的位置，把用户的函数实例在对应位置上跑起来。因此，整个调度过程或者事件来临之后的函数运行环境的扩缩容过程，都是由平台进行的。对用户来说，调度的粒度更细了，而且调度也都托管给平台了，用户自身只需考虑功能的实现，而一切和运维相关的问题都可以由平台的提供商来解决。

3 MEC技术

MEC(Multi-Access Edge Computing)即多接入边缘计算[4]。ETSI对MEC的标准定义是：在网络边缘提供IT服务环境和云计算能力。就是将应用、内容和核心网的部分业务处理和资源调度的功能一同部署到靠近接入侧的网络边缘，通过将业务靠近用户处理，以及应用、

46

Systems & Solutions系统与方案

内容与网络的协同，来提供可靠、高效的业务体验。

近年来，随着AR/VR、车联网、高清视频以及物联网等应用的兴起，传统的网络结构已经逐渐不堪重负，因此催生了MEC的出现，将网络业务“下沉”[5]到更接近用户的无线接入网侧，从而带来三个好处[6]。

1)用户感受到的传输时延减小；2)网络拥塞被显著控制；3)更多的网络信息和网络拥塞控制功能可以开放给开发者。

4.2 MEC技术加速AI计算平台

在利用无服务器架构对存储过程进行了加速之后，我们仍需要想办法对计算过程进行进一步加速。对于传统应用来说，数据在终端侧产生，上传到云端进行处理并保存结果。在AI的推理阶段，需要频繁地利用数据模型进行推理运算，但是计算量并不是很大。如果每次计算都要将数据上传到云端进行处理，不但增加了数据处理的时延，也给整个网络带来了不小的压力。

如图4所示，利用MEC技术可以使处理过程更加靠近用户，把一部分计算资源下放到靠近用户的网络边缘。传统的云计算方式，无论是使用容器，或是使用云主机，运算能力都是集中部署在云端的，而边缘计算技术可以把运算能力下放到中心云端之外，使计算能力更接近真正的用户，更加靠近设备端，免去了数据从终端到云端的传输过程，从而使计算过程可以尽快地在较近的计算节点中进行处理。因此，利用MEC可以将AI计算平台推理计算过程的时延进一步降低，也增加了系统的可靠性。

Ֆ㔕󰼺⨼䗽ぁ󱮦󱦤㕉󱆎󱮦󱦤󱆎󰛞󱮦󱦤󰼺⨼Ӈㄥ0(&󰼺⨼䗽ぁ󱮦󱦤󰼺⨼4 基于无服务器架构的边缘AI计算平台

本文在传统的AI计算平台基础上进行创新，提出了一个新的基于无服务器架构的边缘AI计算平台方案。本节首先分别介绍引入无服务器架构以及引入MEC技术对AI计算平台的改进情况，之后对整体方案进行介绍说明。

4.1 无服务器架构加速AI计算平台

如第二节所述，从整个的计算过程来说，对于传统的数据存储过程，数据产生后，会先把数据进行缓存或者存储，比如以对象存储文件的形式进行保存，或者在数据库中以结构化形式存储下来，之后再进行分析及应用。

利用无服务器架构后，计算过程可以有很大的加

䗯㕎㢸⛯ӁԬ䀜󰨇速。如图3所示，可以在事件产生的时候就立刻拉起运

󱮦󱦤䟽䳼㔉󱷒󰖵⭞󱮦󱦤䟽䳼㔉󱷒󰖵⭞㓾ㄥ䇴󰼽行实例对数据进行处理，因此整个处理过程就变成了先计算，再对结果进行保存，从而加速了数据的存储以及后续调取的过程，也大大节省了存储需要的空间。因为AI计算平台在模型训练的过程中需要频繁地对数据进行计算和存储，所以引入无服务器架构可以显著提高计算平台的性能。

Ֆ㔕󱷬󱶺󰼺⨼䗽ぁ󱮦󱦤ӝ⭕󱮦󱦤㕉󱆎󱮦󱦤󱆎󰛞󱮦󱦤󰼺⨼㔉󱷒󰖵⭞图4 利用MEC技术加速AI计算平台4.3 基于无服务器架构的边缘AI计算平台

构建一个AI计算平台通常包括三个步骤。第一步是对预处理后的数据进行训练。第二步是验证测试数据的准确率情况。这两个步骤需要多次的迭代重复，直到使该算法实现了预期的精度。通过每次的迭代过程，算法可以学习到更多的数据并发现新的模式，这可以使模型的效率和准确率都得到提升。这两个步骤最终得出的是

6HUYHUOHVV󱷬󱶺󰼺⨼䗽ぁ一个机器学习模型，它的参数被不断调整以处理后续产

󱮦󱦤ӝ⭕󱮦󱦤󰼺⨼㔉󱷒󰖵⭞生的未知数据。第三个步骤也是最后一步，就是使用数据调用模型来计算预期的结果，这可能是基于新数据的

图3 利用无服务器架构加速AI计算平台47

系统与方案System & Solution

预测、分类或分组。

前两个阶段因为涉及到机器学习所以需要大量计算工作，这需要由部署在云端的大量计算资源来满足。但是，第三个阶段的应用推理过程却不需要很多资源，所以非常适合将这部分功能部署在边缘设备上。它是一段代码，其中包含了计算的模型以及基于前两个阶段训练和验证的一系列参数。基于这些预定义的参数，它将在有新数据到来的时候对其进行分析。

如图5所示，本文提出了一种新的系统模型，在构建AI平台的前两个阶段，利用Serverless框架，使训练和测试模块可以按需触发式执行，节省了这个阶段的计算过程和存储过程，也简化了云端的运维工作。在第三阶段，利用MEC技术将AI平台的推理模块下放到网络边缘设备上，从而加速了计算过程。在终端侧有AI计算需求时，部署在网络边缘的Serverless框架可以按需建立AI推理计算实例，可以在请求量抖动时按需进行资源的扩缩容，使整个平台的资源利用率更高，稳定性更强。

过程都有显著的提速，而且也简化了系统的运维工作。

5 挑战和未来研究方向

利用Serverless框架和MEC技术，很好地解决了AI计算平台目前面临的问题。但是，在为我们带来便利和效益的同时，它还存在一些问题和挑战[7]。

1)计费问题。由于在部署边缘计算平台时将服务下沉到了网络的边缘，流量在边缘节点上进行了本地化卸载，而没有通过一个核心的节点，因此计费的功能很难实现。对于该问题，目前各公司已经有了自己倾向的解决方案，但是仍然没有统一的方案，移动边缘计算平台的标准化工作也尚未涵盖该部分。该问题需要设备供应商、OTT、运营商等多方的共同努力并积极探索。

2)安全问题。由于服务的下沉也带来一些安全问题，例如可能存在一些不受信任的终端或移动边缘应用开发者的非法接入问题，因此需要在接入侧和边缘计算节点之间建立鉴权流程以及安全的通信隧道，以保证数

䇣㓹󱇔󰗁󰀔僂䇷󱇔󰗁󰀔据的机密性和完整性，并保证网络的安全。

䇣㓹󱇔󰗁󰀕󰡑󱔰󱇔󰗁䘑㺂䇣㓹ф僂䇷僂䇷󱇔󰗁󰀕参考文献

䗉󰠰䇣㓹󰩄Ⲻ⁗󰷁󰨀󰧸󱮦䈹󱓜⁗󰶍䴶㾷󱈯⁗󰷁䘑㺂Վ󰥌с󰨇⁗󰷁󰨀󰧸󱮦[1] 朱馨桐.人工智能时代的伦理挑战与应对之策[J].价值工程,

2018,(4): 268-269

[2] 史加荣.深度学习的研究进展与发展[J].计算机工程与应用,

󱧞⨼󱇔󰗁󰀔󱧞⨼󱇔󰗁󰀔2018,(10):1-10

[3] 黄文俊.腾讯云微计算实践:从Serverless说起,谈谈边缘

计算的未来[EB/OL].[2018-09-12].https://blog.csdn.net/qcloudcommunity/article/details/79388590

[4] 李子姝.浅谈移动边缘计算[EB/OL].[2018-09-12].https://

䗯㕎㢸⛯󰀔󱧞⨼󱇔󰗁󰀕䗯㕎㢸⛯󰀕󱧞⨼󱇔󰗁󰀕㓾ㄥ䇴󰼽㓾ㄥ䇴󰼽㓾ㄥ䇴󰼽㓾ㄥ䇴󰼽㓾ㄥ䇴󰼽www.sdnlab.com/19491.html

[5] 徐翔.分布式移动云计算中基于移动行为分析的计算卸载

策略研究[D].北京邮电大学,2016

[6] 林州波.万物互联时代:边缘计算的机遇与挑战[J].上海信息

化,2018,(1):10-14

图5 基于无服务器架构的边缘AI计算平台综上，尽管AI计算平台的训练和验证阶段需要在拥有大量计算资源的云端进行，但推理阶段可以通过边缘计算技术在网络的边缘设备上进行计算，再加上与Serverless架构的结合，对整个平台的计算过程和存储

[7] 王熙.5G铺路,边缘计算助力人工智能提升整体可靠性[J].

通信世界,2018,(5):20

48

Systems & Solutions系统与方案

作者简历

刘 畅

硕士研究生，工程师，主要研究方向为云计算、SDN/NFV、边缘计算等。

毋 涛

硕士研究生，高级工程师，主要研究方向为云计算、SDN/NFV、边缘计算等。

徐 雷

博士，高级工程师，云计算与信息安全研究中心副经理，具有云计算与边缘计算研究、解决方案设计、系统开发经验。多次获中国通信学会科学技术奖、中国物流协会科技进步奖；参与编写中文论著3部，英文论著1部；发表核心及以上级别刊物论文20余篇；授权专利5项、软件著作权21项。

Edge AI Computing Platform Based On Serverless Architecture

Liu ChangWu TaoXu Lei

China Unicom Research Institute, Beijing 100176, China

Abstract With the development of artificial intelligence (AI) technology, AI technology is gradually participating in all aspects of people's work and life. However, AI technology has very high requirements for computing and storage resources, and the traditional network structure has gradually become overwhelmed. MEC edge computing technology came into being in order to alleviate the pressure of traditional networks. This paper uses MEC technology, combining with the third-generation cloud computing technology of stateless event-triggered operation such as serverless, improves the traditional network structure, and proposes a new computing model with AI. As an example, the computing platform has a significant acceleration effect on the computing resources and storage resources of the system, and thus better meets the needs of the AI computing platform.Keywords Serverless; Edge Computing; Artificial Intelligence (上接44页)

Live Video Delivery Mobile Network with Multi-Access Edge Computing

Jia QingminLi Zishu

Li ChengchengXie RenchaoHuang Tao

Beijing University of Posts and Telecommunications, Beijing 100876, China

Abstract The research and application of MEC bring a new opportunity for live video delivery in mobile network by providing computing, storage, and network resources at the edge of mobile network near users, thus improves the performance of live video delivery. Hence, live video delivery in mobile network with MEC has attracted wide concerns from academia and industry. This paper launches a full investigation of the video live application scenario and proposes a novel collaborative MEC mobile network live streaming video delivery mechanism to reduce the time delay and ensure user quality of experience (QoE).Keywords Multi-Access Edge Computing; Mobile Network; Live Video Delivery; Collaboration 49