边缘计算入门 20 课¶
第 01 课: 边缘计算深度调研¶
新兴组织:
1. ECC(边缘计算联盟)
2. OpenFog(开放雾计算联盟)
3. IIC (工业互联网联盟)
4. OpenEdgeComputing.org (开放边缘计算联盟)
现有标准化组织:
1. OpenStack 基金会
2. ONF(开放网络基金会)
3. ETSI (欧洲电信标准化协会)
1. 为什么需要边缘计算¶
备注
物联网设备的大爆发,必然产生大量的数据,以及随之而来的数据处理和数据安全等需求,而这些已经无法通过传统云计算的集中式处理方式来满足。
网络带宽:
据 IDC 统计,到 2020 年我国数据储存量达到约 39ZB, 其中约 30% 的数据来自于物联网设备的接入。 据统计: 波音 787 每秒产生的数据超过 5GB 无人驾驶汽车每秒产生约 1GB 数据 因此,网络带宽正在逐渐成为云计算的一大瓶颈。 此外,未经处理的数据中可能包含大量的静态画面、空闲状态等冗余数据, 也极大的降低了网络带宽的利用率。
实时性:
海量的数据为云端分析的准确性提供了保障, 但传统模式下云端也必须与物理网设备联机数据和控制通路来处理数据和适时交互, 因此云计算平台的计算性能也正逐渐达到瓶颈, 无法满足新兴万物互联应用对延迟时间的要求,从而降低整个系统的可用性。
隐私保护:
云计算平台将医疗设备、网络摄像头等物理网设备 采集到的个人和家庭用户的隐私数据传输到数据中心集中保存, 传输、存储和使用路径过长, 不但涉嫌将大量云端应用无关的用户隐私数据泄露给第三方, 还存在黑客攻击、数据丢失等其他隐私风险,极大的影响了物联网技术的推广。
能耗:
云数据中心的能耗问题已经成为数据中心管理规划的核心问题。 环境 360 报告表明,仅我国数据中心所消耗的电能已经超过匈牙利和希腊两国用电的总和。 因此,通过将部分任务从云端迁移到设备端, 可以大大降低云计算数据中心的计算负载,进而达到降低能耗的目的。
备注
连接云端和设备端的中间战场已经成为重中之重,各种概念模型层出不穷,互相引用吸收,核心目的都是拉近云端和物联网终端的距离,降低网络延迟,提供新的服务。
2. 什么是边缘计算¶
2.1 边缘计算¶
Akamai 和 IBM 最早于 2002 年 5 月提出了边缘计算解决方案,虽说仅仅是为了使 Web 应用程序能够在网络边缘执行,但实际上与现在物联网和云计算领域的边缘计算也是一脉相承的。
备注
狭义上来讲,边缘计算是物理上接近于事物,数据和行动源头处的,相对于云计算而言的计算,又称近计算或者接近计算 (Proximity Computing)。云计算相当于大脑,边缘计算相当于身体各处的神经元。
备注
【维基百科】边缘计算是一种通过将计算应用、数据和服务的控制从某些中心节点(“核心”)带到另一个连接物理世界的互联网末端(“边缘”)的云计算系统优化方法。本架构中,数据经由各种传感器从物理世界传入,通过各种输出和控制器采取行动改变物理状态,通过在边缘执行分析和知识生成减少受控系统和数据中心之间的通信带宽。边缘计算能够利用相关联的物理设备之间的接近度和可能的关系。
备注
【OpenStack 基金会】边缘计算是为应用开发者和服务提供商在网络的边缘侧提供云服务和 IT 环境服务。边缘计算的目标是在靠近数据输入或用户的地方提供计算、存储和网络带宽。
备注
2015 年,卡内基梅隆大学、华为、英特尔等发起成立的 OpenEdgeComputing.org (开放边缘计算联盟),对边缘计算架构的定义如下:边缘计算提供了与用户非常接近的小型数据中心(边缘节点)。它通过与计算和存储资源的低延迟交互,仅距离用户一跳即可显著改善客户体验。
备注
2016 年,华为、英特尔、ARM、中国科学院沈阳自动化研究所、中国信息通信研究院和软通动力发起成立的边缘计算产业联盟 (Edge Computing Consortium,简称 ECC),对边缘计算的定义如下:边缘计算是在靠近物理或数据源头的网络边缘侧,融合网络、计算、存储、应用核心能力的分布式开放平台,就近提供边缘智能服务,满足行业数字化在敏捷联接、实时业务、数据优化、应用智能、安全与隐私保护等方面的关键需求。它可以作为联接物理和数字世界的桥梁,使能智能资产、智能网关、智能系统和智能服务。
2.2 雾计算¶
思科最早于 2012 年在论文中提出概念,作为云计算的延伸,从而将计算需求分层次、分区域处理,以化解可能出现的网络堵塞现象。随后,思科在 Cisco Live 2014 会议上发布了供开发者使用的于雾计算开发套件 IOx。
备注
雾计算,是一种分布式的计算模型,作为云数据中心和物联网(IoT)设备 / 传感器之间的中间层,提供计算、网络和存储设备,让基于云的服务可以离物联网设备和传感器更近。“雾计算” 的名字源自 “雾是比云更贴近地面(数据产生的地方)”。
2.3 多接入边缘计算 / 移动边缘计算¶
ETSI(欧洲电信标准化协会)是欧盟正式承认为欧洲标准化组织(ESO)的三个机构之一,在全球拥有超过 800 个成员组织,来自 66 个国家和五大洲,成员包括大型和小型私营公司,研究机构,学术界,政府和公共组织的多元化组合,例如微软、英特尔、思科、华为等。
备注
ETSI 的多接入边缘计算(MEC,原移动边缘计算)定义如下:多接入边缘计算(MEC)为应用程序开发人员和内容提供商提供云计算功能和位于网络边缘的 IT 服务环境,其特点是超低延迟和高带宽以及可以被应用程序利用实时访问的无线网络信息。
2.4 移动云计算¶
移动云计算是在 Open Gardens 博客上于 2010 年 3 月 5 日发布的一篇文章中定义的,被定义为 “移动云生态系统中云计算服务的可用性。这合并了许多元素,包括使用者、企业、家庭基站、转码、端到端安全性、家庭网关和启用移动宽带的服务。”(femtocell 是一个小型蜂窝基站 。)
备注
IBM 对移动云计算的定义如下:移动云计算利用云计算向移动设备交付应用。这些移动应用可以通过快速、灵活的开发工具进行远程部署。在 cloMobile 上,云应用可以通过云服务快速构建或修改。这些应用可以交付到具备不同操作系统、计算任务和数据存储功能的许多不同设备上。因此,用户可以访问在其他情况下不受支持的应用。
2.5 总结¶
边缘计算可以满足敏捷连接、实时业务、数据优化、应用智能、安全与隐私保护等方面的需求,具有如下基本特点:
1. 数据第一入口
边缘计算作为物理世界到数字世界的桥梁,是数据的第一入口,
拥有大量、实时、完整的数据,可基于数据全生命周期进行管理与价值创造,
更好的支撑预测性维护、资产效率与管理等创新应用,
同时也面临数据实时性、确定性、多样性等挑战。
2. 约束性
边缘计算产品需适配工业现场相对恶劣的工作条件与运行环境,
如防电磁、防尘、防爆、抗振动、抗电流 / 电压波动等,
以及工业互联场景的功耗、成本、空间等要求,
通过软硬件集成与优化适配各种条件约束,支撑行业数字化多样性场景;
3. 分布性
边缘计算实际部署天然具备分布式特征,
因此必须支持分布式计算与存储,实现分布式资源的动态调度与统一管理,
支撑分布式智能,具备分布式安全等能力;
4. 融合性
OT(控制技术)与 ICT(信息通信技术)的融合是行业数字化转型的重要基础,
而边缘计算作为融合与协同的关键承载,
需要支持在联接、数据、管理、控制、应用、安全等方面的协同。
3. 边缘计算可以用在哪里¶
备注
智能家居:通过家庭内部的边缘网关提供 Wi-FI、蓝牙、Zigbee 等多种连接方式,连接各种传感器和网络设备,同时出于数据传输负载和数据隐私的考虑,在家庭内部就地处理敏感数据,降低数据传输带宽的负载,向用户提供更好的资源管理和分配;
4. 边缘计算有哪些技术方案¶
4.1 开源方案¶
4.1.1 Cloud Foundry 平台¶
Cloud Foundry 是一款使用 Ruby 开发的开源 Paas 平台,由 VMware 于 2009 年开发,并于 2014 年 2 月转交给 Cloud Foundry 基金会管理,正式成为开源软件。遍布全球的财富 500 强企业中有一半以上(包括金融服务,政府办公室,汽车公司等等)都依赖 Cloud Foundry 来提高速度,灵活性和效率。
Cloud Foundry 基金会目前拥有 67 名成员,其中不乏谷歌、微软、Intel、思科、IBM、DELL、华为、EMC、VMware 等业界知名公司,并在全球拥有 2,400 名代码贡献者。根据研究现实,Cloud Foundry 占到 35% 的市场份额。Gartner 研究认为,Cloud Foundry 的总市值约为 28 亿美元,并将在未来几年轻松突破 50 亿美元。
目前,基于 Cloud Foundry 开发的工业 IoT 平台包括:
1. GE Predix 平台
2. 西门子 MindSphere
3. 博世 IoT Cloud
4. 霍尼韦尔 Sentience
除此之外,还包括如下物联网平台:
1. IBM Cloud(原 IBM Bluemix)
2. SAP 云平台(原 SAP HANA 云平台)
3. 华为 FusionStage
4.1.2 Linux 基金会 EdgeX Foundry¶
EdgeX Foundry 是由 Linux 基金会发起的 vendor 中立的开源项目,为物联网边缘计算构建了一个通用的开放框架。该项目的核心是在完整的硬件和操作系统无关参考软件平台中托管的互操作性框架,以实现即插即用组件的生态系统,从而统一市场并加速物联网解决方案的部署。
备注
EdgeX Foundry 专注于工业物联网边缘设备,即嵌入式 PC,集线器,网关,路由器和本地服务器等边缘节点。EdgeX Foundry 利用云原生原理(例如松散耦合的微服务,平台无关),但其架构可满足物联网边缘的特定需求,包括适应基于 IP 和非 IP 的连接协议,广泛分布式计算的安全和系统管理节点,并缩小到高度受限的设备。
EdgeX Foundry 专注于解决分布式物联网雾体系结构中 “南,北,东,西” 的关键互操作性挑战,可以完全在一个边缘节点上运行,也可以分布在多个节点上。
EdgeX Foundry 项目的一个关键原则是保持平台独立性,以实现最大规模:
1. 任何架构(如 x86 或 ARM)
2. 任何操作系统(例如 Linux,Windows,Mac OS)
3. 任何应用程序环境(任何语言编写的微服务通过通用 API 一起工作)
4.1.3 CORD 平台¶
CORD 是开放网络基金会(ONF)使用 SDN(软件定义网络)和 NFV(网络功能虚拟化)、云计算(OpenStack)等技术,为运营商创建的一个云原生,开放,可编程,灵活的数据中心开源软件平台。
CORD 核心利用数据中心中的 leaf-spine 分布式核心网络架构和白盒设备来重构运营商的端局,其中 leaf 叶节点负责连接服务器和网络设备,spine 针节点负责连接交换机,保证节点内的任意两个端口之间提供延迟非常低的无阻塞性能,从而实现从接入到云平台的敏捷服务。
CORD 现在包括 3 个面向不同市场的解决方案:
1. 面向 5G 移动边缘基站的分布式解决方案 M-CORD
2. 面向有线接入家庭用户的 R-CORD
3. 面向城域网和广域网上企业用户的 E-CORD
4.1.4 OpenStack¶
OpenStack 作为边缘计算云端平台特别具有吸引力,或者说在发展日渐面临一些困难的时候,边缘计算的浪潮,让 OpenStack 犹如又获得了一股新的推动力。
OpenStack 已经是分布式程度最高的基础设施软件,在全球数千个数据中心运行,并且许多电信和零售行业的用户都在努力通过 OpenStack 推进边缘计算用例。
4.1.5 Cloudlet (朵云)¶
Cloudlet,又称随我云(follow me cloud)、移动微云(mobile micro-cloud),派生于卡内基梅隆大学的 Elijah 项目,由 OpenEdgeComputing.org 组织推动,用于支持资源密集型和交互式的移动应用程序,满足增强现实应用、远程渲染的云游戏等低延迟、高带宽的需求。
4.1.6 ARM Mbed¶
ARM mbed IoT 设备平台是 ARM 物联网小组构建的包含公有云平台(Mbed Cloud)、物联网操作系统(Mbed OS)、Mbed TLS 库以及其他相关软硬件支持,包括 100 多个支持 Mbed 的板卡,400 多个组件,用于编写,构建和测试应用程序的工具以及服务器和客户端工具等等,是一个完整的技术和生态系统,能够实现真正的 IP 到边缘和可互操作的 IoT 应用,从而大规模创建和部署基于标准的商业 IoT 解决方案。
Mbed Cloud 是 ARM 用以提供用于交互和管理连接设备托管服务的公有物联网云平台:
1. 支持多种连接方式下的安全连接
包括 6LoWPAN, Thread, Cellular, Wi-Fi,
Low-powered Mesh, Mobile IoT (LPWA) 等;
2. 支持 CoAP 和 OMA LwM2M(轻量级 M2M)通信和设备管理协议;
3. 支持使用多种 Web 应用程序开发接口
包括 REST API,JavaScript 和 Python 中的软件开发工具包(SDK)以及在线门户
4. Mbed Cloud 客户端适用于多种操作系统,且支持端到端的远程固件更新
5. Mbed Cloud Provision SDK
包含 Mbed Cloud 客户端中的工厂配置客户端(FCC)和工厂配置器实用程序(FCU),
能够对设备凭证 (私钥,证书,唯一 ID 等) 和配置(参数、服务器 URL 等)
进行验证并安全地存储在设备的受保护存储器中;
6. 通过 Mbed Edge SDK 提供协议翻译、网关管理,以及本地应用程序执行环境和计算资源。
7. 通过 Mbed On Premises 支持企业内部服务器部署和公有云、私有云等各种云部署等。
备注
Mbed OS 是一款免费的开源嵌入式操作系统,基于专为运行在 ARM Cortex-M 单片机和 ARM CMSIS-RTOS 接口标准的实时操作系统 ARM Keil RTX 内核,可以在非常小的设备上支持线程、TLS、信号量、互斥锁、线程等 RTOS 服务,以及蓝牙低功耗,Thread,6LoWPAN,Cellular, Wi-Fi, Low-powered Mesh, Mobile IoT (LPWA) 和以太网等通信接口,专为物联网设备设计。
备注
Mbed TLS 是一款开源,便携,易用,可读和灵活的 SSL 库,提供了一组可单独使用和编译的加密组件,一个基于加密组件、抽象层、支持组件的 SSL/TLS 完整实现模块,以及一个精心制作的测试套件,用以向嵌入式设备提供加密和 SSL/TLS 功能。
4.2 商业方案¶
国内:
1. 百度物接入 IoT Hub
2. 阿里云物联网套件
3. QQ 物联・智能硬件开放平台
4. 京东微联
5. 机智云 IoT 物联网云服务平台及智能硬件自助开发平台
6. 庆科云 FogCloud
7. Ablecloud 物联网自助开发和大数据云平台
8. 中移物联网开放平台 OneNet
9. 云智易物联网云平台
国外:
1. 亚马逊 AWS IoT
2. 微软 Azure IoT
3. IBM Watson IoT
4. Ayla Networks
5. Exosite Murano
6. Electric Imp
7. FogHorn
8. Telit
参考:《国内物联网平台》和《国外物联网平台》系统文章: https://www.cnblogs.com/ibrahim/p/iot-platform-outline.html
5. 边缘计算走向何处¶
在万物互联的大背景下,云计算、嵌入式系统、通信技术、区块链等各种技术以边缘计算为核心进行融合,市场竞争日趋激烈:
1. 边缘计算架构的定义权成为各个厂商争夺的重点
各个厂商都多方下注,互相竞争合作,力争占据制高点;
2. 边缘计算节点 / 网关技术
包括软硬件接口、网络管理、VPN 隧道、地址管理、流量管理和监控等各种功能,
其中相当一部分已经在路由器和媒体网关等设备中广泛应用,
只不过在边缘计算环境中增加了云平台客户端
或者声称对接了 Mbed OS、Amazon FreeRTOS 等物联网实时操作系统,
因此实际上是传统技术和设备的再次包装;
3. 边缘计算开发平台 (物联网云平台等)
通常基于 OpenStack、Cloud Foundry 等开源技术,
提供 VM 、容器 (container)、网络、消息等资源和功能管理功能,
并通过各种设备抽象技术,提供开放通用的 API 和 SDK 供各种应用和设备来使用;
4. 物联网设备的多样性带来边缘计算方案的多样性
无论是工业领域,还是消费领域,都存在众多细分市场,需求差异巨大,
因此边缘计算平台通常以行业相关的具体方案出现,例如智慧城市方案:
6. 参考文献¶
第 02 课: 云走向边缘, 云将无处不在¶
1 边缘计算概述¶
1.1 边缘计算的定义¶
Gartner 对边缘计算的定义:边缘计算描述了一种分布式计算拓扑结构,在这种拓扑结构中,信息处理被放置在靠近产生和 / 或消费信息的事物或人员的位置。边缘计算从网状网络和分布式数据中心的概念出发,将流量和处理保持在网络的本地和非中心。其目标是减少延迟和不必要的通信量,并为感兴趣的对等点之间的互连以及复杂媒体类型或计算负载的数据细化建立一个集线器。
1.2 边缘计算的价值¶
实时处理,从源头解决问题
降低成本
2 边缘计算服务商¶
2.1 CDN 服务商¶
Akamai
网宿科技
核心价值是将数字内容智能分发到离用户更近的节点,进而提升整体分发效率,降低网络延时、节省带宽资源,其与生俱来的边缘节点属性,低延时和低带宽,CDN 本身就是边缘计算的雏形。近年,多数 CDN 提供商将他们的工作重点放在边缘上,以满足实时视频流媒体、安全性和物联网的全新需求。
2.2 移动运营商¶
3GPP 在 5G 系统架构中定义了 5G 边缘计算,5G MEC(Multi-access Edge Computing)。MEC 采用的是分布式计算模型,将这些功能下沉到网络边缘,将应用托管在高度分布的小规模本地化边缘机房,靠近设备和终端用户。
2.3 硬件厂商¶
对应硬件厂商来说,目前主要是从硬件上进行支持边缘计算的需求,如低功耗、强大的数据处理、分析和人工智能功能等,也有些硬件厂商也构建软件的解决方案,例如 intel 收购 Smart Edge 公司,构建边缘接入平台服务。
2.4 云计算服务商¶
一般从三个方面布局边缘网络:
1. 网络走向边缘。
云厂商不断建设 Region,POP 点,Local Zones,
推出专线、VPN、SD-WAN 接入服务,目的就是让网络更加接近边缘。
2. 设备走向边缘。
云厂商会把标准化的硬件卖给用户,边缘硬件可以连接边缘地域和云上。
3. 服务走向边缘。
云厂商会推出边缘计算的平台服务,让云和边缘的互操作更加的标准化,体验一致化。
4 思考与展望¶
开源:仅靠单个供应商无法提供完整的边缘计算解决方案,解决方案必须是多方合力的结果,需要借用开源的优势,当使用开源解决方案时,边缘技术可以应用于更广泛的生态系统,而不会被专有技术堆栈的供应商锁定。
云化:边缘计算在进行云化,边缘设备和程序具备使用公有云的产品能力,进而实现更大的价值。
标准化:边缘网关需要部署在多云、异构设备中,标准化也是很重要,可以部署在各种复杂的网络环境中,例如 Google Anthos、腾讯的 SuperEdge 等建立在容器平台上。
平台化:5G 的加速发展,提供平台化的边缘计算能力,可以让企业或者服务商参与到边缘计算的服务中。
参考文献¶
第 03 课: 信通院-边缘计算发展现状与趋势展望¶
边缘计算概念与外延¶
边缘计算发展驱动力¶
边缘计算起源最早可以追溯至 1998 年 Akamai 提出的内容分发网络 CDN,通过分布式部署的缓存服务器,将用户访问指向最新服务器,提升服务响应速度。
1.1.1 应用需求驱动力¶
Machina Research 报告显示,随着工业互联网、车联网、AR/VR 等垂直领域的蓬勃发展,2025 年全球网联设备总数将超过 270 亿,联网设备的指数级增长导致网络传输能力及中心云处理能力捉襟见肘。根据思科云指数预测,截至 2021 年,接入网络的终端每年产生数据达 847ZB,数据呈分散性、碎片化,超过 50% 的数据需要在网络边缘侧分析、处理与存储。
1.1.2 技术创新驱动力¶
Gartner 发布的 2021 年度技术趋势将分布式计算列入其中,核心理念是计算资源能够更靠近发生数据和业务活动的物理位置,计算技术的升级推动边缘计算产生,与量子计算、超级计算等先进计算技术协同联动,实现边缘侧资源快速部署、弹性扩展以及实时响应,满足多样性应用需求。
备注
总体来说,边缘计算作为网络技术及计算技术的交汇创新点,带来了计算资源和网络资源的开放性、可调动性、可分配性等预期优势,将技术理念由刚性、粗放逐渐转变为弹性、精细。
边缘计算概念与内涵¶
1.2.1 标准组织定义¶
2014 年,欧洲电信标准化协会 ETSI 提出移动边缘计算(Mobile Edge Computing)概念:一种在移动网络边缘提供 IT 服务环境和计算能力的新型架构。随着研究的持续推进,边缘计算应用范畴已经不局限于移动网络场景,ETSI 将 “Mobile” 改为 “Multi-access”,旨在拓展边缘计算的接入方式,表明边缘计算与特定网络接入方式无关,可以适用于固定互联网、移动通信网、消费物联网、工业互联网等不同场景,已逐步成为跨场景、跨领域的基础共性技术。ISO/IEC JTC1/SC38 对边缘计算的定义:边缘计算是将主要处理和数据存储放在网络的边缘节点的分布式计算架构。
1.2.2 学术界定义¶
2009 年,卡内基梅隆大学 Satyanarayanan 教授提出了微云(Cloudlet)概念:通过将计算集群和移动设备本地化部署在同一个局域网中,不经过核心网就可以直接提供计算服务,这开辟了学术界边缘计算研究的先河。2016 年,韦恩州立大学施巍松教授给出了边缘计算定义:在网络边缘执行计算的一种新型计算模式,包含下行的云服务和上行的万物互联服务,边缘定义为数据源和云数据中心之间的任一计算和网络资源节点。
1.2.3 产业界定义¶
2016 年,边缘计算产业联盟(ECC)提出边缘计算定义:边缘计算是在靠近物或数据源头的网络边缘侧,融合网络、计算、存储、应用核心能力的分布式开放平台,就近提供边缘智能服务,满足行业数字化在敏捷联接、数据优化、应用智能、安全与隐私保护等方面的关键需求。
1.2.4 边缘计算概念辨析¶
综上所述,虽然各方对于边缘计算定义有所差异,但是核心理念都是将计算服务 “下沉”,减少服务交付时延和带宽需求。
学术界和标准组织从技术研究角度出发认为边缘计算是一种新的计算模式和一种新的技术架构,通过应用网络切片、容器、计算迁移、边缘智能等新技术,实现计算与网络的协同演进。
产业界从应用需求角度出发将边缘计算定义为一种新产业平台和一种新的生态体系,汇聚多维资源协同调度,就近响应需求,提高资源利用率,降低应用执行时延。
因此,综合各方定义,边缘计算不仅是新计算模式、新技术架构、新产业平台、新生态体系,也是 “四维一体”,通过在网络边缘侧汇聚网络、计算、存储、应用、智能等五类资源及能力,提高服务性能(提速)、开放控制能力(敏捷),提升用户体验,从而激发类似于移动互联网生态的新模式和新应用。
边缘计算发展环境¶
发达国家主要从三方面积极营造边缘计算发展环境。一是强化技术标准引领,美国国家科学基金会和美国国家标准局,将边缘计算列入项目申请指南,持续推进其关键技术研究,ITU-T SG20、IEC/ISO JTC1 SC41、IEEE 均成立了边缘计算研究小组,以推动边缘计算标准化工作。二是加大产业投资力度,欧盟 Networld 2020 将边缘计算作为重要研究部分列入其中,预计到 2026 年底,欧盟在边缘计算领域的投资支出将达到 1850 亿美元。三是加强应用示范引导,日本推动成立 EdgeCross 协会推动边缘计算在垂直行业落地,韩国目前已经在 8 个主要城市部署边缘计算节点,在 VR/AR、车联网、无人机与安防监控等场景的应用进行试点,日韩主要通过打造应用示范引导企业应用部署边缘计算。
我国高度重视边缘计算发展,主要聚焦三个维度,一是强化技术供给,工信部发布《关于推动工业互联网加快发展的通知》、《工业互联网网络建设及推广指南》、《国家车联网产业标准体系建设指南》等文件,推动建立统一、综合、开放的工业互联网边缘计算标准体系,鼓励相关单位在边缘计算领域进行技术攻关,加速产品研发与产业化。目前,我国边缘计算标准体系初步建立,中国通信标准化协会(CCSA)已经针对边缘计算开展了体系化的标准研究工作,形成在研标准近 30 项。二是加强融合应用,国务院、工信部及各地方政府均出台相关政策,大力促进边缘计算等新兴前沿技术在工业互联网、车联网等垂直领域中的应用研究与探索,形成一批可复制的应用模式,进行全国推广。目前,边缘计算在工业、农业、交通、物流等领域的试点部署日益广泛并已取得明显效益。三是打造产业生态,工业互联网产业联盟、边缘计算产业联盟、中国通信学会边缘计算委员会等平台的产业汇聚和支撑作用显著发挥。2020 年,中国信息通信研究院联合产业各方成立边缘计算创新实验室,旨在打造产学研用相结合的技术产业开放平台以及推动边缘计算发展的创新载体。同时,针对边缘计算发展存在产业碎片化以及供给侧研发方向不明确等问题,工业互联网产业联盟启动我国首个边缘计算产业促进项目 “边缘计算标准件计划”,加速边缘计算产品形态整合归类及功能规范化。
边缘计算学术研究热点与方向¶
边缘原生类技术 —— 计算迁移¶
计算迁移技术有效解决了边缘计算单一节点资源受限而无法满足应用需求的问题,同时有效降低网络带宽压力及应用完成时延。目前对计算迁移的研究,主要分为两类:计算迁移决策机制设计、计算迁移资源优化调度机制。
边缘原生类技术 —— 边缘智能¶
边缘智能有效促进本地化洞察和智能实时响应,满足了差异化业务需求。目前主要研究聚焦在两个方向:模型压缩、协同推理。
边缘融合类技术 —— 算网融合¶
传统网络和计算分离模式难以满足工业互联网、车联网、云游戏等新兴应用需求,未来以边缘计算为基础的算网融合一体化发展已成为必然,形成了算网融合重要方向,聚焦算力网络、网络编排等代表性技术,学术界和产业界进行了大量的探索和创新。
边缘融合类技术 —— 边缘计算 + 区块链¶
分布式特征的边缘计算与去中心化特征的区块链具有天然的融合基础,将区块链的节点部署在边缘能力节点设备中,一方面通过边缘计算为区块链大量分散的网络服务提供计算资源和存储能力,另一方面区块链技术为边缘计算服务提供可信和安全的环境,因此边缘计算 + 区块链融合技术已成为热点领域,其中,基于区块链的边缘数据安全、边缘身份认证等技术成为研究热点。
边缘计算产业发展路径与趋势¶
路径 1——5G MEC 发展路径¶
伴随着 5G 商用进程不断加速,作为 5G 架构中的关键部分,MEC 受到了广泛关注,主要由电信运营商主导推动。5G MEC 实现对大流量数据进行本地分流,提升网络性能和用户体验。
路径 2—— 云原生边缘计算发展路径¶
边缘计算作为云计算的延伸和补充已经在云计算领域形成共识,因此,IT 企业希望借助云原生边缘计算延伸云计算能力,保护原有领域的核心竞争优势,形成云、边、网、端一体化协同。
路径 3—— 垂直行业边缘计算发展路径¶
边缘计算作为跨场景、跨领域的基础共性技术及产业数字化转型的关键使能技术,受到了垂直行业企业及设备厂商的关注,以工业互联网为例,边缘计算低时延、海量连接、就近计算等特性可以有效满足工业应用需求。此外设备厂商也希望借助垂直行业边缘计算进一步实现业务升级,拓展业务范围。
结束语¶
边缘计算赋能产业数字化的重要价值受到普遍认同,迎来了新一轮发展机遇。但由于边缘计算属于跨领域融合概念,参与主体众多,在实际部署中存在 “三难” 问题:一是标准统筹难,5G MEC、云原生边缘计算、垂直行业边缘计算等发展路径的相关标准组织均从各自领域对边缘计算进行了标准化工作,导致边缘计算标准化工作缺乏统一布局,标准内容上存在一定的冲突和重复,这也成为边缘计算基础设施规模化部署的障碍。二是产业集约化难,目前各个垂直行业在边缘计算领域中独自探索,产业链上下游联系不够紧密,边缘计算产业呈现碎片化发展。三是规模部署难,目前产业各方正在积极推进边缘计算基础设施规模化应用部署,但成熟且可复制的建设模式尚未形成,需要进一步探索。同时,在商业模式尚不清晰的前提下,运营商、云计算服务商以及工业企业等核心参与者将难以应对边缘计算基础设施建设运营的资金投入。
未来,随着边缘计算逐步进入稳健发展期,5G MEC、云原生边缘计算、垂直行业边缘计算等发展路径将在竞合中发展,呈现两类突出的发展特点:一是协同与融合,单纯使用边缘技术构建的应用难以充分发挥其价值,需要边缘计算与云计算、5G、区块链等其他技术相结合,利用协同效应形成一体化解决方案。未来,边缘计算将一方面不断推动网络向智能化以及协同化方向演进,实现计算与网络等多维度资源的统一协同调度及全局优化;另一方面将不断与云计算协同联动,实现物理资源的共享,极大提升资源利用率,逐步成为云、网、边、端等协同的关键枢纽环节。二是开放与互通,完整的边缘计算应用服务涉及需求方、模块提供方、设备提供方、平台提供方以及应用提供方等多个环节及角色配合,未来,统一的服务定义、资源封装以及接口协议等标准化工作将不断健全,便于不同角色间的高效配合以及跨厂商产品互联互通,技术逐步走向开放融合。
第 04 课: EdgeRec: 边缘计算在推荐系统中的应用¶
01 边缘计算背景介绍¶
02 端上重排¶
03 端上混排系统¶
信息流推荐并不只是单一内容的聚合,而是集合非常多的多元异构形式来对用户进行展示。比如在首页信息流里,我们会插入短视频、内容、广告等多元内容。因此信息流推荐里混排相比于重排已经成为业务中不可缺少的模块。
04 端上训练与千人千模¶
第 05 课: 阿里云边缘云原生应用实践应用实践¶
为什么需要边缘云原生¶
阿里云高级技术专家周哲认为:边缘云原生就是边缘云和云原生的结合。在当下的 5G 时代,80% 的数据和计算将发生在边缘
边缘云原生应用和中心云原生应用的差异:
1. 在基础设施方面:
边缘的特点是分布式、机房小,每个机房 10-50 台机器,计算和存储能力受限。
单机房可靠性差,每个机房的 SLA 相对中心的保障是差的。
单机房弹性能力受限的,跨机房的弹性能力强。
2. 在系统架构方面:
边缘特点是全球分布式接入,靠近客户边缘侧。
需要跨公网的集群间应用通信能力,也就是我们所说的边缘通信和边缘协同能力。
每个集群和中心的网络链路不是非常可靠,一旦边缘和中心失去连接,需要做好边缘自治能力。
3. 资源调度方面:
边缘侧由于机房小,单机房的弹性能力受限,边缘的弹性需要跨节点间来做。
同时边缘的机房分散,需要根据全局负载,需要选择是到哪个边缘节点,再做边缘节点内的调度。
需要全局请求调度和资源的算力调度结合。
4. 应用编排管理方面:
在边缘侧应用需要部署到几百上千个集群,并且需要考虑应用跨集群容灾,
怎么保证几个集群的应用状态一致,成为难点。
边缘云原生可以提供的关键能力¶
第一:异构融合广覆盖
第二:云边体验一致性
第三:标准云原生兼容
第四:算力全域流动性
适合边缘云原生的场景:
1. 云端算力下沉,例如视频转码等
2. 终端的算力上移场景,例如云应用、云游戏、云桌面
通过边缘计算可以解决很多应用不稳定等问题
3. 原本就在边缘上的应用和数据,例如 CDN 的应用和数据
每秒钟全网有几百 Tbps 的数据在流动和传输
第 06 课: KubeEdge 子项目 Sedna 0.1 发布¶
备注
Sedna 基于 KubeEdge 提供的边云协同能力,实现 AI 的跨边云协同训练和协同推理能力。支持现有 AI 类应用无缝下沉到边缘,快速实现跨边云的增量学习,联邦学习,协同推理等能力,最终达到降低边缘 AI 服务构建与部署成本、提升模型性能、保护数据隐私等效果。
第 07 课: 用 SuperEdge 统管边缘设备和机器¶
SuperEdge 可以帮助您很方便地把分布在各处的计算资源放到一个 Kubernetes 集群中管理,包括但不限于:边缘云计算资源、私有云资源、现场设备,打造属于您的边缘 PaaS 平台。
第 08 课: 如何使用 k8s 管理 10 万边缘节点¶
项目背景¶
本项目是在高速公路 ETC 联网和推动取消省界收费站的大前提下,门架系统的落地,也就是要把门架部署在覆盖全国范围的高速公路上,收集车辆通行的牌示信息,以及相应的交易信息。
备注
整体的情况是在边缘侧,即高速公路上会部署大量的门架和相应的控制器,相应的边缘终端,这些终端大概 10 万台,其上部署了相关的应用以收集相关信息。超过 50 万个应用部署到边缘节点,收集到信息后,通过收费专网向省中心以及路网中心上传对应的数据。
本次项目的工作挑战主要有两个方面:
1. 将近 10 万台异构设备的管理,包括 arm,x86 等异构设备。
2. 50 余万个应用的生命周期管理
为什么选择 Kubernetes¶
典型的部署需求:
1. 双机热备
2. 多机多活互备
3. 有关联的应用同节点部署以提升应用间交互效率
4. 同一应用的不同实例跨节点部署以提升可用性
5. 依据边缘节点的不同属性将应用部署于不同分组中
6. 定义独立于节点的应用部署以及实现满足条件的新边缘节点上线后自动安装应用
为什么选择 KubeEdge¶
一、业务自身的特点来决定:
1. 需要异构的支持:边缘侧是多硬件架构、多厂家的、节点分布在全国各地
2. 低资源占用方案管理边缘侧节点:边缘工控机低至 4 核 ARM SOC、1G 可用内存
3. 管理运维复杂,从路网中心到最终路段,分为 6 级管理层次,管理成本高,
需要高集成度边缘的方案,让边缘足够简单,把出问题的概率降到最低,降低运维成本。
二、边缘环境的特点:
1. 从网络的角度来看,网络分为部省、省站两层,多次转发
需要边缘接入具有高灵活性,可支持专线、代理、公网、有线和无线接入等多种方式;
2. 需要边缘和云之间的管理带宽占用降到最低
各地基础设施的建设不同,有些省份的网络带宽低至 3M;
3. 需要边缘方案有离线自治能力:有些高速公路的网络条件非常差,经常出现断网的情况
第 09 课: 边云协同-打通 AI 最后一公里¶
备注
边缘计算与 AI 深度融合成为发展趋势,Gartner 技术成熟度曲线(2019)认为边缘 AI 处于快速上升期,2~5 年内将成熟。
边缘 AI 的挑战¶
边缘计算节点软 / 硬件异构:
件比如华为昇腾,百度昆仑,寒武纪等 AI 框架如 MindSpore, Tensorflow, PaddlePaddle 等
边缘资源受限:
智能硬件成本高 高性能,低功耗要求高 需要适应多种多样的边缘环境和电力要求 计算、网络、存储资源有限
边缘数据异构:
a. 数据异构从时间维度来说 比如在一年四季,摄像头拍照的背景是不一样的, 春天是绿色居多,冬天可能是白色或者黄色居多, 这就是时空上数据分布的差异,分布样本的分布也不一致。 b. 数据异构从空间维度来说, 比如摄像头在东边的入口和西边入口, 因其角度、位置等不同,也有可能导致数据的分布差异。 c. 数据分布的不同, 导致之前在实验室或公司所采集的样本训练出来的样本模型的精度下降, 这个叫概念性漂移的问题。 这是异构会带来的问题,在边缘里面是比较突出的一个问题。
数据样本少、模型冷启动等问题导致云上训练的大而全的模型效果差
隐私与安全:
数据不想上云或者不想离开本地, 如何通过一些技术手段来严格保护用户隐私数据,解决用户的顾虑, 这也是一个非常大的挑战。
KubeEdge AI SIG 介绍¶
KubeEdge SIG AI 工作范围:
1. 自动化异构边缘资源适配
2. 实现边缘 AI 基础框架
3. 端边云协同训练和推理
4. 增量学习和终身学习
边云协同 AI 平台 Sedna 架构及特性¶
主要包含 4 个组件:
1. GlobalManager
基于 Kubernetes Operator 实现边缘 AI 控制器,
2. LocalController
实现增量训练、联邦学习、联合推理特性的本地闭环管理
3. Worker
执行训练或推理任务,训练 / 推理程序,基于现有 AI 框架开
按需启动,docker 容器或 function
不同特性对应不同的 worker 组, 可部署在边上或云上,进行协同
4. Lib
给应用提供边云协同 AI 特性接口
边云协同 AI 平台 Sedna 特性:
1. 边云协同推理:边侧资源受限条件下,提升整体推理性能
2. 边云协同增量学习:小样本和非同分布下,模型越用越聪明
3. 边云协同联邦学习:孤岛数据不出边缘,知识聚合产生模型
第 10 课: 用 edgeadm 一键安装边缘 K8s 集群¶
用 edgeadm 一键安装边缘 Kubernetes 集群和原生 Kubernetes 集群
第 11 课: 基于 KubeEdge 实现 10086 客服云边协同平台¶
公司基础架构变更历程¶
第 12 课: Volcano 架构设计与原理¶
Volcano 是一个基于 Kubernetes 的云原生批量计算平台,也是 CNCF 的首个批量计算项目。
第 13 课: 一文读懂 SuperEdge 的云边隧道¶
云边隧道是边缘计算容器平台躲不过去的组件,本文带您深入源码,深入理解云边隧道的艺术!
第 14 课: 打破内网壁垒-从云端一次添加上千边缘节点¶
容器云边缘计算彻底进入生产时代,SuperEdge Penetrator 为您提供从云端一次添加边缘内网数百节点,让你迅速扩容边缘节点和服务!
第 15 课: 一文读懂 SuperEdge 边缘容器架构与原理¶
第 16 课: 2020 十大边缘计算开源项目¶
KubeEdge¶
2019 年 3 月正式进入 CNCF 成为沙箱级项目(Sandbox),也成为 CNCF 首个云原生边缘计算项目。并于 2020 年 9 月晋升为孵化级项目 (Incubating),成为 CNCF 首个孵化的云原生边缘计算项目。
截至 2020 年 12 月,KubeEdge 社区累计吸引全球开发者 6 万 +,其中来自超过 40 个企业组织的 550 多名开发者参与了社区的核心代码贡献,社区合作伙伴包括 Arm、三星电子、法国电信、中国移动、中国联通、中国电信、华为云、时速云、KubeSphere、EMQ 等。
架构上分为云、边、端三个层次:
1. 云端负责应用和配置的校验、下发,
2. 边缘侧负责运行边缘应用和管理接入的设备,
3. 设备端运行各种边缘设备
其核心能力包括:
1. 支持复杂的边云网络环境
双向多路复用边云消息通道提供应用层可靠增量同步机制,支持高时延、低质量网络环境。
2. 应用 / 数据边缘自治
支持边缘离线自治及边缘数据处理工作流
3. 边云一体资源调度和流量协同
支持边云节点混合管理、应用流量统一调度
4. 支持海量边缘设备管理
资源占用业界同类最小;
提供可插拔设备管理框架,支持自定义插件扩展
5. 开放生态
100% 兼容 Kubernetes 原生能力;
支持 MQTT、Modbus、Bluetooth、Wifi、ZigBee 等业界主流设备通信协议。
Starlingx¶
StarlingX,一个专注于对低延迟和高性能应用进行优化的开源边缘计算及物联网云平台
2020 年 8 月正式发布 4.0 版本。2020 年,StarlingX 项目被批准为开源基础设施基金会的顶级项目之一。
Github: https://github.com/starlingx
k3s¶
k3s 是首个进入 CNCF 沙箱项目的 K8S 发行版。k3s 专为在资源有限的环境中运行 Kubernetes 的研发和运维人员设计,将满足日益增长的在边缘计算环境中运行在 x86、ARM64 和 ARMv7 处理器上的小型、易于管理的 Kubernetes 集群需求。
EdgeX Foundry¶
LF Edge 项目
EdgeGallery¶
EdgeGallery 是由设备厂商、运营商,垂直行业伙伴等联合发起的一个 5G 边缘计算开源项目。
2020 年 7 月 30 日,来自中国信息通信研究院、中国移动、中国联通、华为、腾讯、紫金山实验室、九州云和安恒信息的代表召开首届 EdgeGallery 开源社区董事会,标志着聚焦 5G 边缘计算场景的 EdgeGallery 开源项目筹备工作完成,社区正式成立,社区治理进入董事会领导下的规范运作新阶段。
2020 年 8 月 6 日,业界首个 5G 边缘计算开源平台 EdgeGallery 宣布在码云上正式开源。9 月 30 日,EdgeGallery 社区正式发布了第二个版本 Blue release。
Akraino¶
Akraino 是针对 Edge 的一组开放式基础架构和应用蓝图,涵盖了广泛的用例,包括针对提供商和企业边缘域的 5G,AI,Edge IaaS / PaaS,IoT。
Github:https://gerrit.akraino.org/
Baetyl¶
LF Edge 项目
OpenYurt¶
OpenYurt 是业界首个开源的非侵入式边缘计算云原生平台,秉承 “Extending your native Kubernetes to Edge” 的非侵入式设计理念,拥有可实现边缘计算全场景覆盖的能力。
SuperEdge¶
2020 年 12 月 19 日,SuperEdge 项目由腾讯、Intel、VMware、虎牙直播、寒武纪、首都在线和美团联合宣布开源,在 github 上发布首个版本。
Azure IoT Edge¶
Azure IoT Edge 是基于物联网 (IoT) 中心构建的 IoT 服务。此服务供想要在设备上 (也称为 “在边缘上”)而不是在云中分析数据的客户使用。通过将部分工作负荷移至边缘,设备将消息发送到云所花费的时间可以更少,并且设备可以对状态更改更快地做出响应。
Github: https://github.com/Azure/iotedge
第 17 课: Addon SuperEdge 让原生 K8s 管理边缘应用¶
Addon SuperEdge 让原生 K8s 集群可管理边缘应用和节点
第 18 课: SuperEdge 云边隧道新特性¶
从云端 SSH 运维边缘内网节点
在边缘集群的场景下边缘节点分布在不同的区域,且边缘节点和云端之间是单向网络,边缘节点可以访问云端节点,云端节点无法直接访问边缘节点,给边缘节点的运维带来很大不便,如果可以从云端 SSH 登录到边缘节点可以简化节点的运维工作。
第 19 课: 《深入理解边缘计算》¶
第 20 课: FabEdge 边缘网络方案¶
2021 年 8 月 2 日,博云正式开源 FabEdge 边缘网络方案。FabEdge 是一款基于 kubernetes 和 kubeedge 构建的开源网络方案,解决边缘计算场景下,容器网络配置管理复杂、网络割裂互不通信、缺少服务发现、缺少拓扑感知能力、无法提供就近访问等难题。
并且,Fabedge 支持弱网环境,如 4/5G,WiFi,LoRa 等;支持边缘节点动态 IP 地址,适用于物联网,车联网等场景。
第 21 课: 边缘计算云原生开源方案选型比较¶
KubeEdge 和 OpenYurt/SuperEdge 的架构设计差异比较大。如果需要内置设备管理能力,而对云原生生态兼容性不在意,建议选择 KubeEdge;如果从云原生生态兼容和项目成熟度考虑,而不需要设备管理能力或者可以自建设备管理能力,建议选择 OpenYurt
参考¶
边缘计算入门 20 课: https://cloudnative.to/sig-edge/learn/learn.html