ontheedge什麼檔次
編者按：人工智慧的蓬勃發展離不開雲計算所帶來的強大算力，然而隨著物聯網以及硬體的快速發展，邊緣計算正受到越來越多的關注。未來，智慧邊緣計算將與智慧雲計算互為補充，創造一個嶄新的智慧新世界。本文中，微軟亞洲研究院系統與網路研究組首席研究員劉雲新將為大家介紹智慧邊緣計算的發展與最新研究方向。
智慧邊緣計算的興起
近年來，邊緣計算（Edge Computing）在學術界和工業界都成為了一個熱門話題。事實上，邊緣計算是相對於雲計算（Cloud Computing）而言的。在雲計算中，所有的計算和儲存資源都集中在雲上，也就是資料中心（Datacenter）裡；在終端裝置上產生的資料透過網路傳輸到雲上，計算任務和資料處理都在雲上進行。而在邊緣計算中，計算和儲存資源被部署到邊緣上（邊緣伺服器或者終端裝置），可以就近對本地的資料進行處理，無需把資料傳輸到遠端的雲上，從而避免網路傳輸帶來的延遲。
雖然邊緣計算成為廣受關注的熱門話題的時間並不久，但邊緣計算的概念並不新。早在2008年，微軟研究院的 Victor Bahl 博士邀請了學術界和工業界的知名學者，包括卡內基·梅隆大學的 Mahadev Satyanarayanan 教授、AT&T 實驗室的 Ramón Cáceres博士、蘭卡斯特大學（Lancaster University， U。K。）的Nigel Davies教授、英特爾研究院（Intel Research）的 Roy Want 博士等，一起探討雲計算的未來時 ［1］，就提出了基於 Cloudlet 的邊緣計算的概念；並於次年在 IEEE Pervasive Computing 期刊上發表了廣為人知的名為 “The Case for VM-based Cloudlets in Mobile Computing”的文章 ［2］。
此後，越來越多的研究人員開始關注邊緣計算。值得一提的是，2016年，首屆專注於邊緣計算的學術會議 The First IEEE/ACM Symposium on Edge Computing 在美國華盛頓特區召開 ［3］。目前，邊緣計算已成為相關頂級學術會議（比如MobiCom）的重要專題之一。在工業界，2017年微軟公司 CEO 薩提亞·納德拉就將邊緣計算和雲計算並列成為全公司的戰略之一。之後，各大雲計算公司和運營商都紛紛推出了自己的邊緣計算服務；邊緣計算相關的創業公司更是不斷湧現。
在人工智慧時代，邊緣計算不僅僅只是計算，更是智慧+計算，我們稱之為智慧邊緣計算（Intelligent Edge Computing）。
計算模式的輪迴：在集中式和分散式之間的搖擺
唯物辯證法指出，事物的發展總是曲折、迴圈往復，並在波浪中不斷前進的。計算模式（Computing Paradigm）也不例外。如圖1所示，如果我們回顧計算模式的發展歷史，就會發現一個簡單的規律：計算模式是在集中式計算和分散式計算之間不斷搖擺，往復式發展前進的。
圖1：計算模式的發展歷史
在大型機（Mainframe）時代，計算資源稀缺，很多人共享一臺主機，計算是集中式的；到了個人計算（Personal Computing）時代，硬體變得小型化，價格低廉，人們可以擁有自己的個人裝置，計算成為了分散式的；在雲計算時代，透過高速網路，人們可以共享雲上的海量的計算和儲存資源，計算模式又回到集中式的。此時，人工智慧蓬勃發展，雲上提供的眾多智慧服務帶來了智慧雲計算。而隨著邊緣計算的出現，計算模式再一次成為分散式的。現在，我們不僅有智慧雲，還有智慧邊緣。
智慧邊緣計算的出現當然不僅僅是滿足表面上的簡單規律，背後有其必然性和強大的驅動力，是計算機軟硬體和新應用新需求不斷髮展的必然結果。
首先，隨著物聯網特別是智慧物聯網（AIoT）的發展，各種新型智慧裝置不斷湧現，產生了海量的資料。比如，監控攝像頭已經無處不在（據統計，在倫敦每14個人就有一個監控攝像頭 ［4］），每天產生大量的影片資料。而每輛自動駕駛汽車每天更是會產生多達5TB的資料。把所有這些資料都傳輸到雲上進行處理是今天的雲和網路無法承受的。
其次，新的場景和應用需要對資料在本地進行處理。比如，自動駕駛和工業自動化對資料處理的實時性有很高的要求。資料傳輸帶來的網路延遲往往無法滿足實時性的要求，如果網路發生故障可能帶來災難性後果。再如，人們對個人隱私越來越關注，而很多資料（影片、圖片、音訊等）都包含大量的個人隱私。保護個人隱私的最好的方法就是在本地進行資料處理，不把個人資料傳到網路上去。
另外，同樣重要的是，硬體的快速發展使得智慧邊緣計算成為可能。隨著 AI 演算法的日益成熟，人們開始設計製造專用的 AI 晶片，特別是專門用於深度學習模型推理的 AI 晶片，這些 AI 晶片不僅資料處理能力強大，而且尺寸小、功耗低、價格便宜，可以應用到各種邊緣裝置上，為智慧邊緣計算提供了堅實的硬體基礎。
需要指出的是，智慧邊緣計算並不是要取代雲計算，而是和雲計算互為補充，一起更好地為使用者提供服務。雲計算和邊緣計算會不斷融合；智慧計算分佈在不同的地方，但又相互連線，協同合作。
智慧邊緣計算中的關鍵問題研究
在微軟亞洲研究院，我們致力於研究智慧邊緣計算中的關鍵問題，更好地將 AI 賦能於邊緣裝置（包括終端裝置和邊緣伺服器）和應用，提高智慧邊緣計算的系統性能和使用者體驗。具體來說，目前我們主要關注以下幾個研究方向：
針對不同裝置的模型壓縮和最佳化。高精度的深度學習模型通常都十分龐大，由數百萬甚至以億計的引數構成。執行這些模型需要耗費大量的計算和記憶體資源。雖然智慧邊緣裝置的處理和儲存能力大幅增長，但仍遠遠比不上雲計算裝置。因此，如何把深度學習模型在資源受限的邊緣裝置上執行起來是一個巨大的挑戰。傳統的模型壓縮和最佳化（比如剪枝、量化等）主要關注的是在如何把模型變小的同時儘量少損失模型精度。然而，邊緣裝置的特點是型別多、差異性大，處理器型別效能和記憶體大小千差萬別。我們認為，沒有一個統一的模型能夠適用於所有的邊緣裝置，而是應該結合硬體的特性，為不同的裝置提供最適合的模型，不僅考慮模型大小和精度損失，更要考慮模型在裝置上的執行效能，比如延遲和功耗等。
基於異構硬體資源的系統最佳化。即使有了一個可以執行的模型，如何提高模型的執行效率仍是一個值得深入研究的課題。我們需要一個高效的模型推理引擎，把系統性能提高到極致。這不僅需要軟體層面的系統最佳化，更要有軟體和硬體的協同設計，能夠充分利用底層硬體的能力。邊緣裝置往往有著各種異構的硬體資源，比如智慧手機擁有大小不同的 CPU 核（ARM big。Little）、DSP、GPU、甚至 NPU。而現有的系統往往只能利用其中一種計算資源（比如 CPU 或者 GPU），還不能充分發揮硬體的效能。我們的工作致力於研究如何充分利用同一裝置上的異構硬體資源，深度最佳化系統性能，大大降低模型執行的延遲和能耗。
隱私保護和模型安全。如前所述，使用者隱私資料保護是一個重要的課題。在邊緣裝置無法執行高精度模型的情況下（比如在低端的監控攝像頭上），利用雲計算或者邊緣伺服器來執行深度學習模型就不可避免。在這種情況下，我們就需要研究如何利用遠端的計算資源的同時還能不洩露使用者的隱私資料。另外，在邊緣裝置上執行模型還帶來了一個新的問題——模型的安全。訓練一個好的模型需要花費巨大的人力、物力。因此，模型是重要的數字資產。在雲計算模式下，模型的儲存和執行都在雲上，終端使用者無法直接接觸模型資料。而在邊緣計算中，模型是部署到本地裝置上的，惡意使用者可以破解終端系統，複製模型資料。所以，如何在智慧邊緣計算中保護模型的安全就是一個新的重要研究課題。
持續學習和合作學習。智慧邊緣計算還帶來了新的改善模型的機會。目前的模型訓練和模型使用通常是割裂的。一個模型在事先收集好的資料集上進行訓練，然後被部署到裝置上進行使用。然而，模型使用中的資料通常是和訓練時的資料集不一樣的。比如，每個智慧攝像頭由於其位置和光線的不同，它們看到的影象內容和特徵都不盡相同，從而導致模型精度下降。我們認為，模型被部署到裝置上以後，應該根據裝置上的輸入資料進行適配和最佳化，而且隨著裝置處理越來越多的新資料，它應該從中學習到新的知識，持續不斷地提高它的模型，這就是持續學習（Continuous Learning）。此外，多個裝置還應該把它們學習到的不同的新知識合併到起來，一起合作來改進完和善全域性的模型，我們稱之為合作學習（Collaborative Learning）。與主要關注如何利用多方資料集進行模型訓練而不相互洩露資料的聯邦學習（Federated Learning）不同，持續學習和合作學習的重點是如何在模型部署後從新獲取的資料中學習新的知識。
此外，我們還關注智慧邊緣計算中的各種新場景和新應用，比如影片分析、VR/AR、自動駕駛、AIoT 等，特別是隨著 5G 的到來，如何構建更好的智慧邊緣+智慧雲的系統，為這些場景和應用提供更好的支撐。
在過去兩年，我們和國內外的高校緊密合作，在這些研究方向上取得了一系列的進展，也在相關學術會議上發表了多篇論文。其中，我們和北京大學和美國普渡大學關於如何利用快取技術（Cache）提高卷積神經網路（CNN）執行效率的工作發表在 MobiCom 2018上 ［5］；和哈爾濱工業大學等學校合作的關於如何利用模型稀疏性（Sparsity）加速模型執行的工作發表在 FPGA 2019和 CVPR 2019上 ［6］ ［7］；和韓國 KAIST 等學校合作的關於如何利用 SGX 保護使用者隱私的工作發表在 MobiCom 2019上 ［8］；和美國紐約大學和清華大學合作的關於合作學習的工作發表在 SEC 2019上 ［9］。
未來展望
智慧邊緣計算之後是什麼？計算模式會沿著既有歷史路線繼續輪迴嗎？未來會是怎樣的？
我們無法準確預測未來，但我們相信世界一定會變得越來越數字化、智慧化，一定會變得更加美好。在微軟看來，整個世界正在成為一臺巨大的計算機 ［10］。不管你是在家裡、在辦公室、還是在路上，不管是在工廠、在商場、還是在各行各業，藉助分佈在各處的強大計算能力，我們可以利用人工智慧處理由無處不在的感測器採集到的資料，創造出豐富多彩的工作和生活體驗。未來的計算一定是以使用者為中心的，智慧環境和裝置隨時隨地感知使用者的狀態和需求，將使用者所需的資料和資訊準確推送給使用者，為人們提供更好的服務。
參考文獻
［1］ V。 Bahl， “10 years is an eternity in the tech world， but we are just getting started，” 19 10 2018。 ［Online］。 https：//www。microsoft。com/en-us/research/blog/10-years-is-an-eternity-in-the-tech-world-but-we-are-just-getting-started/
［2］ M。 Satyanarayanan， P。 Bahl， R。 Cáceres and N。 Davies， “The Case for VM-Based Cloudlets in Mobile Computing，” IEEE Pervasive Computing， vol。 8， no。 4， pp。 14-23， 2009。
［3］ “The First IEEE/ACM Symposium on Edge Computing，” 27-28 10 2016。 ［Online］。http：//acm-ieee-sec。org/2016/
［4］ J。 Ratcliffe， “How many CCTV Cameras are there in London 2019？，” 29 5 2019。 ［Online］。 https：//www。cctv。co。uk/how-many-cctv-cameras-are-there-in-london/
［5］ M。 Xu， M。 Zhu， Y。 Liu， F。 X。 Lin and X。 Liu， “DeepCache： Principled Cache for Mobile Deep Vision，” in Proceedings of the 24th Annual International Conference on Mobile Computing and Networking， 2018。
［6］ S。 Cao， C。 Zhang， Z。 Yao， W。 Xiao， L。 Nie， D。 Zhan， Y。 Liu， M。 Wu and L。 Zhang， “Efficient and Effective Sparse LSTM on FPGA with Bank-Balanced Sparsity，” in Proceedings of 27th ACM/SIGDA International Symposium on Field-Programmable Gate Arrays， 2019。
［7］ S。 Cao， L。 Ma， W。 Xiao， C。 Zhang， Y。 Liu， L。 Zhang， L。 Nie and Z。 Yang， “SeerNet： Predicting Convolutional Neural Network Feature-Map Sparsity through Low-Bit Quantization，” in Proceedings of IEEE Computer Society Conference on Computer Vision and Pattern Recognition， 2019。
［8］ T。 Lee， Z。 Lin， S。 Pushp， C。 Li， Y。 Liu， Y。 Lee， F。 Xu， C。 Xu and L。 Zhang， “Occlumency： Privacy-preserving Remote Deep-learning Inference Using SGX，” in Proceedings of the 25th Annual International Conference on Mobile Computing and Networking， 2019。
［9］ Y。 Lu， Y。 Shu， X。 Tan， Y。 Liu， M。 Zhou， Q。 Chen and D。 Pei， “Collaborative Learning between Cloud and End Devices： An Empirical Study on Location Prediction，” in Proceedings of the Fourth ACM/IEEE Symposium on Edge Computing， 2019。
［10］ 沈向洋， “讓雲計算和人工智慧幫助每一個人，” 2018 微軟人工智慧大會。 ［Online］。https：//www。microsoft。com/china/events/ArtificialIntelligence2018。aspx