近日，F(xiàn)acebook和亞利桑那州立大學(xué)的研究人員研發(fā)了AutoScale算法。該算法可以自動化推理AI工具適合運行在云端還是終端。為了提供更好的用

近日，F(xiàn)acebook和亞利桑那州立大學(xué)的研究人員研發(fā)了AutoScale算法。該算法可以自動化推理AI工具適合運行在云端還是終端。

為了提供更好的用戶體驗，當(dāng)今大多數(shù)智能手機(jī)都采用了AI技術(shù)，用以實現(xiàn)拍攝3D照片、面部識別、語音識別等功能。

科技公司在實現(xiàn)這些功能時，需要考慮的一個重要問題是AI技術(shù)運行的位置：如果所有的AI工具都在終端運行，有可能導(dǎo)致電池壽命、手機(jī)性能下降;相反，如果AI工具都在云端運行，則有可能在調(diào)用時花費較長時間。

Facebook和亞利桑那州立大學(xué)的研究人員試圖用AutoScale解決這個問題。AutoScale基于強(qiáng)化學(xué)習(xí)算法，可以自動化判斷AI工具適合在云端還是終端運行。數(shù)據(jù)顯示，AutoScale模型能提高AI工具能效，可以使能效達(dá)到基線方法的10.8倍。

這項研究發(fā)表在學(xué)術(shù)網(wǎng)站arXiv上，論文題目為《AutoScale：用隨機(jī)方差優(yōu)化端到端邊緣推理的能源效率(AutoScale: Optimizing Energy Efficiency of End-to-End Edge Inference under Stochastic Variance)》。

一、AutoScale：關(guān)注運行環(huán)境變化，實時做出決策

移動設(shè)備上的AI服務(wù)大多利用深度神經(jīng)網(wǎng)絡(luò)(DNN)實現(xiàn)。由于DNN模型的工作負(fù)載比較大，傳統(tǒng)的AI工具大多在云端進(jìn)行。

隨著技術(shù)發(fā)展，AI工具也可以在終端運行。這是因為現(xiàn)有移動系統(tǒng)對DNN的棧支持已經(jīng)日益成熟，現(xiàn)代移動設(shè)備也可通過搭載加速器或協(xié)處理器(比如GPU、DSP等)來提升終端處理能力。

不論是哪一種方式，AI工具的運行位置都被事先確定了。但是，在實際運行時，移動設(shè)備上可能有多個應(yīng)用程序同時運行、無線網(wǎng)絡(luò)的信號強(qiáng)度也不是一成不變的。這些因素會導(dǎo)致AI工具無法達(dá)到預(yù)期的能效，還有可能造成延遲、性能降低。

Facebook和亞利桑那州立大學(xué)的研究人員提出，可以設(shè)計一個這樣的預(yù)測模型：用實時運行環(huán)境作為輸入，使其預(yù)測出AI工具適合的運行位置，達(dá)到高能效、低時延、高性能的目的。

經(jīng)過嘗試，研究人員推出了自適應(yīng)輕量執(zhí)行縮放引擎AutoScale。

AutoScale采用一種輕量級的強(qiáng)化學(xué)習(xí)技術(shù)進(jìn)行持續(xù)學(xué)習(xí)，可以捕捉和適應(yīng)隨機(jī)的環(huán)境變化。在運行過程中，AutoScale會觀察和收集神經(jīng)網(wǎng)絡(luò)的層特征、Wi-Fi信號穩(wěn)定性、處理器利用率等信息，并據(jù)此作出使DNN能效、性能最大化的決策。

二、模型每次進(jìn)行5步推理，逐次提高AI工具能效

AutoScale采用一種自適應(yīng)預(yù)測機(jī)制，隨著訓(xùn)練次數(shù)增多，AutoScale可以做出更優(yōu)的決策。

對于每個推理執(zhí)行任務(wù)，AutoScale的預(yù)測過程分為5步：

1、觀察當(dāng)前的執(zhí)行狀態(tài)(神經(jīng)網(wǎng)絡(luò)特征、環(huán)境信息等)，將其作為輸入;

2、根據(jù)輸入，在查找表(Q表)中選擇下一步操作;

3、執(zhí)行選定的操作，即讓AI工具在云端或在終端運行;

4、觀察、記錄AI工具的運行效果。綜合評估能效、時延、性能等參數(shù)，計算獎勵(R值);

5、根據(jù)AI模型最近一次的運行效果更新查找表。

隨著查找表不斷更新，在執(zhí)行下一次推理任務(wù)時，AutoScale會為AI工具選擇能效更低的方案。

▲AutoScale模型

三、用3款手機(jī)進(jìn)行測試，模型預(yù)測準(zhǔn)確率達(dá)到97.9%

為了驗證AutoScale的性能，研究人員將其用于3款智能手機(jī)：小米Mi 8 Pro、三星Galaxy S10e、摩托羅拉Moto X Force。

用Wi-Fi把三款手機(jī)連接到服務(wù)器。通過Wi-Fi Direct(一種點對點無線網(wǎng)絡(luò))，三款手機(jī)與一臺三星Galaxy Tab S6平板電腦連接，用于模擬本地執(zhí)行(local execution)。用功率計測量智能手機(jī)的能效。

研究人員先對AutoScale進(jìn)行了100次推理訓(xùn)練：使用64000個訓(xùn)練樣本;編譯或生成10個AI模型，其中包括谷歌的機(jī)器翻譯工具M(jìn)obileBERT和圖像分類器Inception。

然后，研究人員分別在靜態(tài)設(shè)置和動態(tài)設(shè)置情況下進(jìn)行測試。針對每種設(shè)置模擬三種情況，分別是：

1、一個non-streaming計算機(jī)視覺測試場景，AutoScale模型對手機(jī)攝像頭拍攝照片功能進(jìn)行推理;

2、一個streaming計算機(jī)視覺場景，AutoScale模型對手機(jī)攝像頭實時拍攝視頻功能進(jìn)行推理;

3、一個翻譯場景，AutoScale模型對翻譯鍵入句子的AI工具進(jìn)行推理。

測試結(jié)果顯示，在所有場景中，AutoScale模型的表現(xiàn)都優(yōu)于基線模型。AutoScale模型的延遲也較低，在non-streaming計算機(jī)視覺測試場景中的延遲時間小于50毫秒，在翻譯場景中的延遲時間小于100毫秒。同時，AutoScale模型保持了較高的性能，在streaming計算機(jī)視覺場景中，每秒可以處理約30幀畫面。

據(jù)統(tǒng)計，AutoScale模型的預(yù)測準(zhǔn)確率達(dá)到了97.9%，其邊緣推理的能效可達(dá)到基線模型的1.6～10.8倍。

AutoScale模型占用的內(nèi)存也較小，僅需0.4MB。通常中端手機(jī)的內(nèi)存容量為3GB，AutoScale模型僅需占用0.01%。

結(jié)語：或可用于提升AI工具能效

Facebook和亞利桑那州立大學(xué)的研究人員研發(fā)的AutoScale算法可以自動化推理出能耗更低的AI運行方案，還可以保證低延遲和高性能，為解決移動設(shè)備AI服務(wù)的能效問題提供了一種方案。

論文中寫道：“我們的研究證明了AutoScale是一個可行的解決方案，可以通過DNN實現(xiàn)邊緣推理。在未來，AutoScale或可用更好地執(zhí)行邊緣推理任務(wù)。”

關(guān)鍵詞： AI工具