簡書小說

第5章 不好意思，我打斷一下。（第3頁）

gpt，cude，i這都是現在世界上頂尖的大模型，不可否認的是，這些大模型的性能都非常強，但相對應的，訓練他們所耗費的資源也是海量。

一個先進的圖像識別模型可能需要幾十甚至上百兆的內存，數以億計的計算量。

它們就像高性能的跑車，必須在云端數據中心這樣的大跑道上才能發揮實力，但是現實生活中，大家的設備都是電腦，手機，攝像頭等等。”

說到這里周昀停了一下，將ppt翻到下一頁。

老師沒有提問，那他就繼續講。

“這種情況下，我們面臨一個巨大的挑戰：如何讓龐大、復雜的ai模型，在這些資源有限的“小設備”上，也能跑得又快又好，還能實時響應？

以下四點是我認為的需要解決的幾個痛點：

1尺寸不符：大模型在小設備上跑不動，或直接裝不下。

2速度滯后：即使勉強能跑，響應速度也慢，用戶體驗差。

3能耗巨大：小設備電池續航有限，大模型會迅速耗盡電量。

4網絡依賴：依賴云端意味著有延遲，且斷網就失效，隱私也難以保障?！?/p>

“不好意思，我打斷一下。”

“老師您說?！?/p>

“你剛才提到了這些大模型性能雖強，但資源消耗巨大，而現在你想把這些大模型塞進小設備里，其中的難點我理解，

但是，既然這些頂尖大模型在云端表現如此出色，為什么我們非要執著于把它們硬塞進邊緣設備？

云端計算的便捷性和可擴展性難道不更符合ai發展的趨勢嗎？邊緣部署的必要性到底有多強？”

這個問題問的非常刁鉆，如果周昀不能回答，那就算是從根本上否定了研究的必要性。

“老師的問題確實非常關鍵，如您所言，云端大模型在性能和可擴展性上確實有無可比擬的優勢，

但是大模型的基石是數據！

在金融、醫療、國家安全等高度敏感的行業，數據“不出境”或“不出廠區”是嚴格的法律法規要求。

這種情況下，任何云端的數據傳輸都是具有一定風險的，雖然其有強大的安全措施，但其本身就是一個巨大的‘靶心’，

一旦云服務遭受網絡攻擊，影響范圍可能是災難性的，這一點相信老師肯定是有所了解的?！?/p>