簡書小說

第5章 不好意思，我打斷一下。（第3頁）

gpt，cude，i這都是現(xiàn)在世界上頂尖的大模型，不可否認(rèn)的是，這些大模型的性能都非常強，但相對應(yīng)的，訓(xùn)練他們所耗費的資源也是海量。

一個先進(jìn)的圖像識別模型可能需要幾十甚至上百兆的內(nèi)存，數(shù)以億計的計算量。

它們就像高性能的跑車，必須在云端數(shù)據(jù)中心這樣的大跑道上才能發(fā)揮實力，但是現(xiàn)實生活中，大家的設(shè)備都是電腦，手機，攝像頭等等。”

說到這里周昀停了一下，將ppt翻到下一頁。

老師沒有提問，那他就繼續(xù)講。

“這種情況下，我們面臨一個巨大的挑戰(zhàn)：如何讓龐大、復(fù)雜的ai模型，在這些資源有限的“小設(shè)備”上，也能跑得又快又好，還能實時響應(yīng)？

以下四點是我認(rèn)為的需要解決的幾個痛點：

1尺寸不符：大模型在小設(shè)備上跑不動，或直接裝不下。

2速度滯后：即使勉強能跑，響應(yīng)速度也慢，用戶體驗差。

3能耗巨大：小設(shè)備電池續(xù)航有限，大模型會迅速耗盡電量。

4網(wǎng)絡(luò)依賴：依賴云端意味著有延遲，且斷網(wǎng)就失效，隱私也難以保障。”

“不好意思，我打斷一下。”

“老師您說。”

“你剛才提到了這些大模型性能雖強，但資源消耗巨大，而現(xiàn)在你想把這些大模型塞進(jìn)小設(shè)備里，其中的難點我理解，

但是，既然這些頂尖大模型在云端表現(xiàn)如此出色，為什么我們非要執(zhí)著于把它們硬塞進(jìn)邊緣設(shè)備？

云端計算的便捷性和可擴展性難道不更符合ai發(fā)展的趨勢嗎？邊緣部署的必要性到底有多強？”

這個問題問的非常刁鉆，如果周昀不能回答，那就算是從根本上否定了研究的必要性。

“老師的問題確實非常關(guān)鍵，如您所言，云端大模型在性能和可擴展性上確實有無可比擬的優(yōu)勢，

但是大模型的基石是數(shù)據(jù)！

在金融、醫(yī)療、國家安全等高度敏感的行業(yè)，數(shù)據(jù)“不出境”或“不出廠區(qū)”是嚴(yán)格的法律法規(guī)要求。

這種情況下，任何云端的數(shù)據(jù)傳輸都是具有一定風(fēng)險的，雖然其有強大的安全措施，但其本身就是一個巨大的‘靶心’，

一旦云服務(wù)遭受網(wǎng)絡(luò)攻擊，影響范圍可能是災(zāi)難性的，這一點相信老師肯定是有所了解的。”