簡(jiǎn)書(shū)小說(shuō)

第5章 不好意思，我打斷一下。（第3頁(yè)）

gpt，cude，i這都是現(xiàn)在世界上頂尖的大模型，不可否認(rèn)的是，這些大模型的性能都非常強(qiáng)，但相對(duì)應(yīng)的，訓(xùn)練他們所耗費(fèi)的資源也是海量。

一個(gè)先進(jìn)的圖像識(shí)別模型可能需要幾十甚至上百兆的內(nèi)存，數(shù)以億計(jì)的計(jì)算量。

它們就像高性能的跑車，必須在云端數(shù)據(jù)中心這樣的大跑道上才能發(fā)揮實(shí)力，但是現(xiàn)實(shí)生活中，大家的設(shè)備都是電腦，手機(jī)，攝像頭等等。”

說(shuō)到這里周昀停了一下，將ppt翻到下一頁(yè)。

老師沒(méi)有提問(wèn)，那他就繼續(xù)講。

“這種情況下，我們面臨一個(gè)巨大的挑戰(zhàn)：如何讓龐大、復(fù)雜的ai模型，在這些資源有限的“小設(shè)備”上，也能跑得又快又好，還能實(shí)時(shí)響應(yīng)？

以下四點(diǎn)是我認(rèn)為的需要解決的幾個(gè)痛點(diǎn)：

1尺寸不符：大模型在小設(shè)備上跑不動(dòng)，或直接裝不下。

2速度滯后：即使勉強(qiáng)能跑，響應(yīng)速度也慢，用戶體驗(yàn)差。

3能耗巨大：小設(shè)備電池續(xù)航有限，大模型會(huì)迅速耗盡電量。

4網(wǎng)絡(luò)依賴：依賴云端意味著有延遲，且斷網(wǎng)就失效，隱私也難以保障。”

“不好意思，我打斷一下。”

“老師您說(shuō)。”

“你剛才提到了這些大模型性能雖強(qiáng)，但資源消耗巨大，而現(xiàn)在你想把這些大模型塞進(jìn)小設(shè)備里，其中的難點(diǎn)我理解，

但是，既然這些頂尖大模型在云端表現(xiàn)如此出色，為什么我們非要執(zhí)著于把它們硬塞進(jìn)邊緣設(shè)備？

云端計(jì)算的便捷性和可擴(kuò)展性難道不更符合ai發(fā)展的趨勢(shì)嗎？邊緣部署的必要性到底有多強(qiáng)？”

這個(gè)問(wèn)題問(wèn)的非常刁鉆，如果周昀不能回答，那就算是從根本上否定了研究的必要性。

“老師的問(wèn)題確實(shí)非常關(guān)鍵，如您所言，云端大模型在性能和可擴(kuò)展性上確實(shí)有無(wú)可比擬的優(yōu)勢(shì)，

但是大模型的基石是數(shù)據(jù)！

在金融、醫(yī)療、國(guó)家安全等高度敏感的行業(yè)，數(shù)據(jù)“不出境”或“不出廠區(qū)”是嚴(yán)格的法律法規(guī)要求。

這種情況下，任何云端的數(shù)據(jù)傳輸都是具有一定風(fēng)險(xiǎn)的，雖然其有強(qiáng)大的安全措施，但其本身就是一個(gè)巨大的‘靶心’，

一旦云服務(wù)遭受網(wǎng)絡(luò)攻擊，影響范圍可能是災(zāi)難性的，這一點(diǎn)相信老師肯定是有所了解的。”