今天的面試就先到這里,幾位回去等通知吧
鄧永華聽完微微點頭:“一些行業(yè)里確實會存在這種問題,我是搞網(wǎng)安方向的,
一般這種情況我們關(guān)注的都是如何保護已上傳的數(shù)據(jù)或者是在數(shù)據(jù)傳輸過程中進行更加復(fù)雜的加密算法,
但是數(shù)據(jù)在傳輸過程中,無論加密多強,理論上都存在被截獲和破解的風(fēng)險,而且數(shù)據(jù)包越多,傳輸時間越長,風(fēng)險暴露窗口越大,
現(xiàn)在大模型的數(shù)據(jù)量都是巨大的,風(fēng)險也會更大,所以一些保密性強的數(shù)據(jù),現(xiàn)在還是會采用光盤,硬盤這種物理的方式。
不過你這種方法也算是一種新的思路,繼續(xù)吧。”
“老師說的沒錯,ai模型的邊緣部署如果能夠?qū)崿F(xiàn),可以很大程度上規(guī)避這類數(shù)據(jù)安全的問題,讓數(shù)據(jù)可以直接在本地進行使用,不用轉(zhuǎn)移。”
周昀將ppt翻到下一頁:“其實現(xiàn)在已經(jīng)有了不少相關(guān)的研究,但是想要真正實現(xiàn)讓大模型在手機這種終端運行還有很長一段路要走。”
哪怕是明年年初deepseek公開論文中的蒸餾方法,也達不到周昀想要的結(jié)果。
其實憑借他現(xiàn)在變態(tài)的記憶力完全可以復(fù)現(xiàn)出大量還未出現(xiàn)的頂刊論文,包括很多開源的代碼。
但是他不會這么做,計算機能夠如此快速的發(fā)展,離不開兩個字——“開源”!
如果他真的做了“文抄公”,就相當于是剽竊了別人的研究成果,哪怕是前世的周昀都沒有干過這種事情,更別說現(xiàn)在了。
而且,憑他現(xiàn)在的智商,想發(fā)幾篇頂刊,很難嗎?
收回有些發(fā)散的思維,周昀繼續(xù)道:“現(xiàn)有的邊緣
ai部署我總結(jié)為以下三類:
1模型壓縮,這是最直接也最常用的方法之一,可以理解為將一塊充滿水分的海綿強行擠壓變小,主要的方法一般有量化、剪枝、知識蒸餾,不過這種方法也有一個缺陷,那就是模型的性能會變差。
2邊緣資源管理與調(diào)度,簡單來說就是智能地分配和優(yōu)化邊緣計算設(shè)備,如服務(wù)器、傳感器、網(wǎng)關(guān)的算力,以高效、低延遲地執(zhí)行
ai任務(wù),但是這種方法會帶來數(shù)據(jù)安全和隱私問題。
3適應(yīng)性
ai系統(tǒng),這是我自己定義一種方法,即設(shè)計一種框架,讓大模型能夠自行優(yōu)化,縮小,達到能夠部署在邊緣設(shè)備的方法,通俗來講就是用ai調(diào)教ai。
這也是我提出的agileed的主要思想。
當然,我所說的方法都是軟件層面的,不管怎么設(shè)計,其終究都是受限于物理設(shè)備,
但是在我看來,如今的算法還遠遠沒有觸及到現(xiàn)有物理設(shè)備的上限。”
聽到這里,一同參加面試的四位學(xué)生已經(jīng)有點麻了。
滿臉的問號已經(jīng)不足以形容他們的懵逼。
他們腦子里不由得同時發(fā)出靈魂三問:“我是誰?我在哪?我要干什么?”
這還是雙非嗎?
不光是他們,其實就連邱彥和沈瑞都有些唏噓,雖然暫時周昀還沒有講到具體的算法,
但是光憑前面這些,就能看出來他在ai方面的功底不差,論文估計也沒少看,不然就鄧老師問的