2023人工智能大模型基準(zhǔn)測試科創(chuàng)發(fā)展大會暨中西部數(shù)字經(jīng)濟(jì)大會將于12月28日在成都市正式舉辦。
一方面，大會邀請權(quán)威機(jī)構(gòu)及高校專家組建了“大模型基準(zhǔn)評測專家委員會”，將對國內(nèi)大模型開展評測工作，深入了解當(dāng)前國內(nèi)大模型的能力水平以及大模型企業(yè)發(fā)展情況。另一方面，頭部企業(yè)、專家學(xué)者、國內(nèi)權(quán)威標(biāo)準(zhǔn)制定機(jī)構(gòu)等將在大會齊聚一堂，共同探討行業(yè)發(fā)展趨勢，搭建產(chǎn)業(yè)上下游溝通平臺，推動大模型技術(shù)的進(jìn)步。
在此背景下，紅星資本局日前專訪了鄭州大學(xué)計算機(jī)與人工智能學(xué)院教授、博導(dǎo)，自然語言處理實驗室負(fù)責(zé)人昝紅英。昝紅英講述了國內(nèi)大模型行業(yè)的優(yōu)勢、挑戰(zhàn)以及“彎道超車”的可能。對于本次大會，昝紅英希望能通過評測，讓一些真正從事大模型技術(shù)研究的公司脫穎而出，也希望從事基礎(chǔ)應(yīng)用或創(chuàng)新應(yīng)用的企業(yè)通過成果展示，能夠帶動更多相關(guān)企業(yè)發(fā)展。
以下是對話實錄：
NLP的終極目標(biāo)是人和機(jī)器自然溝通
紅星資本局：你主要研究興趣包括自然語言處理、中文信息處理等方面，請簡單介紹下什么是“自然語言處理”，它和近段時間流行的ChatGPT、AI大模型之間的關(guān)聯(lián)是什么？
昝紅英：我理解的自然語言處理的終極目標(biāo)是人和機(jī)器自然溝通。
我從事自然語言處理這個領(lǐng)域已經(jīng)有20多年。在我剛開始進(jìn)入此研究領(lǐng)域時，統(tǒng)計學(xué)習(xí)方法正在流行。20年來，自然語言處理有兩次大的變革。第一次是在2016年，AlphaGo震驚了世界，然后我們開始探索深度學(xué)習(xí)。第二次是在2022年底，OpenAI推出GPT3.5，ChatGPT進(jìn)入了世人的視野。
ChatGPT驚艷了自然語言處理，它采用問答形式，基本上覆蓋了NLP所有任務(wù)，包括智能寫作、問答生成、信息抽取、思維鏈分析、機(jī)器翻譯等下游應(yīng)用任務(wù)。以往的統(tǒng)計學(xué)習(xí)、深度學(xué)習(xí)，都是從圖像視頻向語言滲透，而ChatGPT是從語言處理算法向其他模態(tài)推廣。ChatGPT本身就是自然語言處理領(lǐng)域爆發(fā)出的偉大事件，與AI大模型密切相關(guān)，也顛覆了整個AI領(lǐng)域。
紅星資本局：了解到你在虛詞知識庫方面研究頗深，他們主要應(yīng)用于哪些方面？在建設(shè)的過程中有沒有遇到什么難點和問題？
昝紅英：虛詞知識庫項目是我們鄭大自然語言處理實驗室20多年來的主要工作。我們從2004年開始做一些具體工作，當(dāng)時俞士汶老師主編及構(gòu)建的現(xiàn)代漢語語法信息詞典，主要研究實詞，而在虛詞方面，如連詞、助詞、介詞等，需進(jìn)一步研究。在俞老師的指導(dǎo)下，我們開始研究虛詞的用法。最初我們采用基于規(guī)則的方法，聯(lián)合計算機(jī)系和中文系的師生們共同編寫，進(jìn)而使用編程實現(xiàn)。
我們耗費了大量人力、時間，大約有十幾位老師、上百位研究生參與。一開始做資源，辛苦且枯燥。而且有四五年找不到突破的方向，因為需要搭建前期框架再進(jìn)行后續(xù)填充。同時，最初我們還沒有自己的項目經(jīng)費支持，是俞士汶教授帶領(lǐng)北京大學(xué)語言所的諸多老師們給我們強(qiáng)大的精神和物質(zhì)支持，使我們得以堅持語言資源構(gòu)建的深耕工作，后來又獲得了國家自然基金和國家社科基金等持續(xù)資助。
為什么要研究虛詞知識庫，因為中文是意合的語言，語法表達(dá)較弱，因此虛詞對語義的理解比實詞影響更大。
虛詞是漢語語法明顯的觸發(fā)詞或者標(biāo)志點或者錨點，計算機(jī)可以通過識別出虛詞及其用法，找到錨點，從而理解整個句子乃至篇章的語義。例如文本里出現(xiàn)了“綜上所述”，這個詞后面大致是整篇文本的中心思想，我們可以在閱讀輔助中找到中心點，那么機(jī)器也可以通過這個詞來理解、處理。
基于此我們還進(jìn)行了許多應(yīng)用，如我們曾與劉群老師聯(lián)合申請了谷歌的全球資助項目，基于漢語虛詞用法的漢英機(jī)器翻譯優(yōu)化研究，這是在機(jī)器翻譯方面的應(yīng)用。情感分析方面，我們與香港慧科公司合作，利用虛詞進(jìn)行輿情監(jiān)測任務(wù)。我們虛詞用法知識庫的用戶包括北大、清華、哈工大、日本早稻田大學(xué)、韓國西江大學(xué)、日本富士通公司、中業(yè)科技公司等。
后續(xù)我們將建立相關(guān)的多模態(tài)知識庫，支持大模型對齊研究，避免其出現(xiàn)離譜的錯誤。
機(jī)翻難以完全取代人工翻譯
紅星資本局：AI翻譯最終會取代真人翻譯嗎？尤其是筆譯方面？
昝紅英：我們與語言學(xué)者、翻譯人員常有溝通，我們認(rèn)為機(jī)翻不可能完全取代人工翻譯，而是取代其中的一部分。如各個公司的說明書，大部分一開始會依靠人工智能翻譯提高效率，但有些檢測點會由筆譯專家完成。而且現(xiàn)在的機(jī)翻雖然翻譯流暢，但有時會不準(zhǔn)確，有些是瞎說。
紅星資本局：你手上有醫(yī)學(xué)、法律、金融等領(lǐng)域知識庫項目，也在構(gòu)建現(xiàn)代漢語語義詞典等語言資源，請問這些項目可以應(yīng)用在哪些領(lǐng)域？是否有助于國內(nèi)推出國際一流的大語言模型？
昝紅英：2018年開始，我們實驗室有一個大組致力于醫(yī)學(xué)方面，我作為主要人員主持了一些工作，如CMeKG項目。到2019年，我們完成了幾個版本CMeKG的數(shù)據(jù)構(gòu)建，它是規(guī)模最大的中文醫(yī)學(xué)知識圖譜。目前許多圖譜都用到了我們的部分?jǐn)?shù)據(jù)。
我們還與醫(yī)生緊密合作，對某些疾病，包括肺癌、腦卒中、心臟病、糖尿病、兒童癲癇進(jìn)行了輔助診療等相關(guān)研究，為醫(yī)生及患者提供智能輔助推薦、健康宣教等服務(wù)。
另外，我們還做了病歷質(zhì)控、出院小結(jié)生成等，在醫(yī)院里，病歷質(zhì)控是一件繁瑣又嚴(yán)格的工作。同時，還有醫(yī)學(xué)影像報告的自動生成，包括CT、核磁等報告。因為雖然影像報告檢測片出來很快，但是撰寫報告需要花費醫(yī)生時間，特別是在特殊時期報告很難及時拿到。
通過這些多領(lǐng)域的知識庫項目，我們具備了在某些領(lǐng)域構(gòu)建國際一流知識庫的能力。
紅星資本局：一些專家認(rèn)為，ChatGPT和國內(nèi)AI大模型及應(yīng)用相比有個天然的優(yōu)勢是英文資料比中文資料海量得多，AI學(xué)習(xí)資料也更多，你怎樣看待這一問題？我們應(yīng)如何應(yīng)對？
昝紅英：確實，英文大模型之所以效果好，是因為英文數(shù)據(jù)多，并且網(wǎng)上的英文數(shù)據(jù)質(zhì)量相對較高。中國的語料數(shù)量不足，還有未清洗的“噪音”。目前許多專家在討論中文語料的安全對齊問題，我們也在嘗試做這方面的工作。
我們需要對國內(nèi)的百模、千模進(jìn)行甄選，特別是對安全方面的把控，因此需要建立一套相對適合國內(nèi)的評測標(biāo)準(zhǔn)，以形成良好的生態(tài)，促使國內(nèi)的中文大模型迅速追趕英文大模型。
建立評測標(biāo)準(zhǔn)
助力我們在大模型賽道上彎道超車
紅星資本局：目前我國的大模型研究有何特別和優(yōu)勢？未來可能在哪些領(lǐng)域達(dá)到世界先進(jìn)水平？
昝紅英：我認(rèn)為我們的優(yōu)勢在于可以在有效監(jiān)控下發(fā)展。
世界大模型“卷”得飛起來了。發(fā)展到現(xiàn)在，人類社會需要對技術(shù)發(fā)展有限制約束。高新科技因為能量大，更是雙刃劍，所以安全對齊和評測都是非常有意義的工作。
未來我們在某個領(lǐng)域的大模型做到國際領(lǐng)先是完全有可能的，比如說中醫(yī)大模型，也許很快就會，西醫(yī)也有可能，因為有更多專業(yè)數(shù)據(jù)。我們有的地方醫(yī)院的水平甚至超過一些大醫(yī)院，因為他們見的病例多，醫(yī)生經(jīng)驗豐富。
但目前，咱們有不少公司，研究追求短平快，看到有應(yīng)用的就做一點。但其實不可能僅靠兩三年就完成一個項目。沒有積累，也不可能在短時間內(nèi)超越他人。
我認(rèn)為需要長期投入，特別是資源方面?，F(xiàn)在很多人都羨慕我們的數(shù)據(jù)資源，但是他們不太了解我們投入了多少人力、物力和財力。我認(rèn)為做任何事情都需要經(jīng)歷這個過程，要投入大量時間、精力。
當(dāng)然，如果大家都在做純粹的基礎(chǔ)研究，沒有應(yīng)用也是不能持久的。應(yīng)用需求也能推動大家去做理論研究，這是一個良性循環(huán)。
紅星資本局：建立評測標(biāo)準(zhǔn)的意義具體是什么？
昝紅英：評測標(biāo)準(zhǔn)可以助力我們在大模型賽道上彎道超車。研究、應(yīng)用大模型需要依靠這個標(biāo)準(zhǔn)，就像高考的指揮棒落在哪里，全國教育就會往哪個方向追趕。
國外已經(jīng)出現(xiàn)大模型，我們首先需要跟進(jìn)。在跟進(jìn)過程中，每個大模型特點和關(guān)注點不同，跟進(jìn)的方向也不同。我們需要建立一個公平公正多視角的標(biāo)準(zhǔn)，對模型發(fā)展，特別是落地應(yīng)用有良好的評測點，這樣才能引導(dǎo)大家發(fā)展，從而形成良好的生態(tài)。
我們的目標(biāo)并非要求大家都建立大模型，這樣浪費資金又耗費力氣。我們是希望由此能促進(jìn)IT行業(yè)的生態(tài)良好發(fā)展，避免資本消失后不能有效地落地應(yīng)用。
紅星資本局：那這樣對評測標(biāo)準(zhǔn)要求相當(dāng)高，需要思考如何制定出適用性較強(qiáng)、認(rèn)可度較高的評測標(biāo)準(zhǔn)。
昝紅英：對，評測標(biāo)準(zhǔn)會有不同方面的側(cè)重。實際上我們這次大會做的評測分不同賽道，目的是使賽道多樣化，減少資源浪費。比如對于普通用戶，做個通用的、精度不太高的聊天大模型，大家用起來就很好，但醫(yī)學(xué)、法律大模型則非常嚴(yán)格。
因此，不同領(lǐng)域的大模型會有不同評測標(biāo)準(zhǔn)，且標(biāo)準(zhǔn)應(yīng)有多樣性。制定相應(yīng)領(lǐng)域的標(biāo)準(zhǔn)也必須讓行業(yè)專家參與，例如醫(yī)學(xué)大模型的好壞一定要由醫(yī)生判斷。
基礎(chǔ)研究和應(yīng)用研究都需要
大會的榜單從全面和長遠(yuǎn)角度保障國內(nèi)AI生態(tài)良性循環(huán)
紅星資本局：本次大會將頒發(fā)2023人工智能大模型評測榜單，榜單主要分為了應(yīng)用創(chuàng)新榜單和基礎(chǔ)創(chuàng)新榜單，為什么選擇這兩個方向發(fā)布榜單？榜單的發(fā)布將對行業(yè)帶來哪些影響？
昝紅英：基礎(chǔ)創(chuàng)新榜單是評判模型的各種性能和參數(shù)，僅研究算法和性能，不涉及應(yīng)用。有可能榜單上的模型需要多年深入研究才會有應(yīng)用，如Hinton有一個神經(jīng)網(wǎng)絡(luò)30年后才看到有效的應(yīng)用，但這是必須鼓勵的。
應(yīng)用創(chuàng)新榜單是指在某個領(lǐng)域開展落地實踐，需要生態(tài)支持。
如果一窩蜂地推進(jìn)應(yīng)用，大模型就會失去生命的原動力，而如果只專注于基礎(chǔ)研究，就會很難維持。因此，設(shè)立兩個榜單是從全面和長遠(yuǎn)角度保障國內(nèi)AI生態(tài)的良性循環(huán)。
紅星資本局：本次大會將對國內(nèi)AI行業(yè)發(fā)展帶來哪些助力？
昝紅英：就像華山論劍，我們組織大家一起交流和比試，能讓各平臺看到各自的優(yōu)劣，通過交流受到啟發(fā)，促進(jìn)提升。
我們希望能找到每個公司多樣化的發(fā)展亮點，讓大家相對自由、百花齊放地發(fā)展，使大模型產(chǎn)業(yè)和理論研究呈現(xiàn)出豐富多樣的向上生態(tài)。
紅星資本局：您對這次大會有什么期待？
昝紅英：我希望通過評測，讓一些真正從事大模型技術(shù)研究的公司和機(jī)構(gòu)能脫穎而出，成為行業(yè)的黑馬，同時我們的標(biāo)準(zhǔn)在不斷修正、豐富和改進(jìn)后，最終能沉淀下來。還希望評測能促進(jìn)理論研究和應(yīng)用發(fā)展，使行業(yè)持續(xù)發(fā)展，為多年來堅持在相關(guān)領(lǐng)域的從業(yè)者和公司帶來一些鼓勵。
