新華財經(jīng)北京6月29日電 在工業(yè)和信息化部科技司的指導下，由中國工業(yè)互聯(lián)網(wǎng)研究院牽頭成立的通用人工智能與工業(yè)融合創(chuàng)新中心6月28日發(fā)布大模型工業(yè)知識問答測試結(jié)果，旨在助力人工智能深度賦能制造業(yè)，推動工業(yè)經(jīng)濟高質(zhì)量發(fā)展。

圖：6月2日，中國工業(yè)互聯(lián)網(wǎng)研究院牽頭成立通用人工智能與工業(yè)融合創(chuàng)新中心，以上為相關(guān)領(lǐng)導、專家、企業(yè)家代表出席通用人工智能與工業(yè)融合創(chuàng)新中心成立儀式。

(相關(guān)資料圖)

參與報告論證的包括：中國工程院院士唐立新、王國棟，外籍院士焦禮成、張大慶、劉江川，ACM\IEEE Fellow 劉云浩、劉劼、張燕詠、楊錚等，共13位業(yè)界頂級專家。該報告針對包括電子設(shè)備制造、裝備制造、鋼鐵等八個細分行業(yè)，通過設(shè)置主觀、客觀、自主認知和悖論等多方面問題，進行大模型測試。

圖：五位中外院士、八位ACM\IEEE Fellow、13位業(yè)界頂級專家聯(lián)合論證。

報告總體顯示，通用大模型在工業(yè)知識問答領(lǐng)域整體處于探索階段，GPT4表現(xiàn)最為優(yōu)異。頭部國產(chǎn)大模型表現(xiàn)亮眼，整體水平與GPT3.5持平，多措并舉或可實現(xiàn)趕超。

圖：大模型工業(yè)領(lǐng)域知識問答測評綜合結(jié)果

大模型對八個細分行業(yè)的知識問答能力呈現(xiàn)出明顯差異性，其中，電子、裝備、鋼鐵和石化相對較好，采礦、電力、建材和紡織相對不足。

圖：大模型在電子、裝備、鋼鐵、采礦行業(yè)表現(xiàn)。

具體到國產(chǎn)大模型，文心一言、ChatGLM、360智腦在電子行業(yè)中表現(xiàn)優(yōu)異；文心一言、360智腦、ChatGLM在裝備行業(yè)評分領(lǐng)先；文心一言、ChatGLM、星火大模型在鋼鐵行業(yè)成績突出；文心一言、360智腦、星火大模型在采礦行業(yè)名列前茅。

圖： 大模型電力、石化、建材、紡織行業(yè)表現(xiàn)。

在電力行業(yè)，文心一言、ChatGLM、天工大模型居于前列；在石化行業(yè)文心一言、360智腦、從容大模型處于領(lǐng)先；在建材行業(yè)，文心一言、星火、ChatGLM評分較高；紡織行業(yè)ChatGLM、文心一言、360智腦優(yōu)勢明顯。

圖： 大模型自我知識盲區(qū)鑒別能力

圖： 大模型對輸入內(nèi)容的合理性判斷能力

報告顯示，在模型自我知識盲區(qū)鑒別能力與抗污染問題分析能力方面，GPT4表現(xiàn)出較高的水平，能夠自己主動承認不理解的問題以及識別出大部分的邏輯謬誤。相較而言，國產(chǎn)大模型提升空間較大。

下一步，通用人工智能與工業(yè)融合創(chuàng)新中心將在工業(yè)與信息化部科技司的指導下，周期性圍繞大模型知識能力、魯棒性、安全性等專題開展后續(xù)評估工作，為政府提供決策依據(jù)，為產(chǎn)業(yè)提供賦能導向，為企業(yè)提供轉(zhuǎn)型方法，為用戶提供應用參考，助力構(gòu)建通用人工智能賦能制造業(yè)新優(yōu)勢。

編輯：羅浩

關(guān)鍵詞：