時間:2021年06月29日 分類:科學技術論文 次數:
摘要:基于“中國工程科技2035技術預見”的專家調查數據,采用復雜網絡和統計分析等方法,評估基于Delphi法的技術預見中不同熟悉度咨詢專家意見的影響,優化不同熟悉度咨詢專家比例和權重。通過復雜網絡和顯著性檢驗方法,分析技術預見中各領域不同熟悉度咨詢專家分布特征、網絡關系以及評分差異;統計比較不同熟悉度專家篩選關鍵技術的準確性,評估不同熟悉度專家意見對關鍵技術選擇的影響。研究發現:自評估“很熟悉”的咨詢專家在技術評估中相對樂觀,自評估“較熟悉”的咨詢專家在技術評估中相對保守;在不考慮專家人數影響的情況下,自評估“熟悉”的咨詢專家的意見相對更為準確。最后通過統計檢驗和優化算法,優化技術預見中咨詢專家人數、不同熟悉度咨詢專家比例和權重等參數,為后續技術預見活動提供了參考。
關鍵詞:技術預見;Delphi法;專家自評估熟悉度;參數優化
0引言
通過系統研究未來較長時期內的科學、技術、經濟和社會的發展趨勢,確定具有戰略意義的研究領域,選擇對經濟和社會利益具有最大化貢獻的關鍵技術是技術預見研究的主要內容[1]。鑒于技術預見在國家和地區科技政策制定、實施和實現方面的有效性和重要性,日本、英國、德國、韓國和中國等國家越來越重視技術預見的作用,紛紛加強技術預見研究力度[2]。
在此背景下,中國工程院與國家自然科學基金委員會共同組織開展針對中國工程科技的技術預見活動[3]。由于未來戰略研究和通用新技術的研究具有很強的專業性,技術預見一般以依靠專家評估的Delphi法為基礎,并結合情景分析、文獻計量、專利分析等方法開展研究[4]。
基于Delphi法的技術預見研究主要包括調查問卷設計、備選技術清單選擇、專家調查和調查問卷統計分析等多個環節,一般通過兩輪Delphi調查對備選技術清單進行評估和篩選[5]。技術預見是一項耗時耗力的政府決策工具,為了提升技術預見的科學性和有效性,在每次技術預見之后都很有必要進行一次系統評估[6]。Georghiou和Keenan[7]指出當前還缺少對技術預見效果評估的系統研究,特別是將技術預見看作一種科技創新決策工具的效果評估。盡管如此,部分學者仍然開展了針對國家戰略層面技術預見活動的評估研究。
日本從1996年第六次技術預見開始,在每次技術預見活動中都對以往技術預見結果的實現情況進行評估,并把相關內容整合到本輪技術預見報告[8]。Tichy[9]通過分析德國在1993年和澳大利亞在1998年的兩次技術預見的實現情況,探討了自評估不同熟悉度專家的評分效果以及自評估方法的有效性。可以發現,以往技術預見評估主要是針對技術預見中已到預估實現時間的技術項,研究周期相對較長。
但是對于國家戰略層面連續滾動的技術預見活動,難以通過這種方式及時評估上一輪技術預見的結果,并優化下一輪技術預見活動。因此,在缺乏技術項最終實現情況的條件下及時對已開展技術預見進行評估,較為可行的思路是采用對比分析、交叉驗證等方法對上一輪技術預見的方法、數據和結果進行評估。在Delphi專家調查過程中,咨詢專家需要對被評估技術項的熟悉度、技術核心性、帶動性、對經濟社會國家的重要性以及預計實現時間等指標進行評分。咨詢專家自評估的熟悉度一般分為“很熟悉”“熟悉”“較熟悉”和“不熟悉”四個等級。
在調查數據的統計分析過程中,不同熟悉度咨詢專家會被賦予的不同權重,因此專家自評估熟悉度對技術預見的結果具有重要影響[10]。Tichy[9]通過對技術預見實施效果的評估發現,自評估熟悉度高的專家在評價過程中往往會低估技術實現和傳播等問題,評價結果相對樂觀。在“中國工程科技2035技術預見”實踐過程中,也存在咨詢專家整體熟悉度高、各項指標評分靠前,但最終沒有被確定為關鍵技術的技術項[3]。因此,為了評估技術預見的效果,優化后續技術預見活動,并為其他技術預見活動提供參考,有必要開展不同熟悉度咨詢專家意見的準確性分析,專家權重對技術預見結果的影響等方面的及時評估研究。
針對專家意見評估、以及專家比例和權重優化等問題,國內外學者進行了深入研究。相關研究大體可以分為兩類:一類是優化方法設計,Galanc和Mikus'[11]設計了一種針對長期技術預見中咨詢專家選擇的二進制優化方法,確立了最少專家人數與技術預見調查相關領域的關系;Pankratova和Malafeeva[12]提出了基于人工智能和自動化工具的檢測Delphi調查中專家意見一致性的方法;俞立平等[13]針對科技評價中專家權重賦值優化問題,通過分析比較不同專家分級評價結果與加法平均及證據理論分級結果的差異性,從而提出了一種專家修正自我權重的定量比較方法。
另一類是專家調查數據挖掘,Brandes[14]針對英國科學技術辦公室(OfficeofScienceandTechnology)在1995年發布的技術預見白皮書中預估在2006年前實現的技術,分析相關技術的實現狀況,從而評估專家自評估熟悉度方法的準確性和有效性;程家瑜[15-16]以我國信息、生物、新材料、能源、資源環境、先進制造、農業、人口健康和公共安全領域的技術預測調查數據為基礎,研究了各領域中熟悉專家與一般專家評價意見的差異性,并采用統計分析方法對咨詢專家人數、權重和評價意見的正態性等問題進行了討論。
為了評估“中國工程科技2035技術預見”的效果,發現存在的問題和不足,優化后續的技術預見活動,以有效支撐國家戰略研究,本文利用“中國工程科技2035技術預見”的專家調查數據,基于統計分析、復雜網絡和顯著性檢驗等方法,開展技術預見中不同熟悉度咨詢專家的意見影響評估以及比例權重優化研究,評估不同熟悉度咨詢專家意見的差異,為后續技術預見活動提出咨詢專家人數、不同熟悉度咨詢專家的比例和權重等方面的優化建議。
本文主要分為四部分:首先,整體介紹“中國工程科技2035技術預見”的各領域不同熟悉度咨詢專家的分布特征;其次,基于“中國工程科技2035技術預見”的專家調查數據,采用復雜網絡和顯著性檢驗方法,研究不同熟悉度咨詢專家的網絡關系和意見差異;然后,根據統計分析模型和關鍵技術選擇結果,評估不同熟悉度咨詢專家評分對技術預見的影響;最后,利用關鍵技術的咨詢專家評估數據,通過統計優化方法,確定合理的咨詢專家人數以及不同熟悉度咨詢專家比例和權重。
1各領域不同熟悉度專家分布情況
統計“中國工程科技2035技術預見”第二輪Delphi調查中各個領域不同熟悉度專家人數,分析不同熟悉度專家的分布特征。針對“中國工程科技2035技術預見”的各個領域,對項目數、參與專家人數、收回問卷數以及“很熟悉”“熟悉”和“較熟悉”專家人數(由于“不熟悉”專家人數較少,忽略“不熟悉”專家)進行統計。
2不同熟悉度專家意見分析
2.1基于復雜網絡的專家意見分析
為了研究咨詢專家的主要類型,分析不同熟悉度咨詢專家與被評估技術項的網絡關系以及理解不同熟悉度咨詢專家的行為差異,采用復雜網絡方法研究不同熟悉度咨詢專家與技術項評估之間的關系。由于信息與電子領域 技術預見效果整體較好,專家意見可信度高,因此以信息與電子領域為例,開展基于復雜網絡的專家意見分析。基于復雜網絡方法,建立不同熟悉度咨詢專家和被評估技術項的有向網絡圖。其中,網絡節點為咨詢專家和技術項,網絡連邊表示咨詢專家對技術項做出了評估。進一步,以技術核心性指標為例,基于復雜網絡分析信息與電子領域的不同熟悉度咨詢專家的評分差異。
3專家熟悉度對關鍵技術篩選的影響
3.1統計分析模型與關鍵技術選擇
基于Delphi專家調查數據,通過統計分析模型對各領域的技術項的重要性進行排序,然后通過專家研討確定各領域最終的關鍵技術。因此,評估不同熟悉度咨詢專家對關鍵技術選擇的影響,首先需要明確統計分析模型和關鍵技術選擇的結果。
3.1.1統計分析模型
根據咨詢專家的問卷調查情況,開展單因素排序的統計分析,相關指數包括:技術核心性指數、技術帶動性指數、經濟發展重要性指數、社會發展作用指數和保障國家國防安全作用指數。所有指數的專家評分和統計方法類似,因此以技術核心性指數為例進行詳細說明。
4參數優化建議與主要研究結論
通過對“中國工程科技2035技術預見”專家調查數據的分析,發現了各領域不同熟悉度專家評分的特征。根據這些特征,基于統計分析方法和優化算法,優化咨詢專家人數、不同熟悉度咨詢專家的比例和權重,提出合理的建議,并總結全文。
4.1專家人數和不同熟悉度比例建議
將“中國工程科技2035技術預見”最終確定的關鍵技術分為兩類,一類是Delphi調查分析排名前10、前15、前20技術中與關鍵技術相一致的技術,另一類是排名不在前10、前15、前20的關鍵技術,統計分析兩類關鍵技術的咨詢專家人數。
排名前10、前15、前20的關鍵技術項的咨詢專家人數與其余關鍵技術項對比,中位數沒有明顯差距。排名前10、前15、前20的關鍵技術項的咨詢專家人數分布整體差別不大,中位數呈現略微遞減的趨勢,與其余關鍵技術項咨詢專家人數比較,箱體分散程度較大,中位數較高。為了求出較優的咨詢專家人數,只選取排名前10的關鍵技術項組的咨詢專家人數為研究對象。計算排名前10的關鍵技術項組的咨詢專家人數的95%置信區間,可得最優的咨詢專家人數為[35.72,43.31]。通過分析發現,技術項評估需要合理搭配不同熟悉度專家的比例,才能得到更為準確的結果。為了求取不同熟悉度專家的合理比例,分析排名前10的關鍵技術項組的和其余關鍵技術咨詢專家不同熟悉度的比例數據。
工程論文投稿刊物:《中國工程科學》(月刊)創刊于1999年,由中國工程院主管、中國工程院和高等教育出版社共同主辦。雜志反映我國工程科技領域研究動向,記載我國工程科技領域學術成果,探討我國工程科技領域未來發展。
本文基于“中國工程科技2035技術預見”的專家調查數據,通過統計分析、復雜網絡和顯著性檢驗等方法,開展了技術預見中咨詢專家熟悉度影響評估以及專家人數和熟悉度相關參數優化研究。通過本文研究可以發現:
(1)基于復雜網絡和顯著性檢驗的評估方法能夠有效支撐技術預見中不同熟悉度專家意見的及時評估。
(2)研究結果驗證了Delphi調查過程中自評估很熟悉專家在技術項評估中相對樂觀,自評估較熟悉專家在技術項預測中相對保守;同時發現在不考慮專家人數影響的情況下,熟悉專家的意見相對更為準確。
(3)通過對關鍵技術的咨詢專家數據的統計分析,本文確定了具有95%置信度咨詢專家人數以及不同熟悉度專家比例的選擇區間;同時基于BruteForceGridSearch方法,優化不同熟悉度專家權重,為后續技術預見研究專家人數比例選定提供了參考。
參考文獻:
[1]BENM.Foresightinscienceandtechnology[J].TechnologyAnalysis&StrategicManagement,1995,7(2):139-168.
[2]NationalInstituteofScienceandTechnologyPolicyofJapan.The10thscienceandtechnologyforesightscenarioplanningfromtheviewpointofglobalization[R].NISTEPREPORTNo.164,2015.
[3]王崑聲,周曉紀,龔旭,胡良元,孫勝凱,宋超,侯超凡,陳進東.中國工程科技2035技術預見研究[J].中國工程科學,2017(1):34-42.WANGKunsheng,ZHOUXiaoji,GONGXu,HULiangyuan,SUNShengkai,SONGChao,HOUChaofan,CHENJindong.TechnologyforesightonChina'sengineeringscienceandtechnologyto2035[J].EngineeringSciences,2017(1):34-42.
作者:陳進東1,3,張永偉2,周曉紀2,孫勝凱2,梁桂林2