摘要：綜合能源系統(tǒng)(IES)中復(fù)雜的能量耦合關(guān)系，可再生能源出力和負(fù)荷等因素的不確定性，給IES的實(shí)時(shí)調(diào)度帶來了諸多挑戰(zhàn)。針對(duì)此，本文提出了一種雙層強(qiáng)化學(xué)習(xí)(RL)模型以實(shí)現(xiàn)IES的實(shí)時(shí)經(jīng)濟(jì)調(diào)度。該模型上層是一個(gè)RL智能體，下層為優(yōu)化求解器。本文將RL和傳統(tǒng)優(yōu)化方法進(jìn)行了結(jié)合，可簡(jiǎn)化RL的動(dòng)作和獎(jiǎng)勵(lì)設(shè)計(jì)，提高其訓(xùn)練速度和收斂性能，解決動(dòng)作具有復(fù)雜約束的RL問題。本文模型僅根據(jù)IES的即時(shí)信息進(jìn)行決策，不依賴于對(duì)負(fù)荷、可再生能源出力的準(zhǔn)確預(yù)測(cè)。多能園區(qū)經(jīng)濟(jì)調(diào)度中的成功應(yīng)用表明雙層模型可以得到接近于擁有完美預(yù)測(cè)信息的動(dòng)態(tài)規(guī)劃的性能，同時(shí)求解速度大幅提高，可以實(shí)現(xiàn)IES的實(shí)時(shí)調(diào)度。

　　關(guān)鍵詞：動(dòng)態(tài)規(guī)劃，經(jīng)濟(jì)調(diào)度，強(qiáng)化學(xué)習(xí)，綜合能源系統(tǒng)

　　0引言

　　綜合能源系統(tǒng)[1](integratedenergysystem,IES)集成了冷、熱、電、氣等多種能源形式，可以實(shí)現(xiàn)多種能源形式的相互轉(zhuǎn)化與能量耦合互補(bǔ)利用[2]。IES經(jīng)濟(jì)調(diào)度面臨兩大挑戰(zhàn)，挑戰(zhàn)之一來自于可再生能源出力和負(fù)荷需求的不確定性。由于天氣、人類行為等因素的影響，風(fēng)能、太陽能等可再生能源的生產(chǎn)和負(fù)荷需求具有強(qiáng)烈不確定性，給IES的調(diào)度增添了難度。另一個(gè)挑戰(zhàn)是IES中緊密復(fù)雜的能量耦合關(guān)系[3]。能量耦合其一是冷熱氣電等各種能源形式之間的轉(zhuǎn)換所引起的能源形式耦合;能量耦合其二是儲(chǔ)能系統(tǒng)的存在導(dǎo)致的時(shí)間軸上的能量存儲(chǔ)消耗耦合;此兩種能量耦合關(guān)系使IES的經(jīng)濟(jì)調(diào)度更加復(fù)雜。已有研究中，IES經(jīng)濟(jì)調(diào)度多為日前調(diào)度的離線優(yōu)化問題[4]-[8]，隨機(jī)規(guī)劃[9][10]和魯棒優(yōu)化[11][12]等被用來處理系統(tǒng)中可再生能源、負(fù)荷及實(shí)時(shí)電價(jià)波動(dòng)[13]導(dǎo)致的不確定性。

　　此類傳統(tǒng)的處理不確定的優(yōu)化方法依賴于對(duì)日前可再生能源出力、負(fù)荷等數(shù)據(jù)的預(yù)測(cè)，通過對(duì)不確定性建模將問題轉(zhuǎn)化為確定性問題求解，可以得到較好的優(yōu)化調(diào)度方案。本文考慮另一類經(jīng)濟(jì)調(diào)度的方法：學(xué)習(xí)驅(qū)動(dòng)的優(yōu)化方法。強(qiáng)化學(xué)習(xí)(reinforcementlearning,RL)/深度強(qiáng)化學(xué)習(xí)(deepRL,DRL)等方法[14]自AlphaGo成功[15]后廣受關(guān)注。RL利用交互試錯(cuò)的方式學(xué)習(xí)，不依賴于對(duì)日前可再生能源出力、負(fù)荷等數(shù)據(jù)的精準(zhǔn)預(yù)測(cè)[16]，可以采用無模型算法處理系統(tǒng)中難以準(zhǔn)確建模的因素，實(shí)時(shí)決策性能較好，可用于IES在線實(shí)時(shí)調(diào)度。

　　已有研究將RL應(yīng)用于微電網(wǎng)能量管理[17]-[22]。RL被用于微電網(wǎng)內(nèi)部能量管理[17]-[19]，進(jìn)行儲(chǔ)能設(shè)備的優(yōu)化調(diào)度[21];被用于微電網(wǎng)群的能量管理，以減小調(diào)度成本[20]、提高供電和運(yùn)行可靠性[22]。上述研究展示了基于RL的優(yōu)化調(diào)度的可行性，也顯示了其弱點(diǎn)。首先，復(fù)雜的設(shè)備運(yùn)行約束會(huì)急劇增加RL的動(dòng)作空間復(fù)雜度，現(xiàn)有研究[17]-[22]將約束建模為獎(jiǎng)勵(lì)函數(shù)中的懲罰，導(dǎo)致其獎(jiǎng)勵(lì)函數(shù)異常復(fù)雜;其次，RL的應(yīng)用易遭受維數(shù)災(zāi)害[23]-[25]，訓(xùn)練多需要幾十小時(shí)[20]甚至更長(zhǎng)，策略學(xué)習(xí)及更新代價(jià)較大，難以在以5分鐘為時(shí)間尺度的在線調(diào)度環(huán)境下，完成對(duì)實(shí)時(shí)數(shù)據(jù)的策略訓(xùn)練更新。

　　為簡(jiǎn)化RL獎(jiǎng)勵(lì)設(shè)計(jì)、加速其訓(xùn)練收斂，滿足IES實(shí)時(shí)調(diào)度的時(shí)間尺度要求，本文提出一個(gè)雙層RL模型。所提模型實(shí)現(xiàn)了RL與傳統(tǒng)優(yōu)化方法的結(jié)合，上層是用于序列決策的RL智能體，負(fù)責(zé)全局優(yōu)化;下層是混合整數(shù)線性規(guī)劃(mixed-integerlinearprogramming,MILP)求解器，用于單次尋優(yōu)。所提雙層模型用于一個(gè)多能園區(qū)系統(tǒng)的經(jīng)濟(jì)調(diào)度，并與動(dòng)態(tài)規(guī)劃(dynamicprogramming,DP)方法進(jìn)行了比較。結(jié)果表明，所提出的雙層模型在只利用有限即時(shí)信息的情況下，可以達(dá)到接近擁有完美預(yù)測(cè)信息的DP方法的性能，同時(shí)計(jì)算時(shí)間大大縮短。第二節(jié)進(jìn)行問題建模，第三節(jié)介紹了雙層RL模型，第四節(jié)為實(shí)驗(yàn)部分，第五節(jié)對(duì)本文進(jìn)行總結(jié)。

　　1IES經(jīng)濟(jì)調(diào)度問題

　　研究一個(gè)多能園區(qū)系統(tǒng)。在此多能園區(qū)系統(tǒng)中，電力和天然氣可以從外部購(gòu)買;熱、氣、電等能源形式可以利用熱電轉(zhuǎn)換設(shè)備相互轉(zhuǎn)換以滿足熱、電負(fù)荷需求;微型燃?xì)廨啓C(jī)利用燃?xì)獍l(fā)電，遵循“以熱定電”的原則;可再生能源和儲(chǔ)能系統(tǒng)用于提高能源利用效率;本系統(tǒng)中的可再生能源為風(fēng)能，儲(chǔ)能系統(tǒng)為電池。

　　2雙層RL模型

　　強(qiáng)化學(xué)習(xí)中，智能體通過和環(huán)境交互試錯(cuò)從而選擇動(dòng)作序列以最大化累計(jì)收益。在時(shí)刻t，智能體觀察環(huán)境狀態(tài)ts，執(zhí)行動(dòng)作ta作用于環(huán)境，并接收到一個(gè)獎(jiǎng)勵(lì)信號(hào)tr反應(yīng)動(dòng)作好壞，之后環(huán)境進(jìn)入下一狀態(tài)t1s,一條經(jīng)驗(yàn)1,,,ttttsars被記錄下并放進(jìn)經(jīng)驗(yàn)池中供RL訓(xùn)練學(xué)習(xí)使用。IES經(jīng)濟(jì)調(diào)度問題是一個(gè)具有復(fù)雜約束的離散連續(xù)混合動(dòng)作空間問題，針對(duì)該問題的特點(diǎn)，本文提出一種雙層RL模型，實(shí)現(xiàn)模型高效學(xué)習(xí)和IES實(shí)時(shí)調(diào)控。

　　2.1雙層RL模型框架

　　IES經(jīng)濟(jì)調(diào)度的動(dòng)作空間包含兩類動(dòng)作。電池的動(dòng)作會(huì)影響未來的能量狀態(tài)，稱此類動(dòng)作為遠(yuǎn)視動(dòng)作。其他可控裝置的動(dòng)作不影響系統(tǒng)未來能量狀態(tài)，只影響即時(shí)系統(tǒng)運(yùn)行成本，稱此類為短視動(dòng)作。針對(duì)此，上層RL智能體負(fù)責(zé)學(xué)習(xí)策略選擇合適遠(yuǎn)視動(dòng)作。下層優(yōu)化解算器接收上層的遠(yuǎn)視動(dòng)作，使用優(yōu)化方法求出最佳短視動(dòng)作返回至上層。每一時(shí)刻t，下層實(shí)現(xiàn)了對(duì)短視動(dòng)作的最優(yōu)搜索，避免了短視動(dòng)作空間的無效探索。

　　3實(shí)驗(yàn)驗(yàn)證

　　3.1算例配置

　　燃?xì)鈨r(jià)格設(shè)為定值3.45gcRMB/m3。一個(gè)三層神經(jīng)網(wǎng)絡(luò)被用于近似Q值函數(shù)，三個(gè)隱藏層的大小分別為400、300、200，激活函數(shù)為tanh函數(shù)，更詳細(xì)的模型結(jié)構(gòu)參數(shù)見文[24]。本文經(jīng)濟(jì)調(diào)度是一個(gè)階段性任務(wù)，具有24小時(shí)的有限時(shí)間范圍，折扣系數(shù)設(shè)為1，即無折扣，懲罰系數(shù)設(shè)置為一個(gè)很大的數(shù)字1000。

　　3.2單場(chǎng)景測(cè)試

　　首先，在單個(gè)確定性場(chǎng)景下對(duì)雙層模型進(jìn)行測(cè)試。確定性場(chǎng)景即假定擁有實(shí)時(shí)電價(jià)、燃?xì)鈨r(jià)格、熱負(fù)荷、電負(fù)荷和新能源出力的完全準(zhǔn)確的預(yù)測(cè)信息。分別采取以下兩種策略作為對(duì)照：(1)設(shè)園區(qū)中不含電池儲(chǔ)能，僅利用下層MILP求解器進(jìn)行IES調(diào)度求解;(2)利用DP，在預(yù)測(cè)信息準(zhǔn)確已知情況下進(jìn)行搜索。DP的狀態(tài)變量為SOC，離散維數(shù)為100，電池動(dòng)作同DRL的動(dòng)作變量定義，搜索時(shí)間步數(shù)為24，整個(gè)搜索空間為=100524=12000。理論上的系統(tǒng)運(yùn)行成本應(yīng)當(dāng)滿足DP<雙層DRL模型<無儲(chǔ)能。

　　3.3多場(chǎng)景測(cè)試為測(cè)試所提模型應(yīng)對(duì)系統(tǒng)不確定性的能力，考慮IES中三種不確定性的來源：電、熱負(fù)荷和新能源出力。不確定性的存在導(dǎo)致進(jìn)行IES調(diào)度時(shí)會(huì)遇到海量不同場(chǎng)景,需要測(cè)試雙層RL模型在多個(gè)場(chǎng)景下的性能。采用的風(fēng)電出力基準(zhǔn)曲線為單峰型，抽樣概率分布為伽馬分布;電負(fù)荷和熱負(fù)荷的基準(zhǔn)曲線均為雙峰型，抽樣概率分布為正態(tài)分布。顯示了風(fēng)電出力、電、熱負(fù)荷在各自的基準(zhǔn)曲線上根據(jù)其概率分布抽樣得到的100個(gè)場(chǎng)景。在此100個(gè)場(chǎng)景下進(jìn)行測(cè)試以驗(yàn)證雙層RL模型應(yīng)對(duì)系統(tǒng)不確定性的能力。

　　電力論文投稿刊物：電力系統(tǒng)自動(dòng)化(半月刊)是由國(guó)網(wǎng)電力科學(xué)研究院主辦的全國(guó)性專業(yè)技術(shù)期刊，每月10日、25日出版，國(guó)內(nèi)外公開發(fā)行。以“立足行業(yè)，鼓勵(lì)創(chuàng)新，面向應(yīng)用，促進(jìn)電力工業(yè)科技進(jìn)步”為辦刊宗旨，主要面向電力行業(yè)從事科研、設(shè)計(jì)、運(yùn)行、試驗(yàn)、制造、管理與營(yíng)銷的專業(yè)技術(shù)人員以及相關(guān)專業(yè)的大專院校師生、電力產(chǎn)品用戶等，既具有學(xué)術(shù)性和前瞻性，又注重實(shí)用性和導(dǎo)向性，同時(shí)也重視和鼓勵(lì)來自科研、生產(chǎn)第一線的經(jīng)驗(yàn)、改進(jìn)和革新的技術(shù)交流。

　　4結(jié)論

　　為了應(yīng)對(duì)IES中的不確定性，處理復(fù)雜的能量耦合關(guān)系，本文介紹了一種用于IES實(shí)時(shí)經(jīng)濟(jì)調(diào)度的雙層RL模型框架。模型上層應(yīng)用DQN進(jìn)行電池充放電出力行為學(xué)習(xí)，其他設(shè)備動(dòng)作由下層的MILP求解器求解結(jié)果提供，模型可以簡(jiǎn)化RL獎(jiǎng)勵(lì)函數(shù)設(shè)計(jì)，提升RL訓(xùn)練速度。算例分析表明，雙層模型的計(jì)算結(jié)果接近DP給出的近似最優(yōu)解。此外，模型結(jié)合了數(shù)據(jù)驅(qū)動(dòng)的RL方法和傳統(tǒng)優(yōu)化算法，具有更高的求解效率，可以實(shí)現(xiàn)IES的實(shí)時(shí)經(jīng)濟(jì)調(diào)度，且不依賴于精確的預(yù)測(cè)及物理模型。

　　參考文獻(xiàn)

　　[1]劉振亞.全球能源互聯(lián)網(wǎng)跨國(guó)跨洲互聯(lián)研究及展望[J].中國(guó)電機(jī)工程學(xué)報(bào)，2016，36(19)：5103-5110+5391.LiuZhenya.ResearchofGlobalCleanEnergyResourceandPowerGridInterconnection[J].ProceedingsoftheCSEE，2016，36(19)：5103-5110+5391(inChinese).

　　[2]孫宏斌，郭慶來，潘昭光.能源互聯(lián)網(wǎng):理念、架構(gòu)與前沿展望[J].電力系統(tǒng)自動(dòng)化，2015，39(19)：1-8.SunHongbin,GuoQinglai,PanZhaoguang.EnergyInternet:Concept,ArchitectureandFrontierOutlook[J].AutomationofElectricPowerSystems，2015，39(19)：1-8(inChinese).

　　[3]曾鳴,楊雍琦,劉敦楠,曾博,歐陽邵杰,林海英,韓旭.能源互聯(lián)網(wǎng)“源–網(wǎng)–荷–儲(chǔ)”協(xié)調(diào)優(yōu)化運(yùn)營(yíng)模式及關(guān)鍵技術(shù)[J].電網(wǎng)技術(shù),2016,40(01):114-124.ZengMing,YangYongqi,LiuDunnan,eta1.“Generation-Grid-Load-Storage”CoordinativeOptimalOperationModeofEnergyInternetandKeyTechnologies[J].PowerSystemTechnology，2016，40(01)：114-124(inChinese).

　　[4]白牧可,王越,唐巍,吳聰,張博.基于區(qū)間線性規(guī)劃的區(qū)域綜合能源系統(tǒng)日前優(yōu)化調(diào)度[J].電網(wǎng)技術(shù),2017,41(12):3963-3970.BaiMuke,WangYue,TangWei,etal.Day-AheadOptimalDispatchingofRegionalIntegratedEnergySystemBasedonIntervalLinearProgramming[J].PowerSystemTechnology，2017，41(12)：3963-3970(inChinese).

　　作者：聶歡歡，張家琦，陳穎，肖譚南