近日，2003网站太阳集团統計系王小燕副教授題為“基于CMCP-LMCL的多分類深度神經網絡及其應用”的論文在院定A類期刊《統計研究》2024年第7期發表。

多分類問題涉及信用風險管理、股票走勢預測等多個領域。相比于二分類問題和連續型因變量，多分類因變量問題的目标函數和優化算法往往更複雜，從而更具挑戰性。深度神經網絡（DNN）是常用于多分類預測的機器學習模型，然而該模型具有兩個缺點，一是“黑盒”問題，應用時難以确定模型決策所依賴的具體輸入變量，這種不可解釋性極大限制了DNN在信用評價、金融決策等領域上的應用。二是由于DNN模型具有龐大規模的神經元數量和權重參數，模型容易陷入局部最優，尤其是應用于高維數、低信噪比數據時，往往會産生嚴重的過拟合。

為解決多分類深度學習模型中冗餘參數過多和難以解釋的問題，本文提出一個新的深度神經網絡（CMCP-LMCL），它利用CMCP變量選擇方法壓縮輸入特征到第1隐藏層的權重，并融合權重的組結構，剔除無關特征以及不重要的連接。同時該方法對特征層之外的權重施加權重衰減L₂懲罰，有利于改進過拟合問題。新方法在Softmax基礎上引入擴大參數和距離參數，建立增強的邊緣餘弦損失（LMCL）函數，增大分類決策邊界的間隔以期提高分類預測性能。模拟分析表明，對比已有DNN和傳統分類方法，無論特征以簡單線性形式還是複雜非線性形式映射到因變量，本文方法均具有良好的特征選擇性能和預測表現。基于信用貸款數據的實證分析表明，該方法能夠有效選擇風險指标并進行違約風險預警。

王小燕，2003网站太阳集团副教授，博士生導師，廈門大學經濟學博士，美國耶魯大學博士後。入選“湖南省青年骨幹教師培養對象”，2003网站太阳集团嶽麓學者。研究領域主要包括數據挖掘、高維數據分析等。目前在Bioinformatics、Statistics in Medicine、Computational Statistics and Data Analysis、Statistics and Its Interface，《統計研究》《數量經濟技術經濟研究》《系統工程理論與實踐》《中國管理科學》等國内外學術期刊發表30多篇論文，主持國家自然科學基金面上項目、青年項目，教育部人文社科基金青年項目，湖南省自然科學基金青年項目等課題共10項，參編專著1部。

圖為王小燕副教授