焊接智能制造即包含物聯網、大數據傳輸存儲以及人工智能等科學與技術等共性問題，也涉及“傳感-決策-執行”信息驅動的過程控制與人機協同融合的集成技術特性。傳統的焊接制造方式正從自動化、數字化和網絡化向智能化發展和演進[1,2]，一方面，采用多源傳感器獲取焊接制造過程數據，在焊接制造過程中引入信息流，實現對焊接動態過程的多模態信息感知、知識判斷與智能化控制等行為功能；另外一方面，圍繞弧焊傳感、焊接多智能體等，構建一個具有與實際焊接過程相同物理“元素”與運行狀態的焊接數字孿生系統，可模擬、監控、設計和控制實際焊接過程和運行狀態。上述“熱點”問題的研究、實現還面臨以下諸多挑戰[3~9]。(1) 焊接機理認知：焊接是一個牽涉到電弧物理、傳熱、冶金和力學的多信息、強耦合、非線性的復雜過程，并伴隨著強弧光、高溫輻射、電磁干擾、煙塵以及飛濺等。同時，焊接過程牽涉到多尺度、多物理場建模，焊接電弧、熔池動態行為，以及演變機制存在難定量、不可視等難題。(2) 焊接關鍵信息感知：面對復雜焊接場景多工況交替、多信息耦合、模式不明且多變的多源異構數據和信息，人為設計涵蓋焊接過程所有信息特征根本無從著手，而且真正覆蓋所有焊接工況下的樣本數據和接頭失效模式下的標簽數據往往很少，同時標簽數據的質量，尤其是經過焊后檢測、工藝驗證過的數據匱乏，已成為焊接過程多源信息深度感知、決策與控制等關鍵技術落地的瓶頸。(3) 復雜焊接場景模型泛化問題：實際焊接場景下，焊接多源異構傳感信號(視覺、聽覺)差異大、采樣策略形式多、數據價值密度低，導致數據質量參差不齊，呈現“碎片化”特點。實驗室條件下獲取的數據、信息特征、焊接質量預測模型及控制決策，缺乏焊接工藝知識與機理的理解，在工業場景“落地”的過程中往往呈現“一機一模型”以及模型泛化能力不足等難題。

針對電弧形態、熔池形狀及等離子體動態行為，Park等[10]和Tanaka等[11]利用光譜診斷和理論模型對電弧焊中的電磁-熱-流體現象進行了可視化研究，系統闡述了“電弧等離子體-液態熔池”的傳熱、傳質、傳量行為和機制，對電弧-熔滴-熔池流體動力學狀態和傳熱過程進行數理分析[12,13]，定量表征了焊接過程中“電弧等離子體-液態熔池”的流場、熱場、電磁場等基礎數據。上述針對電弧-熔池的數字化和可視化表征，增強了焊接動態過程的物理描述，為后續焊接接頭質量設計與控制提供了可靠的數據來源和評價依據[14,15]。

視覺傳感以其信息豐富、模仿人類視覺行為而成為最有前景的傳感方式之一，焊工對于焊接過程的感知信息80%以上來源于視覺[16~18]。視覺傳感包括主動式和被動式2大類，其在智能化焊接中主要涉及到3個方面的應用：焊前軌跡識別與初始焊接位置導引，焊接過程中的實時焊縫跟蹤，熔透狀態及焊縫成形控制。在機器人焊接軌跡識別及路徑規劃方面，主動式傳感系統包括激光掃描儀、結構光掃描儀等，被動式視覺傳感系統包括電荷耦合器件(charge coupled device，CCD)和互補金屬氧化物半導體器件(complementary metal oxide semiconductor，CMOS)工業相機等。其中，結構光工業3D相機，通過對二維灰度圖像和三維點云數據的采集，并采用點云匹配算法將待焊結構件的點云數據拼接、融合、背景去除，識別焊縫軌跡并完成焊縫路徑規劃，該方法也為機器人焊接軌跡自適應規劃提供了新的思路和技術途徑，而機器人焊接視覺跟蹤方面的研究日趨成熟，不再贅述。焊接熔池視覺測量及表征方面，一直是業界和學術界研究的熱點問題[19~21]。經驗焊工通常也是通過焊接過程熔池演變規律進行工藝參數優化調整，其領域知識主要涉及：熔池形貌(正鴨梨型、負鴨梨型和近圓型3類熔池形貌)、熔池顏色/亮度、熔池前后邊緣輪廓以及下塌量[22~24]等，借助熔池特征參數聯合調整焊接速率、電流、電壓或送絲速率等相關參數。

電弧聲音是焊工用來感知并實時判斷焊縫質量時另一個不可忽視的信號。根據傳播媒介的不同，聲音信號可分為聲發射信號(acoustic emission，AE)和可聽聲信號。聲發射信號的頻率為幾赫茲至幾萬赫茲，Tarn和Huissoon[25]采用聲發射傳感器進行激光焊接質量監控，發現焊接過程金屬熔化引起的聲發射的有效值是恒定的，并與焊接作業時間、液態熔池體積呈一定的映射關系，根據聲發射信號幅值可實現焊接參數工藝窗口穩定性判斷。Asif等[26]研究了機器人熔化極活性氣體保護電弧焊(MAG) 4種典型狀況(成形良好、過熔透、燒穿及氣孔等) AE在線監測及評價方法，并采用對抗序列標簽法進行上述焊接狀態預測。文獻[27~30]研究了鎢極氬弧焊(tungsten inert-gas welding，TIG)焊接過程聲音傳感及聲音信號包含的熔透質量信息，提出了焊接電弧聲源偶極子模型，并建立了電弧聲音與電弧能量模型。研究人員[31,32]還借鑒語音識別的理論模擬人類聲道系統，利用線性預測(LPC)分析方法建立電弧聲道的數學模型，提取電弧聲音信號特征，對比語音同焊接聲音的波形特點、電弧聲音發聲機理，基于倒譜系數建立了焊接熔透預測模型。

焊接電弧蘊含了動態焊接過程的豐富特征，可直接表征焊縫成形質量。借助光譜傳感器把不同波長的電弧光分解開，并記錄下波長分量溫度、壓力、粒子密度及運動速率的特征信息，可進行焊接電弧等離子體光譜診斷和焊接缺陷離線和在線識別[33~39]。除了采用視覺、聲音、光譜等傳感進行焊接動態過程表征之外，研究人員[35]研制了激光超聲傳感器，利用激光燒蝕作用于焊接工件表面產生的熱彈效應，通過激光干涉儀獲取工件表面的微振動，并借助合成孔徑聚焦法進行焊接熔深的原位測量和焊縫內部缺陷形貌可視化表征。

然而，面對多工況交替、多信息耦合、模式不明且多變的復雜焊接場景，單一傳感手段很難準確和全面評估焊接狀態。Feng等[40]提出了焊接多源視覺傳感(主動、被動)液態熔池圖像的端到端深度增強學習架構，進行焊接熔透狀態(未熔透、熔透和燒穿等)識別，為了適應不同焊接環境、工況下的圖像處理，設計了結合多個異構體系神經網絡的集成學習算法，實現了不同傳感單元感知熔池圖像的不同熔透狀態分類。近年來，Wang等[41]以焊接制造場景為例，開發了具有深度學習增強的數字孿生系統，讓焊接過程電弧-熔池演化過程數據化和可視化，還可進一步拓展添加焊接工藝知識庫如焊接熔池熱場、流場及接頭性能等來增強焊接孿生系統的監測和控制能力。

綜上，焊接科研工作者不斷賦予機器(焊接專機、機器人)與焊接環境交互、模仿人類甚至自主學習等新技能，然而受制于焊接實際場景不可視、難定量、非線性等特點，建立焊接電弧-熔池動態演變行為的因果屬性一直是該領域的難點之一。Wang等[41]基于液態熔池鏡面反射原理，采用點陣直接照射到熔池表面獲取熔池上表面形貌信息并進行熔池形貌三維重構，但受制于液態熔池變形、流體動力學狀態不穩定、液態金屬堆積不均勻以及熔池振蕩等因素影響，給熔池形貌精確表征以及焊接非線性過程模型辨識等帶來諸多困難。上海交通大學機器人焊接智能化技術實驗室運用人工智能技術模擬實現焊工觀察、判斷與操作行為，從現代控制理論、人工智能和焊接技術學科交叉綜合發展的角度，提出了以焊接機器人智能化技術為核心的“智能化焊接制造工程”(WIME)的概念和研究領域。

從仿生焊工的角度分析，焊工在焊接過程中主要用眼睛和耳朵感知焊接過程信息，接下來將從“視、聽”角度對焊接過程電弧-熔池進行原位測量及表征。根據熔池圖像獲取時的光源特性，視覺傳感方式可以分為被動視覺傳感和主動視覺傳感。其中，被動視覺傳感是利用焊接電弧弧光作為光源照亮熔池，再輔以減光、濾光器件進行弧光濾除，而主動視覺傳感使用激光輔助光源照亮熔池，從而獲取更加清晰和穩定的熔池圖像。

Fan等[42]設計了鋁合金填絲脈沖TIG焊多光路同時同幅被動視覺傳感系統，采用窄帶復合濾光的濾光系統，獲得了清晰、穩定的鋁合金熔池圖像(脈沖交流TIG焊，焊接峰值電流220 A，送絲速率120 mm/s)，開發了一套完整的熔池圖像幾何信息及典型焊縫宏觀缺陷(未焊透、焊漏、偏絲以及錯邊等)信息處理算法，建立了不同工況下焊接規范參數與熔池幾何形狀之間的動態關系(圖1[42])，為進一步的焊接動態過程控制奠定了基礎。

針對鋁合金交流方波TIG焊熔池圖像存在的弧光干擾問題，研制了一套基于脈沖激光輔助光源的CMOS視覺傳感系統(采像參數：交流方波TIG焊，焊接電流180 A，送絲速率70 mm/s)，并設計了條件生成對抗網絡(conditional generative adversarial net，CGAN)的熔池弧光濾除算法[43]，生成圖像與無弧光圖像對比，定量地評估生成對抗網絡去除弧光效果的結構相似度(structure similarity，SSIM)為0.78~0.95。在濾除弧光干擾的基礎上，運用級聯回歸樹算法，提取了熔池上下邊緣輪廓，并進一步提取正面熔寬特征參數，平均單幀圖像處理時間為0.930 ms，如圖2[43]所示。

變極性等離子弧焊(variable polarity plasma arc welding，VPPAW)由于其能量密度高，電弧穿透能力強，焊接效率高，無氣孔、夾渣等缺陷，因而被廣泛應用于航空、航天和電力行業。其獨特的等離子弧易于受到實際焊接規范參數變化的影響，工藝裕度窄，難以保證穿孔熔池的一致穩定性及焊縫成形的質量。因此如何實現變極性等離子弧焊接小孔動態過程的在線監控和焊縫成形質量的補償控制，對于確保等離子弧焊接過程穩定運行，實現高能束焊接智能化、自動化具有重要的意義。Wu等[44~46]設計并研制了雙光路視覺傳感器，同時同幅獲取正面熔池和背面匙孔圖像，開發了基于Part-based模型的算法，進行熔池、匙孔特征尺寸的提取，建立了工藝參數-熔池匙孔幾何特征尺寸-成形質量的定量關系。

經驗焊工在焊接過程中除了“看”，另外一個重要的感知手段就是“聽”，采用電弧聲音傳感器研究焊接電弧包含的焊接熔透、缺陷等信息，是對焊接動態過程監控的有益補充，同時也豐富了焊接過程質量監測感知系統。Chen等[47,48]研究了一般聲音信號的聲源模型及輻射特點，通過實驗測量，發現焊接聲音是一種偶極子聲源，輻射分布遵守余弦函數。鑒于焊接電弧發聲機理是由電弧等離子體體積變化誘導，且電弧能量與等離子體呈現正相關性，采用電弧能量一階差分為激勵信號，電弧聲壓為響應信號，通過改變焊接電流大小，同時采集焊接電流、電弧電壓和電弧聲壓信號，探究電弧能量與電弧聲壓之間的映射關系并建立了電弧聲音與電弧能量的非線性模型、電弧聲音發聲機理及激勵響應模型。

采用式(1)描述電弧聲音與電弧能量的映射模型[47]：

式中，x(k)和y(k)分別為模型k時刻的輸入和輸出，f為非線性函數，m和n為模型結構參數。采用混合動態長短時記憶網絡模型(dynamic long-short term memory，DLSTM)進行上述模型的參數和結構辨識，實現了電弧聲音信號的精確預測。為進一步研究焊接熔透狀態對電弧聲音信號的影響規律，Wang等[27] 提出了小波基時域緊支性、頻域的頻帶快速衰減性等規則，選擇Dbubechies小波、coiflets小波和dmey小波作為焊接聲音信號分的小波基，進一步對小波包分解節點分別從時域和頻域角度進行統計和篩選，確定均值、能量、對數能量、過零率、脈沖因子、偏態因子、峭度因子和功率譜能量等作為特征統計參量，對小波包分解節點進行處理，形成聲音的原始特征，將小波包+統計量處理+特征選擇結合，進行了焊接熔透狀態識別。鑒于語音信號與焊接電弧聲音信號在波形特點、產生機理和信號處理等方面存在相似性，將語音識別中的線性預測倒譜系數(linear predictive cepstral coefficient，LPCC)方法引入到焊接聲音特征提取中，建立電弧聲音線性模型，提取電弧聲道倒譜特征，進行焊縫熔透狀態識別。Song等[31]針對VPPAW等離子體聲音與熔透狀態(未熔透、熔透和焊漏)之間的關系，構建了基于VPPAW特有的“雙聲源特性”的隱Markov模型(hidden Markov model，HMM)焊接熔透識別模型。

顯然僅依靠“視-聽”多源異構傳感進行焊縫成形及質量的表征遠遠不夠，還需進一步分析萃取表征焊縫及接頭內部質量的特征信息。電弧光譜信息包含電弧溫度、壓力、粒子密度及運動速度等信息，且與焊縫內部缺陷的產生有本質的聯系。Huang等[49~51]圍繞鋁合金TIG焊電弧光譜信息智能處理及缺陷在線監測開展了系列研究，采用Levenberg-Marquardt聯合改進的Newton法和Boltzmann作圖法對電弧光譜中Ar I譜線信息進行處理，得到了脈沖過渡前后熔池表面附近電弧的中心溫度和電子密度，揭示了電弧光譜信息與焊接電弧及熔池內在相關性，通過主成分分析得到了電弧光譜中的Ar I譜線信息和熔池金屬譜線信息，并建立了電弧光譜特征信息和焊接熔透狀態的模糊邏輯預測模型。同時，在鋁合金焊接氣孔缺陷表征方面，還提出了光譜距離(spectral distance，SD)度量函數和改進k-medoids聚類算法，獲得了精確的線譜和表征氣孔缺陷的光強比值信號，結合最大邊緣準則的正交局部線性判別投影降維算法，有效提高了鋁合金焊接氫氣孔分辨率。

焊接工件在高溫移動熱源局部加熱、快速冷卻的條件下，受周圍冷金屬的約束而產生焊接應力和變形。因此，準確掌握焊接接頭應力-應變演變規律對于前期工藝設計和提高產品焊接質量至關重要。Chen等[52,53]提出了一種焊接接頭熱影響區高溫應變原位測量方法-數字圖像的相關方法(digital image correlation，DIC)，可實現焊接過程接頭熔合線區、熱影響區高溫應變定量表征。通過激光輔助光源和耐高溫散斑制備技術，有效抑制了外部干擾(焊接弧光和高溫)對測量精度的影響，圖3[53]給出了焊接熱影響區高溫應變及應力原位測量及表征一般計算流程。

基于多傳感器數據融合的焊接質量在線監測在智能焊接過程中越來越受到重視。Zhang等[15,54]建立了電壓-聲音-光譜特征融合的焊縫熔透狀態交叉驗證支持向量機(support vector machine-cross validation，SVM-CV)預測模型，該模型通過混合filter與wrapper的特征選擇器解決了分類器和特征集依賴性問題，模型預測精度可達94.72%，為后續焊接多源異構多傳感器數據的特征提取、選擇和動態建模以及弧焊缺陷在線檢測提供了技術實現途徑。

基于圍繞焊接過程多維多態信息的特征提取和維數約簡等問題，Wu等[45]針對變極性等離子弧焊穿孔熔池視覺及聲音多源信息混合組成的高維特征空間，引入非線性流形學習技術，對最優特征空間進行智能篩選，構建了基于模糊推理及神經網絡的焊縫成形預測模型，實現了多源傳感高維特征下的焊接熔透狀態的在線識別。

焊接過程本身是一個高度復雜的非線性強耦合系統，難以用經典的數學模型來準確地描述，從而限制了一些傳統的控制方法在焊接過程的應用，為了克服控制器適應性差、穩定性不足等缺點，目前更多地將人工智能與控制系統結合起來，從而發展了智能控制理論，該理論已經在TIG、VPPAW以及熔化極氣體保護焊(gas metal arc welding，GMAW)等焊接過程中得到了廣泛的應用。Fan等[42]基于模糊邏輯和人工智能理論，采用自學習模糊神經網絡實現了TIG焊接過程的實時控制，由于可以自適應調整控制規則，該控制器的適應性和魯棒性較好。

在機器人或自動焊接過程中，以電弧焊為例，焊接涉及到傳熱、傳質、力學以及冶金的復雜物理和化學過程，焊接動態過程內在的“不可視”、難定量、非線性以及強耦合等特性，給焊接過程控制帶來了諸多難題。Ma等[55]從混雜系統研究角度出發，基于混合邏輯動態建模框架，分析焊接過程的混雜特性(邏輯變量、離散變量和開關變量)，設計了基于焊接機器人焊接過程MLD (mixed logical dynamical)模型的預測控制。Wu等[56]和Lv等[57]采用線性差分方程(ARX)進行了VPPAW穿孔熔池過程的多輸入單輸出模型辨識，用于提供控制器設計所需的輸入-輸出數據，并程進行了離線仿真，考慮到VPPAW過程難以建立精確的過程模型的局限性，設計不依賴于焊接過程的無模型自適應控制(model free adaptive control，MFAC)方法，聯合調節焊接電流和離子氣流量，實現了變熱輸入、變厚度和變散熱下的焊接熔透控制。

針對傳統“示教-再現”型機器人對焊接環境缺乏感知能力，難以適應焊接過程中存在焊縫偏差的問題，Ye等[58,59]以低碳鋼脈沖MAG焊為研究對象，開展了脈沖MAG焊過程視覺與電弧特征提取及焊縫跟蹤控制的研究，采用被動視覺傳感技術獲取焊接過程的視覺信息，實現焊縫的左右跟蹤；同時針對視覺傳感技術難以獲得焊槍高度信息這一不足，引入電弧傳感技術，實現焊槍高度方向的跟蹤。基于此提出了一套用于提取焊縫左右偏差的圖像處理方法；同時針對單一判據難以完全準確區分噪聲邊緣與焊縫邊緣的不足，提出了一種多判據目標識別方法(MMOR)，并采用角度-間隙輔助焊縫定位法(AGALM)定位焊縫邊緣；基于電弧圖像特征開發了焊絲投射點的提取算法，針對焊縫區域的圖像特征，提出一種基于先驗知識的焊縫信息提取策略。通過對電源特性的分析，提出了若干與焊槍高度相關的電弧特征，建立了平均電流與焊槍高度之間的關系模型。進一步研究了機器人運動空間的直線插補算法與圓弧插補算法，設計了一種模糊自適應PID(proportional integral derivative)控制結合模糊控制的雙模復合控制系統。通過對視覺處理滯后引入的誤差成因進行分析，推導出誤差的估計公式，并在此基礎上提出一種基于焊絲投射點預測修正的誤差補償算法，提高了焊縫跟蹤的精度和穩定性。

Hou等[60]和Xiao等[61]針對中厚板機器人GMAW智能化焊接的共性技術難題，研究了基于激光視覺傳感的機器人中厚板多層多道焊接自主導引、焊縫實時跟蹤和焊道自適應規劃等關鍵技術。自主開發并研制了適用于中厚板機器人焊接的多功能激光視覺傳感系統，主要功能包括焊縫類型識別、焊縫跟蹤、焊道掃描和規劃等，其中關鍵技術涉及擺動焊接激光條紋圖像的動態線形感興趣區域、基于先驗知識模型(不同類型坡口)的圖像處理算法、起弧-焊接-熄弧分階段跟蹤模型、模型驅動(模型-掃描-規劃-焊接-掃描-修正)的多層多道規劃及實時修正策略，如圖4所示。

在大型焊接制造系統的設計過程中將不可避免地遇到多任務并發執行、多傳感同步監控、多源信息融合、多資源協同調度等問題。為此本課題組提出了一套焊接過程多信息監測智能體聯盟的設計方案，以機器人脈沖GTAW工藝過程為研究對象，構建了熔池監控智能體、聲音監控智能體、電流監控智能體、電壓監控智能體和傳感監控智能體，并將這些智能體一同組建為多信息監測智能體聯盟，實現了焊接過程多源傳感信息的實時采集、特征提取以及可視化，最后對智能體單元功能完備性與多智能體協同機制有效性進行了實驗驗證，如圖5所示。

針對軌道交通、工程機械等領域的機器人焊接現場多源數據智能管控需求，構建了機器人MAG焊接智能管控系統本地端和服務器端，確保焊接過程中電壓、電流、焊接電弧聲音、電弧-熔池圖像、保護氣體流量等多源信息實時采集、感知和傳輸，實現了斗桿機器人焊接全流程數據可追溯和循證。基于數字化與信息化的深度融合實現焊接制造過程中的缺陷實時預警，多維度、多視角下焊接熔透狀態(根部未焊透、層間未熔合、焊漏)、錯邊、卡絲、表面氣孔以及焊偏等缺陷開展在線預測及定量評估方法研究，如圖6所示，為解決復雜場景下焊接過程的全景式智能評判提供了有益的技術途徑。

針對運載火箭貯箱機器人焊接應用的難點問題，由上海航天精密機械研究所牽頭，上海交通大學和江蘇北人機器人系統股份有限公司參與，開展了運載火箭貯箱機器人智能化焊接技術的研究和應用[62]，以運載火箭貯箱箱底法蘭環縫、箱底縱縫和筒段環縫的變極性TIG、變極性等離子焊接過程作為研究對象，通過模擬焊工作業過程的感知、決策和控制過程，在大型薄壁鋁合金結構件分層遞階多智能體的焊接智能裝備架構、復雜空間曲面焊接過程工藝智能優化與自適應控制策略、焊接設備互聯與狀態實時監測的系統結構與實現等方面取得了關鍵技術突破。

本文梳理了近年來本課題組在復雜場景下的智能化焊接及關鍵技術等方面的工作，給出了焊接動態過程多源信息獲取、處理、融合及知識建模等方面的系統性算法，提出了若干焊接多模態信息驅動的知識提取及焊縫質量智能控制新方法。針對機器人焊接智能化技術實現，開發了視覺-電弧傳感的機器人焊接尋位、路徑規劃、焊縫糾偏以及焊道自適應編排等算法及工程實現途徑，形成了機器人焊接多信息監測智能體聯盟協調機制，并在航天、軌道交通以及工程機械等領域進行了應用驗證。

面臨復雜焊接場景多工況交替、多信息耦合、模式不明且多變等復雜科學問題和技術難題，未來從焊接加工到焊接制造的提升，需進一步聚焦數字化與智能化焊接制造，以實現焊接結構件的幾何特征與宏微觀性能一體的精準優化與控制為目標，借助焊接工藝、機理的數理建模、數值模擬、人工智能與焊接大數據以及數字控制等技術手段，遵循焊接熱制造“虛擬-擬實-建模-控制”的理念，研究焊接制造全流程多尺度建模、高效高精度數值計算，復雜焊接場景與接頭形性參數的在線感知，焊接工藝、機理融合知識模型的自學習與進化以及面向復雜時變焊接工況的自適應調控等，進而發展現代信息技術與焊接制造深度結合的數字化與智能化理論方法及裝備。