如今，人工智能飛速發(fā)展，作為人工智能領(lǐng)域研究核心的深度學(xué)習受到研究者們的重視，各種數學(xué)算法和模型不斷被提出，并在實(shí)踐應用中發(fā)揮著(zhù)巨大的作用，大大提高了智能裝備和智能機器人的工作效能以及應用領(lǐng)域。本書(shū)技術(shù)先進(jìn)，全面介紹了智能機器人深度學(xué)習的知識，供讀者參考。

人工智能是引領(lǐng)未來(lái)的戰略性技術(shù)，新質(zhì)生產(chǎn)力的重要組成部分。我國出臺了《新一代人工智能發(fā)展規劃》，許多大學(xué)成立了人工智能學(xué)院，開(kāi)設面向人工智能本科生特殊人才培養的圖靈班等。作為人工智能的三大支柱之一的人工智能算法得到科學(xué)界和工業(yè)界的關(guān)注，以深度學(xué)習為代表的神經(jīng)網(wǎng)絡(luò )算法正在視覺(jué)識別、機器人導航、機器人控制、無(wú)人駕駛等領(lǐng)域得到廣泛應用。
本書(shū)編撰的目的是總結深度學(xué)習算法的技術(shù)基礎和基本理論，并且分享江南大學(xué)機器視覺(jué)與運動(dòng)控制課題組在產(chǎn)學(xué)研合作中應用深度學(xué)習算法的案例，比如人機協(xié)作、機器人動(dòng)態(tài)抓取、工業(yè)產(chǎn)品缺陷視覺(jué)檢測等實(shí)踐研究。本書(shū)可作為相關(guān)領(lǐng)域技術(shù)人員的職業(yè)指導，也可作為機械工程、機器人工程專(zhuān)業(yè)的研究生教材，還可作為智能制造工程、機械工程、機器人工程等專(zhuān)業(yè)本科生的專(zhuān)業(yè)選修課教材。
本書(shū)以深度學(xué)習理論和實(shí)踐為主線(xiàn)，系統總結了深度學(xué)習的發(fā)展歷史、主流算法和在智能機器人中的實(shí)際應用。本書(shū)分為十三章：第一章緒論，介紹了機器智能、機器學(xué)習、神經(jīng)網(wǎng)絡(luò )以及深度學(xué)習的概念與常見(jiàn)算法，并概述了深度學(xué)習在智能機器人方面的應用；第二章機器學(xué)習的數學(xué)基礎，介紹了機器學(xué)習所需的數學(xué)基礎知識，包括標量、矢量、矩陣和張量的概念，以及機器學(xué)習中度量指標和概念分布；第三章機器學(xué)習的構成及理論基礎，介紹了機器學(xué)習的分類(lèi)和重要參數，并對機器學(xué)習中存在的過(guò)擬合、欠擬合問(wèn)題進(jìn)行描述，總結了機器學(xué)習中存在的交叉驗證方法和常見(jiàn)的機器學(xué)習模型；第四章神經(jīng)網(wǎng)絡(luò )基礎，介紹了常見(jiàn)的神經(jīng)網(wǎng)絡(luò )類(lèi)型，并針對神經(jīng)網(wǎng)絡(luò )中核心問(wèn)題和最優(yōu)化過(guò)程進(jìn)行講解，最后對常用的兩種深度學(xué)習框架PaddlePaddle和pyTorch進(jìn)行介紹；第五章卷積神經(jīng)網(wǎng)絡(luò )，介紹了卷積神經(jīng)網(wǎng)絡(luò )的基本組成和運行機理，列舉了多種常見(jiàn)的卷積神經(jīng)網(wǎng)絡(luò )，并輔以實(shí)例進(jìn)行介紹；第六章循環(huán)神經(jīng)網(wǎng)絡(luò )，介紹了循環(huán)神經(jīng)網(wǎng)絡(luò )的基本組成和運行機理，并針對長(cháng)短時(shí)記憶網(wǎng)絡(luò )、遞歸神經(jīng)網(wǎng)絡(luò )和門(mén)控循環(huán)單元網(wǎng)絡(luò )進(jìn)行講解；第七章注意力機制與外部記憶，介紹了注意力機制和外部記憶的原理和具體方法，并針對計算機視覺(jué)中的注意力機制進(jìn)行重點(diǎn)講解，最后講解了如何在YOLOv7網(wǎng)絡(luò )中添加注意力機制；第八章深度學(xué)習調優(yōu)方法，介紹了深度學(xué)習從數據、模型結構和模型參數三個(gè)方面出發(fā)進(jìn)行調優(yōu)的方法；第九章智能機器人的視覺(jué)感知方法與視覺(jué)處理技術(shù)，介紹了經(jīng)典的視覺(jué)感知方法，從機器學(xué)習和深度學(xué)習兩方面探討了智能機器人的感知方法和相關(guān)技術(shù)；第十章智能機器人的定位與導航規劃技術(shù)，介紹了智能機器人在移動(dòng)中所需的地圖構建和導航規劃技術(shù)，最后講解了多AGV任務(wù)調度及路徑規劃技術(shù)；第十一章基于深度學(xué)習的表面缺陷檢測技術(shù)，介紹了表面缺陷技術(shù)的研究現狀和相關(guān)技術(shù)，并以液晶面板電極缺陷檢測為例，講解了數據集建立和模型訓練的具體操作；第十二章基于深度學(xué)習的人機協(xié)作動(dòng)作識別，介紹了人機協(xié)作動(dòng)作識別技術(shù)的研究現狀和存在問(wèn)題，并輔以代碼進(jìn)行具體操作的講解；第十三章基于深度學(xué)習的機器人視覺(jué)抓取，介紹了機器人視覺(jué)抓取的研究現狀和應用，并對機器人視覺(jué)系統標定與坐標轉換進(jìn)行描述，最后介紹了兩種不同的抓取檢測方法。
本書(shū)由俞建峰為主編，化春鍵和蔣毅為副主編；江南大學(xué)范先友、俞俊楠、黃然、劉子璇、熊煥、吳永澤、顧毅楠、孫輝、倪奕、賀順、單子豪、邵柏潭等參與了編寫(xiě)工作并付出了艱辛的努力，在此表示感謝。感謝江南大學(xué)研究生院對本書(shū)出版的大力支持，本書(shū)獲得江南大學(xué)2023年研究生教材立項（YJSJC23_004）。本書(shū)得到無(wú)錫尚實(shí)電子科技有限公司賈磊、無(wú)錫精質(zhì)視覺(jué)科技有限公司蔣樂(lè )、無(wú)錫普瑞精密技術(shù)有限公司蔡立軍、無(wú)錫華拓科技有限公司金熠、長(cháng)廣溪智能制造（無(wú)錫）有限公司吉峰等企業(yè)家的大力支持。編者還要感謝關(guān)心、支持、指導本書(shū)出版的專(zhuān)家學(xué)者，衷心感謝他們提出的寶貴建議。同時(shí)，對提供技術(shù)資料的相關(guān)企業(yè)和參考文獻中涉及的國內外專(zhuān)家學(xué)者表示誠摯的謝意！
由于編者水平有限，書(shū)中難免存在不足之處，懇請廣大讀者批評指正！

俞建峰
于江南大學(xué)
2024年3月10日

俞建峰，江南大學(xué)機械工程學(xué)院教授，博士生導師。2004年7月畢業(yè)于上海交通大學(xué)機械與動(dòng)力工程學(xué)院，獲機械電子工程專(zhuān)業(yè)工學(xué)博士學(xué)位。中國機械工業(yè)教育協(xié)會(huì )機器人工程專(zhuān)業(yè)委員、中國電機工程學(xué)會(huì )會(huì )員、中國化工學(xué)會(huì )過(guò)濾與分離專(zhuān)業(yè)委員會(huì )委員、中國食品加工機械標準化技術(shù)委員。曾獲2023年中國輕工業(yè)聯(lián)合會(huì )科學(xué)技術(shù)獎一等獎(排名第一)江蘇省科技進(jìn)步三等獎2項(排第三)、2020年江蘇省普通高等學(xué)校本科優(yōu)秀畢業(yè)設計(論文)指導教師、2019年度江南大學(xué)榮智權獎教金。講授《嵌入式系統與人工智能》《過(guò)程設備設計》《機械有限元設計》等課程。主要研究領(lǐng)域為機器人運動(dòng)控制、嵌入式傳感系統高壓脈沖電源、工業(yè)互聯(lián)與控制。主持或參加各類(lèi)科研課題30余項，授權國家發(fā)明專(zhuān)利43項，出版著(zhù)作6部。

智能機器人發(fā)展日新月異，相關(guān)的機器學(xué)習技術(shù)受到廣泛關(guān)注。本書(shū)以其中關(guān)鍵的深度學(xué)習理論與實(shí)踐為主線(xiàn)，系統介紹了機器智能、機器學(xué)習和神經(jīng)網(wǎng)絡(luò )的概念與算法；機器學(xué)習的參數及其擬合和欠擬合的問(wèn)題；神經(jīng)網(wǎng)絡(luò )等數學(xué)模型；卷積神經(jīng)網(wǎng)絡(luò )模型；循環(huán)神經(jīng)網(wǎng)絡(luò )；注意力機制以及深度學(xué)習的算法；基于深度學(xué)習的人機協(xié)作識別、動(dòng)作抓取、平面檢測等應用知識。
本書(shū)適宜從事機械、自動(dòng)控制等智能機器人相關(guān)專(zhuān)業(yè)的技術(shù)人員參考，也可作為相關(guān)專(zhuān)業(yè)的本科教材。

第一章緒論1
1.1自然智能與機器智能1
1.1.1自然智能1
1.1.2機器智能3
1.2機器獲取知識的途徑：機器學(xué)習5
1.2.1機器學(xué)習的概念5
1.2.2基本機器學(xué)習模型6
1.3機器認知智能的實(shí)現途徑：神經(jīng)網(wǎng)絡(luò )10
1.3.1生物神經(jīng)網(wǎng)絡(luò )10
1.3.2人工神經(jīng)網(wǎng)絡(luò )與神經(jīng)元模型12
1.4深度學(xué)習的前沿發(fā)展及其應用15
1.4.1深度學(xué)習15
1.4.2大語(yǔ)言模型16
1.4.3ChatGPT：智能對話(huà)機器人18
1.4.4OpenAI Codex：代碼生成與輔助編程19
1.5深度學(xué)習與智能機器人21
1.5.1智能機器人的定義與目標21
1.5.2智能機器人與工業(yè)機器人的區別22
1.5.3智能機器人的環(huán)境多模態(tài)感知23
1.6本章小結27

第二章機器學(xué)習的數學(xué)基礎28
2.1標量、向量、矩陣和張量28
2.2矩陣和向量相乘32
2.2.1矩陣和向量相乘的規則32
2.2.2矩陣和向量相乘的性質(zhì)32
2.2.3矩陣乘法的計算方法33
2.2.4矩陣乘法在神經(jīng)網(wǎng)絡(luò )中的應用33
2.3導數34
2.3.1一般運算法則35
2.3.2鏈式求導法則36
2.4度量標準39
2.4.1誤差39
2.4.2距離39
2.4.3相似度40
2.5概率分布43
2.5.1二項分布44
2.5.2正態(tài)分布45
2.6本章小結46

第三章機器學(xué)習的構成及理論基礎48
3.1機器學(xué)習基礎概念48
3.1.1人類(lèi)學(xué)習與機器學(xué)習48
3.1.2機器學(xué)習的研究?jì)热?9
3.1.3機器學(xué)習系統的基本構成50
3.2機器學(xué)習的分類(lèi)52
3.2.1監督學(xué)習53
3.2.2半監督學(xué)習54
3.2.3無(wú)監督學(xué)習54
3.2.4強化學(xué)習56
3.3機器學(xué)習的重要參數56
3.3.1學(xué)習率56
3.3.2動(dòng)量系數57
3.3.3偏置項58
3.4擬合問(wèn)題59
3.4.1過(guò)擬合問(wèn)題59
3.4.2欠擬合問(wèn)題60
3.5交叉驗證60
3.5.1數據類(lèi)型與選擇方法61
3.5.2留一交叉驗證62
3.5.3K折交叉驗證62
3.6回歸分析63
3.6.1線(xiàn)性回歸63
3.6.2邏輯回歸66
3.7評價(jià)指標69
3.8本章小結71

第四章神經(jīng)網(wǎng)絡(luò )構成及理論基礎72
4.1神經(jīng)網(wǎng)絡(luò )概述72
4.1.1深度學(xué)習和神經(jīng)網(wǎng)絡(luò )間的關(guān)系74
4.1.2神經(jīng)網(wǎng)絡(luò )的深度和寬度74
4.2常見(jiàn)的神經(jīng)網(wǎng)絡(luò )類(lèi)型75
4.2.1全連接神經(jīng)網(wǎng)絡(luò )75
4.2.2卷積神經(jīng)網(wǎng)絡(luò )76
4.2.3循環(huán)神經(jīng)網(wǎng)絡(luò )77
4.3神經(jīng)網(wǎng)絡(luò )設計的核心問(wèn)題78
4.3.1定義神經(jīng)網(wǎng)絡(luò )結構79
4.3.2選擇損失函數79
4.3.3選擇激活函數79
4.4神經(jīng)網(wǎng)絡(luò )最優(yōu)化過(guò)程82
4.4.1梯度下降算法82
4.4.2正向傳播算法86
4.4.3反向傳播算法87
4.4.4BP神經(jīng)網(wǎng)絡(luò )88
4.5其他神經(jīng)網(wǎng)絡(luò )與深度學(xué)習91
4.5.1生成對抗網(wǎng)絡(luò )91
4.5.2深度信念網(wǎng)絡(luò )93
4.5.3遷移學(xué)習95
4.6PyTorch和PaddlePaddle簡(jiǎn)介97
4.6.1PyTorch98
4.6.2PaddlePaddle103
4.7本章小結105

第五章卷積神經(jīng)網(wǎng)絡(luò )107
5.1卷積神經(jīng)網(wǎng)絡(luò )概述107
5.1.1發(fā)展歷程和實(shí)際應用107
5.1.2基本組成111
5.2卷積神經(jīng)網(wǎng)絡(luò )的特征116
5.2.1連接稀疏性116
5.2.2參數共享機制117
5.3卷積神經(jīng)網(wǎng)絡(luò )中的反向傳播算法118
5.4其他卷積方式119
5.4.1轉置卷積119
5.4.2空洞卷積122
5.4.3分組卷積和深度分離卷積122
5.5卷積神經(jīng)網(wǎng)絡(luò )的典型模型125
5.5.1LeNet-5125
5.5.2AlexNet126
5.5.3VGGNet127
5.5.4GoogLeNet137
5.5.5ResNet148
5.5.6MobileNet和ShuffleNet161
5.5.7MMDetection框架搭建并實(shí)現訓練與測試169
5.6本章小結179

第六章循環(huán)神經(jīng)網(wǎng)絡(luò )181
6.1循環(huán)神經(jīng)網(wǎng)絡(luò )概述181
6.1.1背景181
6.1.2概念182
6.1.3基本結構182
6.2循環(huán)神經(jīng)網(wǎng)絡(luò )分類(lèi)184
6.2.1單向循環(huán)神經(jīng)網(wǎng)絡(luò )184
6.2.2雙向循環(huán)神經(jīng)網(wǎng)絡(luò )185
6.2.3深度循環(huán)神經(jīng)網(wǎng)絡(luò )186
6.3模型訓練與優(yōu)化187
6.3.1隨時(shí)間反向傳播算法188
6.3.2實(shí)時(shí)循環(huán)學(xué)習算法188
6.4長(cháng)短時(shí)記憶網(wǎng)絡(luò )190
6.4.1原理講解190
6.4.2代碼講解191
6.5遞歸神經(jīng)網(wǎng)絡(luò )200
6.5.1原理講解200
6.5.2代碼講解202
6.6門(mén)控循環(huán)單元網(wǎng)絡(luò )207
6.6.1原理講解207
6.6.2代碼208
6.7本章小結208

第七章注意力機制與外部記憶210
7.1認知神經(jīng)學(xué)中的注意力210
7.2注意力機制211
7.2.1注意力機制原理211
7.2.2注意力機制的變體212
7.3自注意力機制215
7.3.1自注意力機制原理215
7.3.2Transformer217
7.4人腦中的記憶219
7.5記憶增強神經(jīng)網(wǎng)絡(luò )221
7.5.1外部記憶221
7.5.2端到端記憶網(wǎng)絡(luò )222
7.5.3神經(jīng)圖靈機223
7.6計算機視覺(jué)中的注意力機制225
7.6.1計算機視覺(jué)中的注意力機制發(fā)展歷程225
7.6.2通道注意力機制227
7.6.3空間注意力機制229
7.6.4時(shí)間注意力機制232
7.6.5分支注意力機制234
7.6.6通道和空間注意力機制236
7.6.7時(shí)空注意力機制239
7.6.8注意力模塊添加的案例介紹242
7.7本章小結256

第八章深度學(xué)習調優(yōu)方法258
8.1數據方面258
8.1.1數據清洗258
8.1.2數據增強263
8.1.3數據降噪266
8.1.4數據歸一化269
8.2模型結構方面271
8.2.1注意力機制271
8.2.2特征金字塔271
8.2.3殘差結構272
8.2.4確定網(wǎng)絡(luò )層數273
8.3模型參數方面275
8.3.1學(xué)習率調整275
8.3.2參數初始化277
8.3.3網(wǎng)絡(luò )正則化278
8.3.4預訓練模型的遷移學(xué)習282
8.4本章小結283

第九章智能機器人的視覺(jué)感知方法與視覺(jué)處理技術(shù)285
9.1經(jīng)典的視覺(jué)感知方案285
9.1.1視覺(jué)信息獲取285
9.1.2視覺(jué)顯著(zhù)性檢測286
9.1.3光學(xué)系統的設計287
9.2視覺(jué)感知的傳統處理方法292
9.2.1圖像處理基礎292
9.2.2傳統的圖像特征提取293
9.2.3傳統的目標檢測和識別295
9.3基于機器學(xué)習的視覺(jué)感知方法296
9.3.1集成學(xué)習296
9.3.2局部二值模式299
9.3.3特征點(diǎn)匹配方法301
9.3.4方向梯度直方圖303
9.3.5支持向量機305
9.4基于深度學(xué)習的視覺(jué)感知方法307
9.4.1經(jīng)典的視覺(jué)感知網(wǎng)絡(luò )結構307
9.4.2基于深度學(xué)習的目標感知307
9.5面向少量樣本學(xué)習的視覺(jué)感知方法309
9.5.1孿生神經(jīng)網(wǎng)絡(luò )309
9.5.2零樣本學(xué)習309
9.6本章小結311

第十章智能機器人的定位與導航規劃技術(shù)313
10.1地圖表示與構建313
10.1.1地圖表示313
10.1.2地圖構建317
10.2移動(dòng)機器人定位319
10.2.1傳感器技術(shù)319
10.2.2定位方法320
10.3導航規劃321
10.3.1導航技術(shù)322
10.3.2規劃技術(shù)324
10.4機器人運動(dòng)控制327
10.4.1PID控制327
10.4.2模型預測控制328
10.4.3軌跡追蹤329
10.5多AGV任務(wù)調度及路徑規劃技術(shù)329
10.5.1AGV調度系統任務(wù)描述330
10.5.2AGV任務(wù)調度功能331
10.5.3AGV的路徑規劃算法332
10.5.4多AGV的沖突和避障算法335
10.6本章小結336

第十一章基于深度學(xué)習的表面缺陷檢測技術(shù)337
11.1表面缺陷檢測技術(shù)研究337
11.1.1研究背景與意義337
11.1.2國內外研究現狀338
11.2基于機器視覺(jué)的表面缺陷檢測技術(shù)342
11.2.1機器視覺(jué)中的圖像處理技術(shù)342
11.2.2基于機器視覺(jué)的表面缺陷檢測過(guò)程345
11.2.3基于深度學(xué)習的表面缺陷檢測技術(shù)348
11.3具體案例：液晶面板電極缺陷檢測技術(shù)352
11.3.1液晶面板電極缺陷353
11.3.2基于深度學(xué)習的液晶面板電極缺陷檢測方法356
11.3.3實(shí)驗結果和性能評估366
11.4本章小結372

第十二章基于深度學(xué)習的人機協(xié)作動(dòng)作識別373
12.1人機協(xié)作動(dòng)作識別技術(shù)研究373
12.1.1研究背景與意義373
12.1.2國內外研究現狀374
12.1.3動(dòng)作識別模型375
12.2人機協(xié)作應用376
12.2.1動(dòng)作識別技術(shù)在人機協(xié)作中的應用376
12.2.2動(dòng)作識別技術(shù)在虛擬現實(shí)領(lǐng)域中的應用377
12.3人機協(xié)作中的動(dòng)作識別問(wèn)題378
12.3.1動(dòng)作識別問(wèn)題定義378
12.3.2動(dòng)作特征的提取379
12.3.3動(dòng)作識別模型的構建381
12.3.4人機協(xié)作場(chǎng)景中的動(dòng)作識別383
12.4具體案例：基于深度學(xué)習的動(dòng)作識別384
12.4.1動(dòng)作視頻采集設備的選擇384
12.4.2環(huán)境設置和數據采集384
12.4.3數據處理386
12.4.4模型訓練386
12.4.5動(dòng)作識別模型的性能評估389
12.5前沿拓展：基于肌電信號及腦機設備的動(dòng)作識別390
12.6本章小結391

第十三章基于深度學(xué)習的機器人視覺(jué)抓取392
13.1研究背景及意義392
13.1.1機器人視覺(jué)抓取技術(shù)應用392
13.1.2機器人視覺(jué)抓取技術(shù)發(fā)展393
13.2深度學(xué)習在機器人視覺(jué)抓取中的應用及研究現狀395
13.2.1目標檢測定位396
13.2.2位姿估計397
13.2.3抓取點(diǎn)檢測397
13.3基于深度學(xué)習的機器人視覺(jué)抓取問(wèn)題描述398
13.3.1機器人抓取任務(wù)分類(lèi)398
13.3.2機器人抓取位姿表示399
13.3.3抓取檢測數據集400
13.4機器人視覺(jué)系統標定與坐標轉換403
13.4.1相機成像原理403
13.4.2相機標定406
13.4.3手眼標定406
13.5具體實(shí)例：抓取位姿檢測408
13.5.1判別式抓取檢測408
13.5.2生成式抓取檢測410
13.5.3從零開(kāi)始訓練抓取檢測模型：GGCNN415
13.6基于深度學(xué)習的機器人視覺(jué)抓取技術(shù)挑戰和未來(lái)發(fā)展方向422
13.7本章小結423

參考文獻424