【内容简介】

《如何创建Simulink环境及程序详解视频》共7章42节视频，总学时384分钟，合6.4小时。把自己的强化学习问题，通过创建Simulink环境，就可以利用MATLAB现有程序求解。

主要内容包括：视频课程内容介绍及慎拍不拍说明与参考文献，创建强化学习环境的作用与两个途径，重置函数功能详解及车杆平衡与金融交易问题的两个重置函数解读，Simulink模型功能详解及5个不同形式的Simulink模型对比分析，用重置函数和Simulink模型创建Simulink环境及程序详解，创建Simulink环境及选用DDPG智能体程序求解四足机器人快速行走控制问题，利用强化学习设计器导入Simulink环境选择TD3智能体求解四足机器人行走控制。

拍付费算法课程后，全部免费提供MATLAB程序，免费提供辅导答疑，免费提供PPT课件。

【如何为己所用】：

（1）只需具有自己的问题，代入所给的程序求解即可。

（2）利用提供的程序即可完整得到深度强化学习的问题环境，利用环境就可以进一步求解深度强化学习问题。

【前期基础】课程或知识

(1)《强化学习RL及其应用与MATLAB程序详解视频》

【后期选学】课程推荐

(1)《强化学习RL及其应用与MATLAB程序详解视频》

(2)《强化学习设计器使用与MATLAB程序详解视频》

(3)《深度强化学习(DRL)及其应用与MATLAB程序详解视频》

(4)《如何创建强化学习问题的MATLAB环境及程序详解视频》

(5)《AC算法实现股票交易操作深度强化学习与MATLAB程序》

【深度强化学习算法视频课程】推荐

(1)《强化学习RL及其应用与MATLAB程序详解视频》

(2)《深度强化学习DRL及其应用与MATLAB程序详解视频》

(3)《强化学习设计器使用与MATLAB程序详解视频》

(4)《如何创建强化学习问题的MATLAB环境及程序详解视频》

(5)《如何创建强化学习问题的Simulink环境及程序详解视频》

(6)《AC算法实现股票交易操作深度强化学习与MATLAB程序》

(7)《DDPG算法实现双积分系统控制与MATLAB程序详解视频》

一、学习指导方案

1、全部视频都在网上。请首先按照视频文件序号由小到大（若前序号相同，说明视频内容密切联系，再看后面序号大小）的序号观看，保证内容由浅入深地顺序学习。

2、在看视频的同时，利用【倍速】【暂停】【倒回】操作，最好运行程序文件。

3、将存在的问题记录下来，看看视频是否讲解。对视频还是没有讲解的问题，尽快问【面对面数学】答疑。

4、视频观看结束后，看看PPT课件，复习、巩固学习效果。

5、视频清晰度：（1）建议屏幕分辨率设置为1920x1080 或者屏幕分辨率1280x720。（2）全屏播放。这样看视频更加清晰。

6、倍速播放：现在【淘宝新平台】已经具备【倍速播放】视频功能。

四、目  录

第一章 视频课程内容介绍及慎拍不拍说明与参考文献（13-2分钟）

0、先看全面讲解9个关键重点问题和店主预言先告必看第三版（38+4分钟，百度网盘）

1、ENVS1_1视频讲些什么内容及能干什么说明（8-2分钟，网络上免费“试看”）

2、ENVS1_2MATLAB程序免费提供及课程亮点特点说明（3分钟，百度网盘）

3、ENVS1_3慎拍不拍建议与学习基础要求及参考文献（5分钟，网络上免费“试看”）

4、ENVS1_4教学顾虑及教与学对策建议（4分钟，百度网盘）

第二章 创建强化学习环境的作用与两个途径（15分钟）

5、ENVS2-1环境与智能体结构及车杆平衡控制系统简介（11分钟）

6、ENVS2-2学习目标及两类环境特点解读（4分钟，网络上免费“试看”）

第三章 重置函数功能详解及车杆平衡与金融交易问题的两个重置函数解读（74分钟）

7、ENVM3-1自带重置函数的设置思路与方法及改写建议（8钟，有程序）

8、ENVM3-2车杆平衡控制系统简介及其重置函数中状态分量的设置意图（12分钟，有程序）

9、ENVM3-3金融交易强化学习问题简介及其用数据驱动的强化学习环境（12分钟，有程序）

10、ENVM3-4数据驱动的强化学习模型的智能体与状态组成及动作数量化（10分钟，有程序）

11、ENVM3-5数据驱动模型的奖励与策略及下一个状态（15分钟，有程序）

12、ENVM3-6金融交易操作模型的重置函数解读及3个重置函数对比（12分钟，有程序）

13、ENVM3-7重置函数3个联系对比及深入思考（5分钟，有程序，网络上免费“试看”）

第四章 Simulink模型功能详解及5个不同形式的Simulink模型对比分析（114分钟）

14、ENVS4-1Simulink模型长相及函数块myMEnv内容（9分钟，有程序）

15、ENVM4-1单步函数dsStepFnc的内容及设置下一个状态（6分钟，有程序）

16、ENVM4-2下一个状态与观测值及奖励和标识符设置（11分钟，有程序）

17、ENVM4-3利用物理公式建模的车杆平衡问题的单步函数输入输出变量设置（14分钟，有程序）

18、ENVM4-4数据驱动的金融交易问题单步函数的5个输入变量详解（8分钟，有程序）

19、ENVM4-5金融交易问题的单步函数9个输入输出变量设置（12分钟，有程序）

20、ENVM4-6数据驱动的强化学习模型的5个思考问题及总结（6分钟，有程序）

21、ENVS4-8块函数myMEnv功能与输入输出变量计算关系（5分钟，有程序）

22、ENVS4-9Agent模块功能与设置及可改建议（6分钟，有程序，网络上免费“试看”）

23、ENVS4-10Simulink模型初始起点与运行逻辑关系及可改之处（8分钟，有程序）

24、ENVS4-11模型3个的特点与不足及改成自己问题的地方（10分钟，有程序）

25、ENVS4-12如何创建离散或连续系统问题的强化学习Simulink模型详解（11分钟，有程序）

26、ENVS4-13思考4题与创建自己问题的环境思路及重点总结（8分钟，有程序）

第五章 用重置函数和Simulink模型创建Simulink环境及程序详解（66分钟）

27、ENVS5-1创建Simulink环境的8个知识点预先简介（5分钟，有程序）

28、ENVS5-2程序如何创建Simulink环境与MATLAB环境对比分析（10分钟，有程序）

29、ENVS5-3创建Simulink环境3法及测试智能体的结果差异（13分钟，有程序）

30、ENVS5-4创建离散或连续时间的Simulink环境及解惑3处程序语句（11分钟，有程序）

31、ENVS5-5状态和动作及奖励个数差1问题详解（10分钟，有程序）

32、ENVS5-6可改之处及其可改建议8处详解（7分钟，有程序，网络上免费“试看”）

33、ENVS5-7思考6个问题及下一步学习出口（10分钟，有程序）

第六章 创建Simulink环境及选用DDPG智能体程序求解四足机器人快速行走控制问题（55分钟）

34、ENVS6-1学习目的及四足机器人行走控制问题介绍（12分钟，有程序）

35、ENVS6-2导入机器人数据及打开Simulink模型（6分钟，有程序）

36、ENVS6-3机器人模型逻辑关系分析及创建Simulink环境（9分钟，有程序，网络上免费“试看”）

37、ENVS6-4创建和训练DDPG智能体及其动画演示（11分钟，有程序）

38、ENVS6-5仿真测试智能体及其机器人行走姿态（9分钟，有程序）

39、ENVS6-6思考改写程序求解自己问题及简要总结（8分钟，有程序）

第七章 利用强化学习设计器导入Simulink环境选择TD3智能体求解机器人行走控制（47分钟）

40、ENVS7-1生成强化学习设计器需要的Simulink环境（6分钟，有程序，网络上免费“试看”）

41、ENVS7-2创建TD3智能体及超参数设置解读与保存（9分钟，有程序）

42、ENVS7-3设计器训练TD3智能体和训练过程解读分析及四足机器人表现（11分钟，有程序）

43、ENVS7-4设计器训练与仿真TD3智能体解读分析及3个结果保存（10分钟，有程序）

44、ENVS7-5思考求解自己问题与下一步学习建议及总结（11分钟，有程序）

五、下载文件

1、必先看_如何创建Simulink环境及程序视频学习指导.doc

2、ENVS_PPT课件.rar

3、ENVS_m.rar