ML-Agents（八）PushBlock

一、前言

二、环境与训练参数

• 设定：在一个平台环境中，agent可以推动方块移动。
• 目标：Agent必须推动方块到目标位置。
• Agents：一个训练环境只包含一个agent。
• Agent奖励设定：
• 每走一步惩罚0.0025。
• 如果白色方块移动到目标位置，则奖励1。
• 行为参数
• 矢量观测空间：（Continusous）70个观测变量分别对应14个射线投射（ray-casts），每条射线探测三个可能的目标（墙、目标区域或方块）之一。即一条射线要么啥都没探测到，要么探测到的目标为墙、目标区域或方块三者之一。注意这里的目标区域其实也是有一个Box Collider使得射线可以检测到。
• 这里有个疑问，70个观测变量怎么来的= =。有知道的小伙伴可以留言讨论一下~（在写后面的时候突然发现怎么算出来的了，具体在三、场景基本结构中解释Ray Perception Sensor Component 3D组件部分）
• 矢量动作空间：Discrete Type，6个变量，分别对应小agent顺时针、逆时针方向旋转以及前、后、左、右四哥方向的移动。
• 视觉观察（可选）：使用第一人称摄像机，示例在VisualPushBlock场景中。但是官方文档也说了，Push Block的视觉观察版本并不使用提供的默认训练参数进行训练，也就是说如果想利用视觉观测值进行训练，需要自己调试一下训练参数。
• 可变参数：4个
• block_size：白方块在x、z方向上的比例，通俗来说就是白色方块的大小，越小的话肯定训练开始使越难找到。
• 默认：2
• 推荐最小值：0.5
• 推荐最大值：4
• dynamic_friction：地面的动摩擦系数，即运动物体与地面之间的摩擦系数
• 默认：0
• 推荐最小值：0
• 推荐最大值：1
• static_friction：地面的静摩擦系数，即静止物体与地面的摩擦系数
• 默认：0
• 推荐最小值：0
• 推荐最大值：1
• block_drag：空气阻力对方块的影响
• 默认：0.5
• 推荐最小值：0
• 推荐最大值：2000
• 以上参数中后三个：dynamic_friction、static_friction和block_drag其实都是调整agent小蓝块推动白色方块的难易程度，摩擦系数或者空气阻力越大，那么agent就越难推动白色方块，或者推动得越慢。
• 基准平均奖励：4.5

三、场景基本结构

• Agent
• 是我们要训练的代理，蓝色的小方块。它身上不仅有Push Agent Basic训练脚本，还有两个Ray Perception Sensor Component 3D组件。我们可以先来看一下射线组件是怎么样的，如下图：

• 首先我们的agent身上是有两个Ray Perception Sensor的，分为上层和下层，每一层上又有7条射线投射出。为什么分为两层呢？我们来看一下图就明白了：

• 这里先忽略图中的字样，有绘制空心球的地方就是射线检测碰撞到的地方。如果小蓝只有底下一层Ray Sensor的话，当小蓝推动小白时，小蓝的前方射线势必会被小白遮挡几条，这就相当于小蓝被带了眼罩看不清前方。因此为了防止这种情况，我们给小蓝的上方又加了一层ray sensor，这一层射线是永远不会被小白遮挡的，所以小蓝才有了两层Ray Sensor的原因。
• 除此之外，我发现官方做的Ray Sensor还有个小细节，就是在IDE下，射线检测碰撞的距离远近会影响到绘制的线条颜色变化，之前我以为只是单一的碰撞到检测即变为红色，仔细发现并不是。不过这个细节设计的难度应该不难，简单想一下，应该是显示的颜色=射线检测的距离/射线可检测的最大距离*颜色显示的阈值范围（RGB），我瞎猜的，估计差不多就这么算的。
• 我们下面来看一下Ray Perception Sensor Component 3D组件的属性各代表什么意思：

• Sensor Name：该Sensor的名字，类似于ID，注意在小蓝身上的两个名字不同哦，一个是RayPerceptionSensor，另一个是OffsetRayPerceptionSensor。
• Detectable Tags：设置射线能检测到物体的Tag集合。这里设置了3个Tag，分别代表了场景中的目标小白块、目标区域和墙体。
• Rays Per Direction：射线的条数，为0的时候就只有一条向前的射线，详情看下图：

• Max Ray Degrees：射线覆盖的角度范围，可看下图：

• Sphere Cast Radius：设置碰撞空心线球的半径，如下图：

• Ray Length：设置射线投射的最远距离。
• Ray Layer Mask：设置射线可以检测到的Layer。
• Observation Stacks：堆叠之前观察的结果的数量，若设置为1则表示不堆叠以前的观察。
• 这里插一下，在看这个属性的时候，突然发现前面环境与训练参数中为啥是70个观测变量参数了，具体在RayPerceptionSensorComponentBase脚本中有一个GetObservationShape()方法：

• 这里numRays=7，numTags=3，则obsSize=(3+2)*7=35，而一个小蓝身上又有两个Sensor，则需要收集的观测变量为35*2=70个。
• Start Vertical Offset：调整射线发出的角度，如下图：

• End Vertical Offset：相对于上面的属性，这里可以设置射线尾部的角度，如下图：

• Debug Gizmos中的Ray Hit Color和Ray Miss Color则是分别设置射线碰撞检测到物体线条的颜色以及未检测到时线条的颜色。
• 好的，上面介绍了一下Ray Sensor 3D组件，我们继续回来，来看看一个训练单元Area上其他的物体。
• Goal
• 目标区域，注意该区域并不只是地面显示的颜色，而且还带有一个碰撞体，来使得小蓝辨认以及小白碰撞区域检测。
• Block
• 小白块，上面有一个Goal Detect.cs脚本，用来检测小白是否被推入目标区域。
• Ground和WallsOuter
• 墙体和地面，没什么好说的~

四、代码分析

Agent脚本

Agent初始化

using System.Collections;
using UnityEngine;
using MLAgents;

public class PushAgentBasic : Agent
{
    //地面，需要更根据任务完成情况更换地面材质
    public GameObject ground;

    //整个训练单元，开局时可能随机改变角度
    public GameObject area;

    [HideInInspector]
    public Bounds areaBounds;//地面碰撞体的边界

    //Push Block示例的设置，设置小蓝的速度、旋转角度等
    PushBlockSettings m_PushBlockSettings;

    public GameObject goal;//目标区域
    public GameObject block;//小白块

    [HideInInspector]
    public GoalDetect goalDetect;//小白块上判定进入目标区域脚本

    public bool useVectorObs;//该选项应该是之前留下的，此代码中无用

    Rigidbody m_BlockRb;  //小白块刚体
    Rigidbody m_AgentRb;  //小蓝刚体
    Material m_GroundMaterial; //地面原始材质

    //地面Renderer
    Renderer m_GroundRenderer;

    void Awake()
    {
        //找到Push Block初始配置
        m_PushBlockSettings = FindObjectOfType<PushBlockSettings>();
    }
    /// <summary>
    /// 初始化Agent
    /// </summary>
    public override void InitializeAgent()
    {
        base.InitializeAgent();
        //设置小白脚本里的agent为小蓝
        goalDetect = block.GetComponent<GoalDetect>();
        goalDetect.agent = this;

        m_AgentRb = GetComponent<Rigidbody>();
        m_BlockRb = block.GetComponent<Rigidbody>();
        areaBounds = ground.GetComponent<Collider>().bounds;

        //拿到地面的的renderer，使得当小蓝完成任务或未完成任务时替换地面材质
        m_GroundRenderer = ground.GetComponent<Renderer>();
        //缓存地面原始材质
        m_GroundMaterial = m_GroundRenderer.material;
        //设置可变参数
        SetResetParameters();
    }
    /// <summary>
    /// 设置可变参数
    /// </summary>
    public void SetResetParameters()
    {
        //设置地面的两个可变参数：动摩擦系数+静摩擦系数
        SetGroundMaterialFriction();
        //设置小白块的两个可变参数：小白的X、Z方向的比例大小以及小白的所受空气阻力
        SetBlockProperties();
    }
    /// <summary>
    /// 设置地面可变参数
    /// </summary>
    public void SetGroundMaterialFriction()
    {
        var resetParams = Academy.Instance.FloatProperties;
        var groundCollider = ground.GetComponent<Collider>();

        groundCollider.material.dynamicFriction = resetParams.GetPropertyWithDefault("dynamic_friction", 0);
        groundCollider.material.staticFriction = resetParams.GetPropertyWithDefault("static_friction", 0);
    }
    /// <summary>
    /// 设置小白可变参数
    /// </summary>
    public void SetBlockProperties()
    {
        var resetParams = Academy.Instance.FloatProperties;
        var scale = resetParams.GetPropertyWithDefault("block_scale", 2);
        //小白的比例
        m_BlockRb.transform.localScale = new Vector3(scale, 0.75f, scale);
        //小白的空气摩擦阻力
        m_BlockRb.drag = resetParams.GetPropertyWithDefault("block_drag", 0.5f);
    }
}

resampling-interval: 5000

mass:
    sampler-type: "uniform"
    min_value: 0.5
    max_value: 10

gravity:
    sampler-type: "uniform"
    min_value: 7
    max_value: 12

scale:
    sampler-type: "uniform"
    min_value: 0.75
    max_value: 3

Agent重置

    /// <summary>
    /// Agent重置，在Done()时会自动调用
    /// </summary>
    public override void AgentReset()
    {
        //使整个平台（训练单元）随机旋转角度0，90，180，270
        var rotation = Random.Range(0, 4);
        var rotationAngle = rotation * 90f;
        area.transform.Rotate(new Vector3(0f, rotationAngle, 0f));
        //重置小白
        ResetBlock();
        //重置小蓝
        transform.position = GetRandomSpawnPos();
        m_AgentRb.velocity = Vector3.zero;
        m_AgentRb.angularVelocity = Vector3.zero;
        //重置可变参数
        SetResetParameters();
    }
    /// <summary>
    /// 当小蓝推动小白到目标区域时调用，注意这里调用是小白的脚本GoalDetect.cs调用的
    /// </summary>
    public void ScoredAGoal()
    {
        //到达目标区域，奖励5
        AddReward(5f);
        //调用Agent的Done()函数，此时AgentReset()函数会自动执行
        Done();
        //设置地面亮绿色0.5秒
        StartCoroutine(GoalScoredSwapGroundMaterial
                       (m_PushBlockSettings.goalScoredMaterial, 0.5f));
    }
    /// <summary>
    /// 设置地面材质为绿色
    /// </summary>
    IEnumerator GoalScoredSwapGroundMaterial(Material mat, float time)
    {
        m_GroundRenderer.material = mat;//地面设置为绿色
        yield return new WaitForSeconds(time); //等待0.5s后，换回原先材质
        m_GroundRenderer.material = m_GroundMaterial;
    }
    /// <summary>
    /// 重置小白的位置和速度
    /// </summary>
    void ResetBlock()
    {
        //小白的位置随机重置
        block.transform.position = GetRandomSpawnPos();
        //使小白的速度置零
        m_BlockRb.velocity = Vector3.zero;
        //使小白的角速度置零
        m_BlockRb.angularVelocity = Vector3.zero;
    }
    /// <summary>
    /// 利用地面的Bounds范围以及碰撞关系来随机生成小白以及小蓝出现的位置
    /// </summary>
    public Vector3 GetRandomSpawnPos()
    {
        var foundNewSpawnLocation = false;
        var randomSpawnPos = Vector3.zero;
        while (foundNewSpawnLocation == false)
        {
            //随机找两个值X、Z，注意这里的m_PushBlockSettings.spawnAreaMarginMultiplier系数
            var randomPosX = Random.Range(-areaBounds.extents.x * m_PushBlockSettings.spawnAreaMarginMultiplier,
                areaBounds.extents.x * m_PushBlockSettings.spawnAreaMarginMultiplier);
            var randomPosZ = Random.Range(-areaBounds.extents.z * m_PushBlockSettings.spawnAreaMarginMultiplier,
                areaBounds.extents.z * m_PushBlockSettings.spawnAreaMarginMultiplier);
            //判断随机的位置附近是否存在碰撞体，若存在则继续随机生成位置，
            //直到生成的位置附近没有其他碰撞体
            randomSpawnPos = ground.transform.position + new Vector3(randomPosX, 1f, randomPosZ);
            if (Physics.CheckBox(randomSpawnPos, new Vector3(2.5f, 0.01f, 2.5f)) == false)
            {
                foundNewSpawnLocation = true;
            }
        }
        return randomSpawnPos;
    }

Agent动作反馈

    /// <summary>
    /// Agent每步动作反馈
    /// </summary>
    public override void AgentAction(float[] vectorAction)
    {
        //利用矢量空间向量移动Agent
        MoveAgent(vectorAction);
        //每步都给予惩罚使得Agent迅速完成任务，这里是-1/5000每步
        AddReward(-1f / maxStep);
    }
    /// <summary>
    /// 根据矢量动作空间action[]来使得Agent作出反应
    /// </summary>
    public void MoveAgent(float[] act)
    {
        var dirToGo = Vector3.zero;//向前向量
        var rotateDir = Vector3.zero;//转向向量
        var action = Mathf.FloorToInt(act[0]);//act[]取值范围为0~6，则action取值范围为0~6

        switch (action)
        {
            case 1:
                dirToGo = transform.forward * 1f;//向后
                break;
            case 2:
                dirToGo = transform.forward * -1f;//向前
                break;
            case 3:
                rotateDir = transform.up * 1f;//向右转
                break;
            case 4:
                rotateDir = transform.up * -1f;//向左转
                break;
            case 5:
                dirToGo = transform.right * -0.75f;//向右平移
                break;
            case 6:
                dirToGo = transform.right * 0.75f;//向左平移
                break;
        }
        transform.Rotate(rotateDir, Time.fixedDeltaTime * 200f);//旋转方向
        m_AgentRb.AddForce(dirToGo * m_PushBlockSettings.agentRunSpeed,
            ForceMode.VelocityChange);//移动
    }

其他

using UnityEngine;

public class PushBlockSettings : MonoBehaviour
{
    /// <summary>
    /// Agent的速度
    /// </summary>
    public float agentRunSpeed;
    /// <summary>
    /// Agent的旋转速度
    /// </summary>
    public float agentRotationSpeed;
    /// <summary>
    /// 使用场地比例乘数，具体作用已在上一节中讲述
    /// </summary>
    public float spawnAreaMarginMultiplier;
    /// <summary>
    /// 任务达成时，地面要更换的材质
    /// </summary>
    public Material goalScoredMaterial;
    /// <summary>
    /// 任务失败时，地面要更换的材质（工程中未用到）
    /// </summary>
    public Material failMaterial;
}

五、训练

训练配置参数

PushBlock:
    max_steps: 1.5e7
    batch_size: 128
    buffer_size: 2048
    beta: 1.0e-2
    hidden_units: 256
    summary_freq: 60000
    time_horizon: 64
    num_layers: 2

• max_steps：设置的很大，说明该次训练应该还是比较费时间的，不过场景中也相应有32个训练单元，所以也相应加快了训练速度。
• batch_size：相比默认1024设置的较小，因为此次训练的矢量动作空间是离散的（Discrete Type），所以设置范围为32-512。
• buffer_size：是batch_size的倍数，范围为2048-409600。
• beta：相比默认设置5.0e-3，该值设置更大，也就意味着在训练过程中agent的行动更具随机性，不过如果entropy的下降太慢，则要减小该值。
• hidden_units：默认设置为128，该值设置为256，原因是此示例相对来说观察变量之间的交互复杂度更高，因此该值需要更大。
• summary_freq：该值设置多久保存一次统计数据，主要决定在tensorboard中显示数据点的数量。由于该训练max_steps较大，因此该值也相对默认值10000设置的大。
• time_horizon：如果在一个episode里，agent频繁获得奖励或episode数量非常大的情况下，该值需要更小。对应于本示例训练，由于每一步都惩罚agent，要使其尽快完成训练，因此该值设置较小（PS.该值范围为32-2048）。
• num_layers：与默认相同，定义在观察值输入之后或在视觉观察的CNN编码后存在多少个隐藏层。对于简单的问题，更少的层数可使得训练更加迅速和高效。对于更加复杂的控制问题，可能需要更多的层（PS.该值的范围为1-3）。

训练过程

六、总结