连续熬了几天夜，SC AI的估值函数神经网络和训练架构终于搭建完成了，现在就是还有一些代码中的小问题需要小修小补一下，然后就是再做一个自动反复启动的程序让他自己跟自己反复对战就行了。不过要自我对战的话，需要借老爸的电脑连成局域网才行。。那之前先让他和电脑AI练练再说吧。。

这部分只做了估值函数，也就是说只是不断预测比赛谁的胜率更大，而没有让他参与到决策之中（所以决策模块仍然是最基本的“勇气值”模型）。这里我为了能够将各个单位的位置信息形成输入放到神经网络中去，花了很多时间。。直接把横纵坐标放进去肯定是没有意义的。需要一些能够更好的刻画战场情形的特征值才能有效的训练神经网络。结果是我没有采用经典的ANN三层模型，而是使用了一种动态更改的模型。

现在我使用最小生成树来刻画战场特征，并将每一个最小生成树的边当作一个输入，这个边是一个复杂输入，包含对方的hp,护盾值，是否处于攻击状态，与自己的距离等信息，对每一个信息，都需要给定一个对应的权值用于训练。因此这个神经网络的神经元就是每个单位。我再将攻击和锁定目标也作为这个神经网络的输入边，来增加刻画战场状态的特征值。为了防止神经网络出现回路，我将神经元复制一遍，分别作为输入层和隐藏层，将前面介绍的最小树边和攻击边由输入层的对应单位连接到隐藏层的目标对应单位。这样做就保证了没有回路。最后我在输出层放了两个神经元，分别代表玩家0的胜利期望和玩家1的胜利期望。最后，由于所有的单位目前都是zealot, 因此他们的特征权值应该是共享的。我参照《机器学习》上介绍的方法，每次反响传播之后将其权值求平均值再一次赋值，使其能够更快的学习和避免过度耦合。

我使用了我自己同电脑对战的一个录像用于训练。首先写了一个解析录像的小程序，将每一帧的特征信息提取出来写入文件中。之后利用另外一个程序依次将这些特征信息进行计算和处理，将简单的坐标信息转换为最小生成树和攻击边等信息。然后将这些信息作为输入来训练神经网络。目前遇到的障碍是在比赛结束之前，无法给出比赛谁胜谁负的准确信息。如果一次比赛只能根据结果训练一次，则训练周期过长，是不可胜任。我采取《涌现》一书中提到的说法，认为根据估值函数求出的估计值，越接近比赛胜利时估计值越为准确。因此可以利用后面一帧的估值作为前面一帧估值的参照量，并依此进行反向传播。为了能够得到更快的训练速度，我设置当单位数量超过敌军，或单位数量相等而总血量大于敌军时，就认为本方处于优胜状态。这或许并不完全准确但已经是非常保守的估计了。我根据书中提到的标准，设置0.9为优胜，0.1为失败（前述神经网络中所有输出均通过sigmoid函数挤压到(0,1)区间）。至少在昨晚的几次实验中，这套方案得到了较好的成效，接下来的就是要继续训练他直到稳定为止了。为此我还需要再做更多录像，然后就是要想办法让他自己跟自己对战了。

接下来要做的就是决策部分了。这部分我准备使用GA, 即遗传编程。可以根据士兵处于不同情形时（危险/安全，接敌/后方，被包围/被保护，是否接触边界等等）分别设定不同的行为（攻击，攻击移动，移动，原地不动等等），然后通过遗传编程来找到最好的组合。当然好与不好的估值，则通过前述神经网络得出。

现在最愁的一部分就是如何决策移动。因为移动是一个几乎是非离散的量。不可能去考虑地图上的全部点。一定要给出合适的特征值来刻画好的和不好的移动目标。这包括了是否被包围，是否阻碍了友军等等。然而这样的特征值仍然没有找到。前面提到的最小生成树似乎有些意义，但对整体有意义的东西用在局部上有些困难。目前还在思考对策。。。