基于联结主义的连续记分IRT模型的项目参数和被(3)
2014-02-25 01:18
导读：4.2 预备实验 由于在正式对神经网络进行训练以前，对于要用什么样的模式来训练没有任何先验的知识，为此先进行预备实验。和正式实验的步骤一样，首
4.2 预备实验
由于在正式对神经网络进行训练以前，对于要用什么样的模式来训练没有任何先验的知识，为此先进行预备实验。和正式实验的步骤一样，首先运用蒙特卡罗方法产生25个被试对15个项目的反应矩阵，用这一矩阵和相应的被试能力或项目参数组成4组训练模式，分别用以估计θ，a,b和c。在对被试能力进行估计时，将矩阵的行作为一组神经网络训练模式的输入部分，因为矩阵的一行数据就代表了一个被试对所有项目的反应；相应被试的θ值作为训练模式的输出部分，因为它代表了被试的能力值。在对项目参数进行估计时，将矩阵的列作为一组神经网络训练模式的输入部分，因为矩阵的一列数据就代表了所有被试对一个项目的反应；相应项目的a,b或c值作为训练模式的输出部分，因为它代表了项目的参数值。就用这些训练模式分别对4组神经网络进行训练，这4组神经网络分别对应于被试能力和项目的三个参数，每组有30个网络。然后，再用蒙特卡罗方法产生另外25个被试对另外15个项目的反应矩阵，并用已经训练过的网络对这个反应矩阵估计θ，a,b和c，记录下测试误差。其结果表明，虽然可以进行被试能力和项目参数的估计，但误差较大，无法达到实际应用的精确度。根据神经网络训练的一般规律，估计出现这一情况的原因有两条，一是训练模式太少，二是训练模式和测试模式之间没有任何联系，即没有用“锚题”或“锚人”把它们联系起来，改进的方法可以是增加训练模式，或运用一定的“锚题”或“锚人”方法，在本研究中先用“锚题”的方法进行试验（具体方法在进行正式实验时详述），试验的效果很好，然后进行下面的正式实验。
4.3 正式实验
(1)步骤1：产生训练矩阵和测试矩阵
（科教作文网http://zw.nseAc.com）
运用蒙特卡罗方法产生25个被试（称为第一组被试）对45个项目（称为第一组项目）的反应矩阵（称为第一矩阵），这一矩阵在下面的实验中将作为测试矩阵；从该45个项目中随机取出15个项目（称为第二组项目），再用蒙特卡罗方法产生另外25个被试（称为第二组被试），令它们和上述随机取出的第二组项目起反应，产生另一个反应矩阵（称为第二矩阵），用它作为训练模式的一部分，由此可见，训练矩阵和测试矩阵之间有15个项目作为“锚题”，如下面图1所示。
附图
图1 被试、项目和反应矩阵
图1中的第三组项目和第三矩阵将在下面作解释。
(2)步骤2：建立能力训练模式
用“第二矩阵”中的每一行作为一个模式的输入，其相应的25个第二组被试的能力值作为输出，组成能力训练模式，对一组神经网络（共30个，称为第一组神经网络）进行训练。
(3)步骤3：建立能力测试模式并进行测试
将“第一矩阵”中的每一行作为一个模式的输入，相应的第一组被试的25个能力值作为输出，组成能力测试模式，用上述经过训练的第一组神经网络对其进行测试。这时，实际上是神经网络对第一组被试的能力值进行估计。然后，将估计值和真实值进行比较，记录下测试误差，如表1左边第1列所示，要注意的是，表中记录的是30个网络的测试误差实际值，根据公式可见，它是所有输出结点和所有测试模式的误差总和。由于本研究中只有一个输出结点，有25个测试模式（因为有25个被试），因此要将表中的测验误差实际值除以25，得到对单个测试模式的测试误差，然后，再计算其平均数M和标准差SD，结果如表2所示，可以看出测试误差是比较小的。由此可见，当测试模式中有部分项目（本例中为15个项目）和训练模式相同时，经过训练的神经网络可以对被试的θ进行很好的估计。应该指出的是，测试模式和训练模式中没有被试是重复相同的，这说明经过训练的神经网络确实可以对新的被试进行能力估计。
（转载自中国科教评价网http://www.nseac.com） 表1 测试误差
θ a b c
0.129 2.239 2.982 0.065
