大量的研究对不同的标度法进行了比较。因为标度数据通常用于识别产品之间的差异,所以检测差异的能力是衡量标度方法好坏的一个重要实践标准。一个相关的标准是误差方差的程度或类似的测量数据,如标准偏差的大小或变异系数。显然,个体之间差异小的标度方法会产生更敏感的测试、更显著的差异、更低的Ⅱ类错误风险(忽略真实差异)。还有一个相关的问题是操作的可靠性。相似的实验是否能得到可重复的结果。
其他的实际的考虑也是重要的。任务应该是用户友好的,并且使所有参与者容易理解。在理想情况下,该方法应该适用范围广泛的产品和问题,受试者不会被回答表或问卷调查中的反应类型的变化所困惑。如果评价员熟悉一种标度类型,并且正在有效地使用它,那么尝试引入新的或不熟悉的方法可能会有一些问题。一些方法,如分类标度、直线标度和量值估计,可以适用于强度和喜好度(喜欢-不喜欢)的响应。编码、列表和处理信息所需大量时间可能是另一个问题,取决于计算机辅助的数据收集和其他可用资源。
不论哪种方法,有效性或准确性是根本问题。有效性只能通过参考一些外部标准来判断。对于喜好标度,人们可能希望该方法适应于其他选择或消费行为。一个相关的标准是标度识别或揭示不同偏好的消费群体的能力。
鉴于以上原因,我们可能会间,哪种标度方法更好。大多数已发表的研究发现,对于不同的标度方法,只要方法应用合理,就可以获得相同的灵敏度。例如,Lawless和Malone(1986a,b)使用不同的感官连续统,包括嗅觉、触觉和视觉形式,在集中地点检验法中利用消费者可进行一系列广泛的研究(超过20000个判断)。他们比较了直线标度、量度估计和分类标度。使用产品之间的统计差异程度作为方法效应的标准,所标度的方法都表现很好。Shand 等(1985)利用感官培训小组也得出了类似的结论。与大学生相比,利用消费者得出的量值估计的变异性稍微大一点。随着人们开始了解被评价样评的范围,统计学差异会随着重复而增加。Moskowitz 和 Sidel(1971),Pearce(1986),Shand(1985)等和Vickers(1983)等发现了类似的关于量度估值标度和分类标度在对样品的区别程度上的差异性,尽管数学关系形式与潜在的物理变量常不同。换句话说,正如Stevens和Galanter(1957)所发现的那样,两种方法的数据之间经常存在曲线关系。然而,这种观点并没有得到普遍的认可,也有人发现了其具有简单的直线关系。Mattes和Lawless(1985)发现了分类标度和直线标度的类似结果。
总而言之,关于心理学文献中标度方法有效性的论点,实证研究发现方法之间的同等性比人们可能认为的多得多。由于样本间距合理,对预期范围有一定的了解,受试者在可用范围内评价,并可适当使用标度来区分样本。比较标度方法的文献的合理总结是,鉴于一些合理的预防措施,它们同样能很好地区分产品。