大量的研究對不同的標度法進行了比較。因為標度數據通常用于識別產品之間的差異,所以檢測差異的能力是衡量標度方法好壞的一個重要實踐標準。一個相關的標準是誤差方差的程度或類似的測量數據,如標準偏差的大小或變異系數。顯然,個體之間差異小的標度方法會產生更敏感的測試、更顯著的差異、更低的Ⅱ類錯誤風險(忽略真實差異)。還有一個相關的問題是操作的可靠性。相似的實驗是否能得到可重復的結果。
其他的實際的考慮也是重要的。任務應該是用戶友好的,并且使所有參與者容易理解。在理想情況下,該方法應該適用范圍廣泛的產品和問題,受試者不會被回答表或問卷調查中的反應類型的變化所困惑。如果評價員熟悉一種標度類型,并且正在有效地使用它,那么嘗試引入新的或不熟悉的方法可能會有一些問題。一些方法,如分類標度、直線標度和量值估計,可以適用于強度和喜好度(喜歡-不喜歡)的響應。編碼、列表和處理信息所需大量時間可能是另一個問題,取決于計算機輔助的數據收集和其他可用資源。
不論哪種方法,有效性或準確性是根本問題。有效性只能通過參考一些外部標準來判斷。對于喜好標度,人們可能希望該方法適應于其他選擇或消費行為。一個相關的標準是標度識別或揭示不同偏好的消費群體的能力。
鑒于以上原因,我們可能會間,哪種標度方法更好。大多數已發表的研究發現,對于不同的標度方法,只要方法應用合理,就可以獲得相同的靈敏度。例如,Lawless和Malone(1986a,b)使用不同的感官連續統,包括嗅覺、觸覺和視覺形式,在集中地點檢驗法中利用消費者可進行一系列廣泛的研究(超過20000個判斷)。他們比較了直線標度、量度估計和分類標度。使用產品之間的統計差異程度作為方法效應的標準,所標度的方法都表現很好。Shand 等(1985)利用感官培訓小組也得出了類似的結論。與大學生相比,利用消費者得出的量值估計的變異性稍微大一點。隨著人們開始了解被評價樣評的范圍,統計學差異會隨著重復而增加。Moskowitz 和 Sidel(1971),Pearce(1986),Shand(1985)等和Vickers(1983)等發現了類似的關于量度估值標度和分類標度在對樣品的區別程度上的差異性,盡管數學關系形式與潛在的物理變量常不同。換句話說,正如Stevens和Galanter(1957)所發現的那樣,兩種方法的數據之間經常存在曲線關系。然而,這種觀點并沒有得到普遍的認可,也有人發現了其具有簡單的直線關系。Mattes和Lawless(1985)發現了分類標度和直線標度的類似結果。
總而言之,關于心理學文獻中標度方法有效性的論點,實證研究發現方法之間的同等性比人們可能認為的多得多。由于樣本間距合理,對預期范圍有一定的了解,受試者在可用范圍內評價,并可適當使用標度來區分樣本。比較標度方法的文獻的合理總結是,鑒于一些合理的預防措施,它們同樣能很好地區分產品。