标准化的调查访问(ppt)
综合能力考核表详细内容
标准化的调查访问(ppt)
何谓标准化访问
前 言
目的:
为改进调查数据的质量
调查:
指设计来对某些母群体获取量化资料的调查
本书探讨重点:
大多数靠访员询问问题并记录答案的调查形式
如何将访员引起的误差减到最低
访问的本质
访问:
带有目的的会谈(Kahn & Cannell,1958)
两大部分:
访问会谈的主体主要由问题及回答所组成
参与会谈的角色清楚界定—一提问题(访员)、一答问题(受访者)
抽样调查的特征:
个别受访者会成为研究对象,是因他们是被描述母体的一部份,所提供答案有助于研究者描述其所代表的母群体
调查结果呈现是对母体定量或数学性的描述
测量所得结果、用来分析的资料,都是根据受访者回答而来。
成功调查的标准:所得资料是否能测量到研究者所欲描述母群体的真实面貌,及得到正确的数据。
调查中误差的来源
抽样方面误差:
◎当样本并未包含所有母体所描述的特性时,就会有某类别样本被遗漏
◎样本比例未充分反应母体比例
◎部分样本拒绝参与调查,拒绝提供答案,或拒答部分敏感性问题
问卷方面误差:
◎当题目被误解
◎当题目不能表达研究者真正想得到的信息
◎受访者不愿正确回答题目
访员方面的误差:
◎当访员没有逐字念出题目
◎当访员作引导性追问
◎当访员对受访者答案加入自己的偏见
◎当访员记录不正确
资料削减的误差:
◎当过录员使用不一致的过录原则,或对所示用的过录码判断错误
◎数据键入错误
访员的角色
忠实呈现问题
避免访问过程中对受访者的影响力
遵循标准化的流程
调查 测量 「标准化」是必须的
测量---在一个标准之下,找出或估计出任何事物的程度、面向等
(韦氏大字典,Guralk,1976)
调查中,标准化测量的程序是访员提出问题后,访员记录受访者答案的测量程序
标准化目的就在使每一受访者都经历相同的答题经验,每项答案被纪录的方式也相同,答案中所显现的差异可被正确解释为受访者之间的差异,而非因资料搜集过程的差异
举例:「您对于您最大孩子所上的学校评价如何?」
标准化访问与晚间脱口秀访问及医生对病患医疗史访问的比较
﹡都符合访问的定义,但都不是标准化访问
﹡脱口秀目的是娱乐,有时主持人基于制造娱乐效果,反而削减
受访者在意见交流中的用心
﹡医生询问医疗史目的在对特殊病例作详细了解,而非概推到其
他病患,因此访问方式、语句可能会随病患而不同;医生也引
导病人说出真正的感觉
调查 测量 「标准化」是必须的(续)
标准化访问的关键争论---当受访者有问题时,访员该如何作?
【思考】:如果访员发现受访者对题意不确定或有疑惑,而
自行改变或修正题目-----可能导致有些受访者被
问了这个问题,而另外一些则被问了另一个问题,
会导致资料分析时严重困扰
【结论】:当研究目标是要取得量化资料时,标准化、非引
导式的访问是必须的
「标准化访问」非适用于所有搜集资料的过程
探索性研究:在研究的探索阶段,目的是要找出该问的
问题
个案研究:研究者只需将问题涵盖范围界定清楚,后续
则由受访者自由发挥。访问不被视为一种测
量,而是资料搜集过程
何谓访员相关误差
前 言
误差:调查所得答案与研究者所要测量的「真实数据」
之间的差异。
访员相关误差:所得答案中的变异与访问的人有所关
联
与访员无关的误差来源:
﹡题目的用字遣词会影响到回答
﹡和所预测量无关的受访者特质会影响回答
﹡访问所进行的环境也会影响回答
﹡问题在访问中出现的时机也会影响回答
﹡受访者自行填答和访员在访问现场会影响回答
访员效应分析
从心理测定的研究(psychometric approach)观点
* 信度:重复测量相同特征和状况产生一致结果的程度。
当访员之间对不同受访者会造成某种程度的影响,
则结果就会不一致
* 效度:一个测量能与研究者所欲测量者相符的程度。
可以用调查所得答案和另一个测量相同或相似现象
测量结果之间的相关程度,来作为评定标准
(Cronbach &Meehl,1955)
1. 真实答案+访员误差+其它反应的误差
=记录下来的答案
2. 信度=1-(√误差变异 / √观察到的变异)
3. 效度(y)=「y」和标准「x」之相关
* 访员所造成误差会降低一个测量的信度,进而限制了其反应有效相关性的能力
访员效应分析(续)
从抽样统计的观点
* 偏差(bias):所有访问结果的平均值和母群体真正数据的差异程
度。
* 精确度:根据调查所得的推估值,如平均数百分比,和假设从同一
母体重复所做的调查结果,或没有抽样的情形所得结果的
相似程度
-------统计学家称此推估的精准度为「标准误」
* 非标准化访谈的重要意义在其对于推估值标准误的增加
访员效应分析(续)
层内相关系数(intraclass correlation)----Kish,1962
rho的概念就是访员所造成的变异占一个估计值其总变异的比例
因此,可反应某个推估值的变异量跟访员关系有多少
Rho=访员变异量/( 抽样变异量+访员变异量)
Rho的显著值在.01--.02之间,表示有1?--2?的变异量是归因于访员,当访员所访问的受访者愈多时,对数据的影响愈可观
在将访员视为随机变量而作出来的变异数分析中,rho可以利用
「模式的平均变异」、「误差项的平均变异」及「每个访员的平均
访问次数」计算出来
Rho= (模式的平均变异-误差项的平均变异)
模式的平均变异+(访问数-1)(误差项的平均变异)
访员效应分析(续)
DEFT(the square root of the 「design effect」,设计效应的平方根)是在对母体抽样所造成的标准误之外的膨胀效应,其导因于访员对答案造成影响的事实。它决定于Rho的大小及每个访员的平均访问次数
√设计的效应=√1+(访员数-1)(Rho)
访员相关误差显著性上,还可加上依标准化访问程序的重要价值:可复制性。极少有研究者设计研究来估计其资料中的访员效应,然而,提高访员搜集资料的标准化程度及其一致性非常重要,如此,也才能提供他人重复研究结果的基础
侦查访员的误差
结 论
研究机构或研究者很容易忽略访员相关的误差。
相对于其它减少误差的策略,如增加样本数,减低访员相关误差显然成本低多了。
标准化访问技巧
以标准化方式处理问答过程的程序
逐字念出题目
受访者对原始题目的回答不完整或不恰当,继续以非引导式的方式追问
不以访员判断记录答案,答案只能记录受访者所陈述的
访员对访问所涵盖主题不应提出自己私人的意见,以影射个人特别价值观及好恶;也不应对受访者回答内容表示正反意见
标准化访问的困难
不适当的调查工具—如设计不良的问卷
受访者不清楚自己该扮演的角色
访员无法达到标准化的原因
正确性的目标与标准化的目标不一致
与受访者保持融洽关系与标准化的要求冲突
逐字念出题目
研究发现,访员变更用自比例在20?--40?之间,且这些研究都是由很严谨的研究机构所执行的(Bradburn & Sudman,1979;Cannell,Fowler & Marquis,1968;Fowler & Mangione,1986;Cannell & Oksenberg,1988)
访员变更题目的原因
1.题目念起来很拗口
2.访员希望营造一种会话式、非正式的互动
--在题目中加入个人的提示
--有经验的访员较新访员在读题时,容易采取非正式的方式
检验题目字句更动是否影响测量质量
1.以层内关系来测量最易被访员误读的题目,是否产生巨大的访员效应
【结果:×】
2.看那些特别会用非正式方法读题的访员,会不会导致特别偏差的数据
【结果:△】相关程度不显著,且只肯定,被评为有较佳访问技巧的访员,
其所得资料较无偏误
3.检视有关题目字句的研究(Schuman & Presser,1981)
【结果:▲、?】
例:Q1:是不是应该禁止共产党员在美国的公开场合演说?
Q2:是不是应该不允许共产党员在美国的公开场合演说?
【结果:不允许:50?;禁止:20?,说服访员中时读题的好例子】
例:省略没有意见的选项v.s 忠实读出所有选项
【结果:69?v.s 90?】
例:妊娠终止 v.s 堕胎
【结果:×】
追问不适当的回答----非引导式的追问
运用时机及解决方式
追问方法
关于追问误差
追问是访员技巧中最难学的部分
追问是问答过程中无法完全被标准化的一部份
调查测量中,追问是一项重要的误差来源(Hyman;Groves & Magilavy,1980)
开放性问题的访员追问误差更明显
访员最常犯的追问误差:引导性追问、该追问而未追问
追问时特别容易有访员差异的三种情况:
1.访员的期望会影响其追问的行为(Hyman,1954)
2.对于可能有多重答案的题目,访员差异可能导致答案数
量上的差别
3.在处理「不知道」或同类问题时,访员差异会使结果有
差异
解决追问误差最有效的方法:改进题目质量,使访员追问机率减少
记录答案
访员的任务
立场保持中立
需包含之重要因素:
访员不应该主动提供受访者有关个人对于生活状况、观感、或价值的讯息
【原因】
主动提供讯息可能破坏以搜集数据为先的专业性
谈论个人观感只会使其差距加大
有关个人观感和背景的信息可能会直接影响答案
在提供给受访者的回馈中,应避免对受访者答案提供评估和判断
【原因】大多数受访者在意访员如何看待其答案
训练受访者
方法
访问开始时,作一些开场的介绍
【用意】
跟受访者说明,这是一种特殊的互动,有其特别的游戏规则
让访问易于进行
增加访员自身遵守标准化的规范
访问过程中遇到问题时,再解释标准化访问的特色
【例如】
受访者已提及下一问题的答案时
受访者觉得题目中有含糊或定义不清楚的名词时
在封闭式的题目中,受访者不想选出答案选项中的一项
受访者给的答案不明确,因为可能只是一个估计或预测
受访者讲得太快,访员无法逐字记录下来时
当受访者的家人想要帮忙答复意见性的题目
当受访者在访问中询问访员意见
建立标准化访问的脉络
许牧民
要执行标准化访问的一个先决条件是要建立起一种关系,使受访者有其意愿,访员有其能力,可以使其个别角色在测量过程中得以发挥。
Charles Cannell指出:访员在建立访问为一种测量经验中扮演着重要的角色。访员所建立的访问互动模式,与受访者发生问答过程的关系,也对资料结果扮演关键性的角色。根据发现,这也是访员的做法最不一致的工作。
建立访员与受访者互动的三个重点:
一、解释访问的目的及原因
二、建立访员与受访者之间关系的良好趋势
三、传递访问的目标和要使用的规则
Kelman 的访员类型说
要思考受访者对访员的定位问题,Kelman指出有三种产生影响关系之类型。
顺从性(compliance):其特色是在该关系中,影响的管控是按行为来进行奖惩操控。如受访者要避免访问中不愉快的互动,获得访员的赞赏、愉悦,但结果不一定理想。
角色认同(identification):这类的影响根源于一个人在该关系中对其角色的接受,因此,所表现出来的就如同该角色所预期的一样。如,调查中探讨所谓好市民,就以社会所认知、期待的好市民角色来响应问题,事实上,对研究结果无益。
内化性(internalization):影响之所以发生是因为某种行为和一个人的自我价值产生连结。如,受访者是访问为一种达成个人目标的方式,或是学习更多重要的社会议题,和角色认同有些接近。
受访者对于访问的定位
要评估Kelman的三种类型是否对访问有帮助,则应先知道有关受访者对访问的定位,有两大法则。
法则一:受访者对调查信息了解的多寡有很大的差异有很多人士在对调查资助者极其目的了解有限的情况下参与调查。
法则二:在受访者的生活中,访问工作不是件很重要的事件。因此,常轻忽调查者所给予的相关资料。
受访者是否感觉到、想到或知道访问对数据质量会造成任何差异?关键在于,受访者对扮演其角色最好的方式,就是对作正确的报告有较清楚的认识。
访员与受访者的关系
在信息程度不均的情况下,大部分受访者对调查的背景和目的的了解有差别,而对访员的反应大概是绝大多数的受访者接受访问意愿最重要的关键。除此之外,和访员的关系也会对他在测量过程的表现上有主要的效应。
* 访员和受访者理想的角色关系有很多不同,如信任、尊敬、专业、权威甚至是对立。
* 对很多受访者而言访员是他们参与访问最重要的原因。
* 访员和受访者间的互动,基本上应该还是一种专业型态。主要的焦点放在访问工作,而且受访者对人际吸引的关心应减到最低。
* 归纳起来,较希望的是和善、专业的关系,访员在此关系中受到信任与尊敬,却也是能够接受而不加批判的专业性(有心理治疗师或谘商人员的影像)。
为受访者设定标准
※ 证据显示,访员对受访者传达他们该如何在访问中表现的标准,对访问所得的数据有主要的影响。
※ 受访者表现的标准也是个问题,是严肃的测量过程?还是只简单填个问卷?要精确的答案?还是一般的想法?是一般谈话?还是严谨的社会科学研究,讲求精准?
※ 若访员表现出要求「确切的答案」,则调查质量较「一般的想法」为佳。
※ 访问过程中访员进行的速度的快慢,会影响受访者提供「确切的答案」。
Cannell四种改善报告质量的策略
增强:如,答的理想,访员说正面、鼓励的话。反之,访员就不予以积极的响应。经过设定的增强程序,比访员自行的增强行为佳。
模型示范(modeling):Hensen(1973)认为要向受访者传达他们被期望的表现方式,最好的方法就是做一个示范。如,以录音带「告诉受访者,一个希望达成的访问是什么样子」。
标准化指导(standardized unstruction):让访员在访问之前先对受访者念一份指导说明,这大概是最直接的方法,来确定访员对所有受访者设定了同等的高标准,这对教育程度较高者特别有用。
承诺(commitment):访员要求受访者给一个承诺,若不,访问就结束。事实上不承诺者少,且回答质量提高。
结 论
最直接可帮助访员设定标准的三个方法
一、 标准化的指导说明
二、 要求口头承诺
三、 坚持访员要放慢速度访问
标准化访问中
题目设计的角色
一个研究者若要确保标准化的访问,最重要的方法之一,就是给访员容易问也容易答的题目。
访问的明细做的越好,访问的工作也就会越好。
最会产生访员效应的题目,就是那些必须由访员辨识、判断才会得到适当答案的题目。
题目内容
影响访员的题目内容有两类
一、题目的敏感性
二、题目是询问态度、意见或是事实性的答案
* Kish(1962):态度或意见性的题目,比事实性的题目较容易受访员的影响。因事实性的题目(可以被独立检验的过去事件或是现在的状况)是根源于某种客观的现实,相对的,有关态度和意见的题目,除了受访者之外,没人可以去验证或观察到。
* 意见性的题目较难回答,是因受访者对该主题较不可能有已发展成熟的意见,结果就会显著受到访员的影响。
题目型式
题目型式最明显的差别是在受访者是否给于一组答案,从中挑选(封闭式或固定响应题目),或是要求用自己的话来回答(开放式题目)。后者较可能产生访员效应。
提问-答题的过程
八种与测量过程有关联的行为
一、 题目是否逐字被念出
二、 访员是否正确的追问以获得适当的答案
三、 访员是否引导追问的方向
四、 当需要去追问适当的答案时访员是否没有去做追问
五、 (只针对开放式题目)访员是否逐字纪录答案
六、 访员是否对受访者的答案给予不当的回应
七、 访员是否涉及不妥当的交际行为
八、 在问答的过程中是否有谈笑
访员特定行为之发生与Rho间之影响关系排序
一、 没有去追问
二、 没有完整或正确的逐字纪录开放性问题
三、 正确的追问
四、 引导性的追问
* 另一影响原因是访员纪录误差的可能性
追问的相关因素
开放性题目比封闭式题目更需要追问
意见性的题目比事实性的题目更需要追问
困难度高的题目及意见性的题目易引起引导性的追问
标准化测量的特定威胁
一、 所涉及的要点数目:较易发生在开放性题目。例,从您的观点看,住在这附近您最喜欢的「一些」事情是什么。具多重回答性。
二、 隐藏性筛选题目:例,您去年读过最好的一本书是什么?至少含两个题目。
三、 在题目中不清楚的名词:在题目中含有定义不清的名词,特别容易产生访员效应。
四、 不清楚的响应期望:题目的措词中,无法确定什么是构成适当响应的内容。例,「您从什么来源得到最主要的健康信息」。何谓来源?交谈、阅读、电视?若是阅读,是哪一类书?杂志、书籍、报纸.....。
五、 田野中过录的答案:也就是题目用开放的型式来询问,但是访员被要求用过录码来作纪录。真正的问题在于,受访者不知道访员判别的标准是什么?访员也未被给予标准化的策略来提供受访者一些答题的线索。目前对此法采较保守的态度。
设计调查工具以减低访员效应
要降低访员效应,可将受访者答题所需要知道的放到题目里,也就是在拟写题目时,提供访员完整的脚本。
四个指导方针:
一、 一个好的题目设计,对关键名词要确示其定义
二、 对于隐藏性筛选题目,要特别留意,使之更明确,将会有更标准更好的测量。
三、 研究者拟写题目时将对答案的期望更明确表示出来,以减低访员相关的误差。
四、 在回答开放性问题时,访员和受访者在所涉及的重点数目上的变异性应该要控制,也就是明示答案需要几个重点。
指认题目问题的策略
一、 焦点讨论团体(focused discussion groups):最古老、也是最好的方法之一。藉由小组讨论的过程在调查涵盖的范围内,讨论每个人的经验或意见。
二、 认知研究技术(cognitive research techniques):受访者在调查的前测版本中,被要求将其思考过程大声的讲出来。研究者从人们对其题目的理解及思考方式中,可以确认一些题意不清或在回答上会遭遇困难之处。另一方式是进行两次,比较两次之差异。
三、 使用前测访问(use of pretest interviews):给访员更多的训练,目标是培养他们对题目的敏感度,包括不容易逐字念出的题目,以及通常需要追问、澄清题意,以取得适当答案的题目。
四、 录音纪录并过录(tape recording and coding):将至少25次(以取得测量的稳定性)的前测录音,寻求访谈过程与追问之关联行为。
结 论
Bradburn 和Sudman(1979):要减低访员效应,最好的方法就是写更好的题目。写更好题目的关键步骤,就是要小心仔细、酝酿完全后在调查之前并先预试所有的程序。
访员的选择与
访员的相关误差
访员的特性应从三方面思考:
一、 有些访员会比其它人更胜任问答的过程
二、 某些特定的访员特性可能会改变题目的意义或脉络
三、 访员特性可能会影响访员与受访者关系的质量
访员特性及其表现
* 一个良好的访员,有些特性是必要的
* 起码要有良好的读写能力
* 具专业领域知识的访员未必是最恰当,因一个普通的访员,不必去维持专业之能的假象,可以尽量去做非引导性的追问,直到答案清楚为止。
访员特性及访问脉络
* 访员特性:年龄、性别、种族、教育程度、社会阶级、族群及宗教背景
* 较有影响者:宗教信仰或族群,种族
访员与受访者的关系
* 比受访者社会地位与教育程度较高的访员,会有较好的报告品质。
* Weiss的研究中,两项重要的结论:
一、 人口特征的相似性,对测量质量并非是一个正数。
二、 人际关系与人际吸引也未必是正数,对调查资料反而可能会有负面的影响。
访员的年龄
目前数据显示,没有影响。
访员的性别
* 普遍对女性访员的评价较高(但目前男性访员较少,会影响统计)。
* 但无证据显示女性访员的报告较好或资料较不一样。
结 论
访员特性和访员相关误差之间的关系,很少能建立起来。但是,如果调查的主题是直接和访员的某些特性是相关的,可能会导致受访者会顾虑到某些答案的选项对访员会是一种直接的侮辱,侵犯或令之尴尬。那研究者就要认真的考虑要控制这些特性。
关心如何减低访员的相关误差,与其把重心放在访员的选择,不如将重点放在访员的训练和督导上面。
访员的训练
程馥慧
训练的选择
所有在做第一次正式访问之前的指导活动都算是训练
训练时间的长短-和训练的内容、技巧、成本有关
训练方式对访问工作的影响:
1. 访员对其工作的认知
2. 访员的技能
3. 访员与受访者的关系、受访者对访员的反应
4. 所搜集数据的质量
对训练访员价值的研究
研究案例
研究对象:招募五十七名没有专业访问经验的访员,分别安排在四场训练小组( 为期一天、二天、五天、十天)
研究条件:训练前皆先给予手册自行研读,每场所教导的访问技巧一致、传递的讯息一致,差别在访问程序的练习、对程序背景的了解程度,随天数增加而更广泛
研究目标:检视是否较长、较密集的训练经验有其价值
训练在访员对其工作认识上的效果
研究结果:
访员对训练经验的感想--
*训练时间越长-访员越会将训练评定为重要讯息来源
*训练时间越短-访员越会将访问手册评定为重要讯息来源
访员自觉准备充分的程度--
*受训练最少的访员,自己感觉准备程度和他人相同
*受训练最少的访员,最困扰的是如何去追问
访员对处理事情优先级的认知--
*各组皆认为得到正确、完整的答案是最优先的原则;但接受长时间训练者比训练时间短者,将标准化的优先程度评定的更高
*接受二天训练者,最不愿当访员
访问技巧
可由以下的方式去了解访员的访问的技巧:
1. 要求访员回答受访者可能会问的问题
2. 和受访者的访谈
3. 在训练完成后所做访问练习的录音记录
受访者对访员的感觉
访员对工作越熟练,访问时就越有自信,表现上亦越被评为专业
访员训练强调工作取向(避免与受访者产生私人性关系,而导致偏差)
受访者对训练时间不同的访员(一、二、五、十天)的评分:
1. 访员要求确切的答案
2. 访员有杰出的工作表现
*评分上无显著差异→受访者对于访员的行为并不敏感
训练对数据质量的影响
在此研究中对于数据质量有两方面的测量-
(1) 层内相关系数 (测量访员和所得数据的相关程度,即访员标准化程度)
(2) 偏误测量 (访员受训程度和所得答案偏误多寡的相关程度)
*在标准化方面-最标准化的是二天训练,一天和十天训练者比起二天和五天者差→十天的训练并不能改进访员标准化程度
*在偏误改进方面-训练十天者偏误最少,一天和五天者相同→关联性难下定论
结 论
访员对一般访问技巧有模拟练习,才能成为可胜任的访员。
处理人际互动:访员训练时间的长短,对人际互动上没有很大差异
处理问答过程上:训练短者自觉准备不充分
追问技巧上:训练短者在追问技巧上表现不佳
标准化无偏误:以接受二天训练表现最佳
结 论(续)
以此研究案例而言,接受二天训练的访员,自认为准备不够,对访问工作的喜爱程度最低(自信心不足)。接受十天训练的访员,搜集资料上比二天、五天者更不标准化,访问质量也较差(长时间导致疲乏、反效果)。
访问训练最佳时间长度,应视其小组大小、研究计划类型的复杂度、训练后所接受的督导类型而决定。
对访员的督导
调查机构对访员工作进行督导的事项
1. 工作量
2. 工作时数
3. 得到的回答率(成功完成访问的百分比)
4. 完成访问的质量
5. 处理访问过程的方式
6. 与受访者互动情形
督导的信息
监督访员的效果之研究
督导效应:
访员对工作的认识
受访者的效应
访问的技巧
所得数据的质量
访员对工作的认识
究竟访员是否会注意到他们在不同程级的督导下,所收到的回馈内容是否会有差别呢?答案是有差别的,接受第一级督导的访员对督导回馈的评定较不重要。
访员接受不同回馈程度,会影响他们对研究机构所在意事项的认知。
录音对受访者的效应
假设1.受访者不喜欢被录音,录音会对受访经验产生负面影响
假设2.录音会影响访员的行为
*从受访者的访谈中,没有证据显示录音会产生负面影响;唯一有显著差异的是,受访者认为:接受训练时间短、及被录音的访员 表现较为紧张。
*录音对于访员质量的控制是可行的。
对访员技巧监督的效应
监督和回馈并不能改善访问的技巧,访员在训练结束时所表现的能力水平就是他们的最佳状况。
监督仅能确认技巧有被使用--JUST KEEP IT (NOT CHANGE IT)
对数据质量监督的效应
P 值
p值(p值小于0.05)的意义:有显著差异研究设立成立
主任在讨论区中对p值的解释:
话说在计算机的报表中常会出现〔p值〕这个〔统计考验量数〕,它指的是虚无假设(null hypothesis,常以H0表示)被接受(或说〔为真〕)的情况下,所得到的一个不小于此统计数值的机率值。若检定结果接受虚无假设(p值>显著水平),则推翻原本真正要检定的研究假设(research hypothesis,常以H1表示)﹔而如果经检定是拒绝虚无假设的话(p值=<显著水平),则原本的研究假设得以成立。
注:在统计学理上有一个叫做〔显著水平〕(level of significance)的,在统计分析的报表上往往以Significance或Sign.呈现,此意义就是研究者拒绝虚无假设得最大机率值,一般学者间约定成俗的习惯是采0.05或0.01作为假设考验的显著水平值。
测量方式
(1) 层内相关系数(rho):
访员对数据的影响程度(某个推估值之变异量和访员的关系程度),如果rho系数很小,那表示变异量并非由访员所引起,此时访员的质量便获得证实。
rho(层内相关系数)在三个督导层级分别是 0.012/0.010/0.008,且经检定后发现 p值小于0.05,所以各层级间存在差异,亦即依层级的改变,访员效应有显著减少现象这个命题是可成立的,故可得出
〔督导级数越高/越严谨/越细致/执行考虑因素越多,则访员效应/引发对数据正确性之影响就越小,亦即rho会随督导层级而逐渐改善〕
测量方式(续)
(2) 偏误测量:
访员受训程度和所得答案偏误多寡的相关程度。
密集式的问卷检阅和访问录音效果对于所有训练类组上的影响是代表下方提及的〔t=1.0 ,第三级vs.第一,第二,p值不显著〕可判断在各督导层级间并未有明显差异。
在〔标准分数(不包括训练天数少于一天的)〕这个项目,可参见表下方提及的〔t=1.8 ,第三级或第一,第二,p值小于0.04 〕可判断在各督导层级间有明显差异,且是较大值表偏误小,亦即访员的偏误大都来自〔接受训练少于一天但被录音者──去除训练少于一天者为34→所有训练小组的20,34→20,偏误变大〕,故可说明:若排除此类访员,则录音的价值在降低偏误上是有显著的正面影响。
结 论
督导能影响访员表现的好坏,但不能改善访员访问的技巧
密集式的督导并不能弥补不当的训练→反效果
当访员对自己的技巧越有信心,越偏离标准化→随心所欲的访问
电话督导→确立标准化访问、立即的回馈
录音督导→受访者多半不介意、对访员影响亦不大,在面访时录音督导有其价值
在调查中如何减低访员
相关的误差
雷碧秀
有六个方式会影响访问的一致性
访员所要询问的题目字句;
所给予访员有关如何处理问题和答题过程的详细指示或守则;
所给予访员有关如何建立和维持与受访者关系的指导与程序;
访员的选择;
访员的训练;
在数据搜集过程中访员被督导的方式。
题目设计
为了使题目成为可信赖的测量工具,须达到三个标准
1. 题目必须编写完全,以便让受访者得以提供答案;
2. 题目对每一位受访者代表的意义是相同的,
3. 对所有的受访者清楚的传达出什么样的答案是对题目的适当回答。
访问的程序
四个标准原则
1. 确实按照题目字句读题;
2. 避免间接追问不适当的答案;
3. 记录答案时不可加入访员自身的臆测;
4. 访员须与受访者保持关系间的中立,不带个人主见的看法。
访者与受访者间的关系
关于访员的亲切又专业的形象将是使调查结果之误差值减至最低,Cannell列出五种访员可以一致的标准传达给受访者:
1. 访问的速度;
2. 提供受访一个模式;
3. 无论是在访问之前或访问当中,都能提供给受访者对其期望保持一致性的指示;
4. 对所欲的行为予以模式化的强化;
5. 要求受访者承诺其表现要在某一水平以上。
减少估计标准误差的五种方式
总 结
标准化的调查访问,其依赖封闭式和固定式答案的问题,它的减少误差关键在于受访者对题目有疑问时,访员该怎么做才对。访员的特征与行为将影响调查数据的质量,在这里所提出可供研究生所用的策略,以便减低访员相关的误差。
END
标准化的调查访问(ppt)
何谓标准化访问
前 言
目的:
为改进调查数据的质量
调查:
指设计来对某些母群体获取量化资料的调查
本书探讨重点:
大多数靠访员询问问题并记录答案的调查形式
如何将访员引起的误差减到最低
访问的本质
访问:
带有目的的会谈(Kahn & Cannell,1958)
两大部分:
访问会谈的主体主要由问题及回答所组成
参与会谈的角色清楚界定—一提问题(访员)、一答问题(受访者)
抽样调查的特征:
个别受访者会成为研究对象,是因他们是被描述母体的一部份,所提供答案有助于研究者描述其所代表的母群体
调查结果呈现是对母体定量或数学性的描述
测量所得结果、用来分析的资料,都是根据受访者回答而来。
成功调查的标准:所得资料是否能测量到研究者所欲描述母群体的真实面貌,及得到正确的数据。
调查中误差的来源
抽样方面误差:
◎当样本并未包含所有母体所描述的特性时,就会有某类别样本被遗漏
◎样本比例未充分反应母体比例
◎部分样本拒绝参与调查,拒绝提供答案,或拒答部分敏感性问题
问卷方面误差:
◎当题目被误解
◎当题目不能表达研究者真正想得到的信息
◎受访者不愿正确回答题目
访员方面的误差:
◎当访员没有逐字念出题目
◎当访员作引导性追问
◎当访员对受访者答案加入自己的偏见
◎当访员记录不正确
资料削减的误差:
◎当过录员使用不一致的过录原则,或对所示用的过录码判断错误
◎数据键入错误
访员的角色
忠实呈现问题
避免访问过程中对受访者的影响力
遵循标准化的流程
调查 测量 「标准化」是必须的
测量---在一个标准之下,找出或估计出任何事物的程度、面向等
(韦氏大字典,Guralk,1976)
调查中,标准化测量的程序是访员提出问题后,访员记录受访者答案的测量程序
标准化目的就在使每一受访者都经历相同的答题经验,每项答案被纪录的方式也相同,答案中所显现的差异可被正确解释为受访者之间的差异,而非因资料搜集过程的差异
举例:「您对于您最大孩子所上的学校评价如何?」
标准化访问与晚间脱口秀访问及医生对病患医疗史访问的比较
﹡都符合访问的定义,但都不是标准化访问
﹡脱口秀目的是娱乐,有时主持人基于制造娱乐效果,反而削减
受访者在意见交流中的用心
﹡医生询问医疗史目的在对特殊病例作详细了解,而非概推到其
他病患,因此访问方式、语句可能会随病患而不同;医生也引
导病人说出真正的感觉
调查 测量 「标准化」是必须的(续)
标准化访问的关键争论---当受访者有问题时,访员该如何作?
【思考】:如果访员发现受访者对题意不确定或有疑惑,而
自行改变或修正题目-----可能导致有些受访者被
问了这个问题,而另外一些则被问了另一个问题,
会导致资料分析时严重困扰
【结论】:当研究目标是要取得量化资料时,标准化、非引
导式的访问是必须的
「标准化访问」非适用于所有搜集资料的过程
探索性研究:在研究的探索阶段,目的是要找出该问的
问题
个案研究:研究者只需将问题涵盖范围界定清楚,后续
则由受访者自由发挥。访问不被视为一种测
量,而是资料搜集过程
何谓访员相关误差
前 言
误差:调查所得答案与研究者所要测量的「真实数据」
之间的差异。
访员相关误差:所得答案中的变异与访问的人有所关
联
与访员无关的误差来源:
﹡题目的用字遣词会影响到回答
﹡和所预测量无关的受访者特质会影响回答
﹡访问所进行的环境也会影响回答
﹡问题在访问中出现的时机也会影响回答
﹡受访者自行填答和访员在访问现场会影响回答
访员效应分析
从心理测定的研究(psychometric approach)观点
* 信度:重复测量相同特征和状况产生一致结果的程度。
当访员之间对不同受访者会造成某种程度的影响,
则结果就会不一致
* 效度:一个测量能与研究者所欲测量者相符的程度。
可以用调查所得答案和另一个测量相同或相似现象
测量结果之间的相关程度,来作为评定标准
(Cronbach &Meehl,1955)
1. 真实答案+访员误差+其它反应的误差
=记录下来的答案
2. 信度=1-(√误差变异 / √观察到的变异)
3. 效度(y)=「y」和标准「x」之相关
* 访员所造成误差会降低一个测量的信度,进而限制了其反应有效相关性的能力
访员效应分析(续)
从抽样统计的观点
* 偏差(bias):所有访问结果的平均值和母群体真正数据的差异程
度。
* 精确度:根据调查所得的推估值,如平均数百分比,和假设从同一
母体重复所做的调查结果,或没有抽样的情形所得结果的
相似程度
-------统计学家称此推估的精准度为「标准误」
* 非标准化访谈的重要意义在其对于推估值标准误的增加
访员效应分析(续)
层内相关系数(intraclass correlation)----Kish,1962
rho的概念就是访员所造成的变异占一个估计值其总变异的比例
因此,可反应某个推估值的变异量跟访员关系有多少
Rho=访员变异量/( 抽样变异量+访员变异量)
Rho的显著值在.01--.02之间,表示有1?--2?的变异量是归因于访员,当访员所访问的受访者愈多时,对数据的影响愈可观
在将访员视为随机变量而作出来的变异数分析中,rho可以利用
「模式的平均变异」、「误差项的平均变异」及「每个访员的平均
访问次数」计算出来
Rho= (模式的平均变异-误差项的平均变异)
模式的平均变异+(访问数-1)(误差项的平均变异)
访员效应分析(续)
DEFT(the square root of the 「design effect」,设计效应的平方根)是在对母体抽样所造成的标准误之外的膨胀效应,其导因于访员对答案造成影响的事实。它决定于Rho的大小及每个访员的平均访问次数
√设计的效应=√1+(访员数-1)(Rho)
访员相关误差显著性上,还可加上依标准化访问程序的重要价值:可复制性。极少有研究者设计研究来估计其资料中的访员效应,然而,提高访员搜集资料的标准化程度及其一致性非常重要,如此,也才能提供他人重复研究结果的基础
侦查访员的误差
结 论
研究机构或研究者很容易忽略访员相关的误差。
相对于其它减少误差的策略,如增加样本数,减低访员相关误差显然成本低多了。
标准化访问技巧
以标准化方式处理问答过程的程序
逐字念出题目
受访者对原始题目的回答不完整或不恰当,继续以非引导式的方式追问
不以访员判断记录答案,答案只能记录受访者所陈述的
访员对访问所涵盖主题不应提出自己私人的意见,以影射个人特别价值观及好恶;也不应对受访者回答内容表示正反意见
标准化访问的困难
不适当的调查工具—如设计不良的问卷
受访者不清楚自己该扮演的角色
访员无法达到标准化的原因
正确性的目标与标准化的目标不一致
与受访者保持融洽关系与标准化的要求冲突
逐字念出题目
研究发现,访员变更用自比例在20?--40?之间,且这些研究都是由很严谨的研究机构所执行的(Bradburn & Sudman,1979;Cannell,Fowler & Marquis,1968;Fowler & Mangione,1986;Cannell & Oksenberg,1988)
访员变更题目的原因
1.题目念起来很拗口
2.访员希望营造一种会话式、非正式的互动
--在题目中加入个人的提示
--有经验的访员较新访员在读题时,容易采取非正式的方式
检验题目字句更动是否影响测量质量
1.以层内关系来测量最易被访员误读的题目,是否产生巨大的访员效应
【结果:×】
2.看那些特别会用非正式方法读题的访员,会不会导致特别偏差的数据
【结果:△】相关程度不显著,且只肯定,被评为有较佳访问技巧的访员,
其所得资料较无偏误
3.检视有关题目字句的研究(Schuman & Presser,1981)
【结果:▲、?】
例:Q1:是不是应该禁止共产党员在美国的公开场合演说?
Q2:是不是应该不允许共产党员在美国的公开场合演说?
【结果:不允许:50?;禁止:20?,说服访员中时读题的好例子】
例:省略没有意见的选项v.s 忠实读出所有选项
【结果:69?v.s 90?】
例:妊娠终止 v.s 堕胎
【结果:×】
追问不适当的回答----非引导式的追问
运用时机及解决方式
追问方法
关于追问误差
追问是访员技巧中最难学的部分
追问是问答过程中无法完全被标准化的一部份
调查测量中,追问是一项重要的误差来源(Hyman;Groves & Magilavy,1980)
开放性问题的访员追问误差更明显
访员最常犯的追问误差:引导性追问、该追问而未追问
追问时特别容易有访员差异的三种情况:
1.访员的期望会影响其追问的行为(Hyman,1954)
2.对于可能有多重答案的题目,访员差异可能导致答案数
量上的差别
3.在处理「不知道」或同类问题时,访员差异会使结果有
差异
解决追问误差最有效的方法:改进题目质量,使访员追问机率减少
记录答案
访员的任务
立场保持中立
需包含之重要因素:
访员不应该主动提供受访者有关个人对于生活状况、观感、或价值的讯息
【原因】
主动提供讯息可能破坏以搜集数据为先的专业性
谈论个人观感只会使其差距加大
有关个人观感和背景的信息可能会直接影响答案
在提供给受访者的回馈中,应避免对受访者答案提供评估和判断
【原因】大多数受访者在意访员如何看待其答案
训练受访者
方法
访问开始时,作一些开场的介绍
【用意】
跟受访者说明,这是一种特殊的互动,有其特别的游戏规则
让访问易于进行
增加访员自身遵守标准化的规范
访问过程中遇到问题时,再解释标准化访问的特色
【例如】
受访者已提及下一问题的答案时
受访者觉得题目中有含糊或定义不清楚的名词时
在封闭式的题目中,受访者不想选出答案选项中的一项
受访者给的答案不明确,因为可能只是一个估计或预测
受访者讲得太快,访员无法逐字记录下来时
当受访者的家人想要帮忙答复意见性的题目
当受访者在访问中询问访员意见
建立标准化访问的脉络
许牧民
要执行标准化访问的一个先决条件是要建立起一种关系,使受访者有其意愿,访员有其能力,可以使其个别角色在测量过程中得以发挥。
Charles Cannell指出:访员在建立访问为一种测量经验中扮演着重要的角色。访员所建立的访问互动模式,与受访者发生问答过程的关系,也对资料结果扮演关键性的角色。根据发现,这也是访员的做法最不一致的工作。
建立访员与受访者互动的三个重点:
一、解释访问的目的及原因
二、建立访员与受访者之间关系的良好趋势
三、传递访问的目标和要使用的规则
Kelman 的访员类型说
要思考受访者对访员的定位问题,Kelman指出有三种产生影响关系之类型。
顺从性(compliance):其特色是在该关系中,影响的管控是按行为来进行奖惩操控。如受访者要避免访问中不愉快的互动,获得访员的赞赏、愉悦,但结果不一定理想。
角色认同(identification):这类的影响根源于一个人在该关系中对其角色的接受,因此,所表现出来的就如同该角色所预期的一样。如,调查中探讨所谓好市民,就以社会所认知、期待的好市民角色来响应问题,事实上,对研究结果无益。
内化性(internalization):影响之所以发生是因为某种行为和一个人的自我价值产生连结。如,受访者是访问为一种达成个人目标的方式,或是学习更多重要的社会议题,和角色认同有些接近。
受访者对于访问的定位
要评估Kelman的三种类型是否对访问有帮助,则应先知道有关受访者对访问的定位,有两大法则。
法则一:受访者对调查信息了解的多寡有很大的差异有很多人士在对调查资助者极其目的了解有限的情况下参与调查。
法则二:在受访者的生活中,访问工作不是件很重要的事件。因此,常轻忽调查者所给予的相关资料。
受访者是否感觉到、想到或知道访问对数据质量会造成任何差异?关键在于,受访者对扮演其角色最好的方式,就是对作正确的报告有较清楚的认识。
访员与受访者的关系
在信息程度不均的情况下,大部分受访者对调查的背景和目的的了解有差别,而对访员的反应大概是绝大多数的受访者接受访问意愿最重要的关键。除此之外,和访员的关系也会对他在测量过程的表现上有主要的效应。
* 访员和受访者理想的角色关系有很多不同,如信任、尊敬、专业、权威甚至是对立。
* 对很多受访者而言访员是他们参与访问最重要的原因。
* 访员和受访者间的互动,基本上应该还是一种专业型态。主要的焦点放在访问工作,而且受访者对人际吸引的关心应减到最低。
* 归纳起来,较希望的是和善、专业的关系,访员在此关系中受到信任与尊敬,却也是能够接受而不加批判的专业性(有心理治疗师或谘商人员的影像)。
为受访者设定标准
※ 证据显示,访员对受访者传达他们该如何在访问中表现的标准,对访问所得的数据有主要的影响。
※ 受访者表现的标准也是个问题,是严肃的测量过程?还是只简单填个问卷?要精确的答案?还是一般的想法?是一般谈话?还是严谨的社会科学研究,讲求精准?
※ 若访员表现出要求「确切的答案」,则调查质量较「一般的想法」为佳。
※ 访问过程中访员进行的速度的快慢,会影响受访者提供「确切的答案」。
Cannell四种改善报告质量的策略
增强:如,答的理想,访员说正面、鼓励的话。反之,访员就不予以积极的响应。经过设定的增强程序,比访员自行的增强行为佳。
模型示范(modeling):Hensen(1973)认为要向受访者传达他们被期望的表现方式,最好的方法就是做一个示范。如,以录音带「告诉受访者,一个希望达成的访问是什么样子」。
标准化指导(standardized unstruction):让访员在访问之前先对受访者念一份指导说明,这大概是最直接的方法,来确定访员对所有受访者设定了同等的高标准,这对教育程度较高者特别有用。
承诺(commitment):访员要求受访者给一个承诺,若不,访问就结束。事实上不承诺者少,且回答质量提高。
结 论
最直接可帮助访员设定标准的三个方法
一、 标准化的指导说明
二、 要求口头承诺
三、 坚持访员要放慢速度访问
标准化访问中
题目设计的角色
一个研究者若要确保标准化的访问,最重要的方法之一,就是给访员容易问也容易答的题目。
访问的明细做的越好,访问的工作也就会越好。
最会产生访员效应的题目,就是那些必须由访员辨识、判断才会得到适当答案的题目。
题目内容
影响访员的题目内容有两类
一、题目的敏感性
二、题目是询问态度、意见或是事实性的答案
* Kish(1962):态度或意见性的题目,比事实性的题目较容易受访员的影响。因事实性的题目(可以被独立检验的过去事件或是现在的状况)是根源于某种客观的现实,相对的,有关态度和意见的题目,除了受访者之外,没人可以去验证或观察到。
* 意见性的题目较难回答,是因受访者对该主题较不可能有已发展成熟的意见,结果就会显著受到访员的影响。
题目型式
题目型式最明显的差别是在受访者是否给于一组答案,从中挑选(封闭式或固定响应题目),或是要求用自己的话来回答(开放式题目)。后者较可能产生访员效应。
提问-答题的过程
八种与测量过程有关联的行为
一、 题目是否逐字被念出
二、 访员是否正确的追问以获得适当的答案
三、 访员是否引导追问的方向
四、 当需要去追问适当的答案时访员是否没有去做追问
五、 (只针对开放式题目)访员是否逐字纪录答案
六、 访员是否对受访者的答案给予不当的回应
七、 访员是否涉及不妥当的交际行为
八、 在问答的过程中是否有谈笑
访员特定行为之发生与Rho间之影响关系排序
一、 没有去追问
二、 没有完整或正确的逐字纪录开放性问题
三、 正确的追问
四、 引导性的追问
* 另一影响原因是访员纪录误差的可能性
追问的相关因素
开放性题目比封闭式题目更需要追问
意见性的题目比事实性的题目更需要追问
困难度高的题目及意见性的题目易引起引导性的追问
标准化测量的特定威胁
一、 所涉及的要点数目:较易发生在开放性题目。例,从您的观点看,住在这附近您最喜欢的「一些」事情是什么。具多重回答性。
二、 隐藏性筛选题目:例,您去年读过最好的一本书是什么?至少含两个题目。
三、 在题目中不清楚的名词:在题目中含有定义不清的名词,特别容易产生访员效应。
四、 不清楚的响应期望:题目的措词中,无法确定什么是构成适当响应的内容。例,「您从什么来源得到最主要的健康信息」。何谓来源?交谈、阅读、电视?若是阅读,是哪一类书?杂志、书籍、报纸.....。
五、 田野中过录的答案:也就是题目用开放的型式来询问,但是访员被要求用过录码来作纪录。真正的问题在于,受访者不知道访员判别的标准是什么?访员也未被给予标准化的策略来提供受访者一些答题的线索。目前对此法采较保守的态度。
设计调查工具以减低访员效应
要降低访员效应,可将受访者答题所需要知道的放到题目里,也就是在拟写题目时,提供访员完整的脚本。
四个指导方针:
一、 一个好的题目设计,对关键名词要确示其定义
二、 对于隐藏性筛选题目,要特别留意,使之更明确,将会有更标准更好的测量。
三、 研究者拟写题目时将对答案的期望更明确表示出来,以减低访员相关的误差。
四、 在回答开放性问题时,访员和受访者在所涉及的重点数目上的变异性应该要控制,也就是明示答案需要几个重点。
指认题目问题的策略
一、 焦点讨论团体(focused discussion groups):最古老、也是最好的方法之一。藉由小组讨论的过程在调查涵盖的范围内,讨论每个人的经验或意见。
二、 认知研究技术(cognitive research techniques):受访者在调查的前测版本中,被要求将其思考过程大声的讲出来。研究者从人们对其题目的理解及思考方式中,可以确认一些题意不清或在回答上会遭遇困难之处。另一方式是进行两次,比较两次之差异。
三、 使用前测访问(use of pretest interviews):给访员更多的训练,目标是培养他们对题目的敏感度,包括不容易逐字念出的题目,以及通常需要追问、澄清题意,以取得适当答案的题目。
四、 录音纪录并过录(tape recording and coding):将至少25次(以取得测量的稳定性)的前测录音,寻求访谈过程与追问之关联行为。
结 论
Bradburn 和Sudman(1979):要减低访员效应,最好的方法就是写更好的题目。写更好题目的关键步骤,就是要小心仔细、酝酿完全后在调查之前并先预试所有的程序。
访员的选择与
访员的相关误差
访员的特性应从三方面思考:
一、 有些访员会比其它人更胜任问答的过程
二、 某些特定的访员特性可能会改变题目的意义或脉络
三、 访员特性可能会影响访员与受访者关系的质量
访员特性及其表现
* 一个良好的访员,有些特性是必要的
* 起码要有良好的读写能力
* 具专业领域知识的访员未必是最恰当,因一个普通的访员,不必去维持专业之能的假象,可以尽量去做非引导性的追问,直到答案清楚为止。
访员特性及访问脉络
* 访员特性:年龄、性别、种族、教育程度、社会阶级、族群及宗教背景
* 较有影响者:宗教信仰或族群,种族
访员与受访者的关系
* 比受访者社会地位与教育程度较高的访员,会有较好的报告品质。
* Weiss的研究中,两项重要的结论:
一、 人口特征的相似性,对测量质量并非是一个正数。
二、 人际关系与人际吸引也未必是正数,对调查资料反而可能会有负面的影响。
访员的年龄
目前数据显示,没有影响。
访员的性别
* 普遍对女性访员的评价较高(但目前男性访员较少,会影响统计)。
* 但无证据显示女性访员的报告较好或资料较不一样。
结 论
访员特性和访员相关误差之间的关系,很少能建立起来。但是,如果调查的主题是直接和访员的某些特性是相关的,可能会导致受访者会顾虑到某些答案的选项对访员会是一种直接的侮辱,侵犯或令之尴尬。那研究者就要认真的考虑要控制这些特性。
关心如何减低访员的相关误差,与其把重心放在访员的选择,不如将重点放在访员的训练和督导上面。
访员的训练
程馥慧
训练的选择
所有在做第一次正式访问之前的指导活动都算是训练
训练时间的长短-和训练的内容、技巧、成本有关
训练方式对访问工作的影响:
1. 访员对其工作的认知
2. 访员的技能
3. 访员与受访者的关系、受访者对访员的反应
4. 所搜集数据的质量
对训练访员价值的研究
研究案例
研究对象:招募五十七名没有专业访问经验的访员,分别安排在四场训练小组( 为期一天、二天、五天、十天)
研究条件:训练前皆先给予手册自行研读,每场所教导的访问技巧一致、传递的讯息一致,差别在访问程序的练习、对程序背景的了解程度,随天数增加而更广泛
研究目标:检视是否较长、较密集的训练经验有其价值
训练在访员对其工作认识上的效果
研究结果:
访员对训练经验的感想--
*训练时间越长-访员越会将训练评定为重要讯息来源
*训练时间越短-访员越会将访问手册评定为重要讯息来源
访员自觉准备充分的程度--
*受训练最少的访员,自己感觉准备程度和他人相同
*受训练最少的访员,最困扰的是如何去追问
访员对处理事情优先级的认知--
*各组皆认为得到正确、完整的答案是最优先的原则;但接受长时间训练者比训练时间短者,将标准化的优先程度评定的更高
*接受二天训练者,最不愿当访员
访问技巧
可由以下的方式去了解访员的访问的技巧:
1. 要求访员回答受访者可能会问的问题
2. 和受访者的访谈
3. 在训练完成后所做访问练习的录音记录
受访者对访员的感觉
访员对工作越熟练,访问时就越有自信,表现上亦越被评为专业
访员训练强调工作取向(避免与受访者产生私人性关系,而导致偏差)
受访者对训练时间不同的访员(一、二、五、十天)的评分:
1. 访员要求确切的答案
2. 访员有杰出的工作表现
*评分上无显著差异→受访者对于访员的行为并不敏感
训练对数据质量的影响
在此研究中对于数据质量有两方面的测量-
(1) 层内相关系数 (测量访员和所得数据的相关程度,即访员标准化程度)
(2) 偏误测量 (访员受训程度和所得答案偏误多寡的相关程度)
*在标准化方面-最标准化的是二天训练,一天和十天训练者比起二天和五天者差→十天的训练并不能改进访员标准化程度
*在偏误改进方面-训练十天者偏误最少,一天和五天者相同→关联性难下定论
结 论
访员对一般访问技巧有模拟练习,才能成为可胜任的访员。
处理人际互动:访员训练时间的长短,对人际互动上没有很大差异
处理问答过程上:训练短者自觉准备不充分
追问技巧上:训练短者在追问技巧上表现不佳
标准化无偏误:以接受二天训练表现最佳
结 论(续)
以此研究案例而言,接受二天训练的访员,自认为准备不够,对访问工作的喜爱程度最低(自信心不足)。接受十天训练的访员,搜集资料上比二天、五天者更不标准化,访问质量也较差(长时间导致疲乏、反效果)。
访问训练最佳时间长度,应视其小组大小、研究计划类型的复杂度、训练后所接受的督导类型而决定。
对访员的督导
调查机构对访员工作进行督导的事项
1. 工作量
2. 工作时数
3. 得到的回答率(成功完成访问的百分比)
4. 完成访问的质量
5. 处理访问过程的方式
6. 与受访者互动情形
督导的信息
监督访员的效果之研究
督导效应:
访员对工作的认识
受访者的效应
访问的技巧
所得数据的质量
访员对工作的认识
究竟访员是否会注意到他们在不同程级的督导下,所收到的回馈内容是否会有差别呢?答案是有差别的,接受第一级督导的访员对督导回馈的评定较不重要。
访员接受不同回馈程度,会影响他们对研究机构所在意事项的认知。
录音对受访者的效应
假设1.受访者不喜欢被录音,录音会对受访经验产生负面影响
假设2.录音会影响访员的行为
*从受访者的访谈中,没有证据显示录音会产生负面影响;唯一有显著差异的是,受访者认为:接受训练时间短、及被录音的访员 表现较为紧张。
*录音对于访员质量的控制是可行的。
对访员技巧监督的效应
监督和回馈并不能改善访问的技巧,访员在训练结束时所表现的能力水平就是他们的最佳状况。
监督仅能确认技巧有被使用--JUST KEEP IT (NOT CHANGE IT)
对数据质量监督的效应
P 值
p值(p值小于0.05)的意义:有显著差异研究设立成立
主任在讨论区中对p值的解释:
话说在计算机的报表中常会出现〔p值〕这个〔统计考验量数〕,它指的是虚无假设(null hypothesis,常以H0表示)被接受(或说〔为真〕)的情况下,所得到的一个不小于此统计数值的机率值。若检定结果接受虚无假设(p值>显著水平),则推翻原本真正要检定的研究假设(research hypothesis,常以H1表示)﹔而如果经检定是拒绝虚无假设的话(p值=<显著水平),则原本的研究假设得以成立。
注:在统计学理上有一个叫做〔显著水平〕(level of significance)的,在统计分析的报表上往往以Significance或Sign.呈现,此意义就是研究者拒绝虚无假设得最大机率值,一般学者间约定成俗的习惯是采0.05或0.01作为假设考验的显著水平值。
测量方式
(1) 层内相关系数(rho):
访员对数据的影响程度(某个推估值之变异量和访员的关系程度),如果rho系数很小,那表示变异量并非由访员所引起,此时访员的质量便获得证实。
rho(层内相关系数)在三个督导层级分别是 0.012/0.010/0.008,且经检定后发现 p值小于0.05,所以各层级间存在差异,亦即依层级的改变,访员效应有显著减少现象这个命题是可成立的,故可得出
〔督导级数越高/越严谨/越细致/执行考虑因素越多,则访员效应/引发对数据正确性之影响就越小,亦即rho会随督导层级而逐渐改善〕
测量方式(续)
(2) 偏误测量:
访员受训程度和所得答案偏误多寡的相关程度。
密集式的问卷检阅和访问录音效果对于所有训练类组上的影响是代表下方提及的〔t=1.0 ,第三级vs.第一,第二,p值不显著〕可判断在各督导层级间并未有明显差异。
在〔标准分数(不包括训练天数少于一天的)〕这个项目,可参见表下方提及的〔t=1.8 ,第三级或第一,第二,p值小于0.04 〕可判断在各督导层级间有明显差异,且是较大值表偏误小,亦即访员的偏误大都来自〔接受训练少于一天但被录音者──去除训练少于一天者为34→所有训练小组的20,34→20,偏误变大〕,故可说明:若排除此类访员,则录音的价值在降低偏误上是有显著的正面影响。
结 论
督导能影响访员表现的好坏,但不能改善访员访问的技巧
密集式的督导并不能弥补不当的训练→反效果
当访员对自己的技巧越有信心,越偏离标准化→随心所欲的访问
电话督导→确立标准化访问、立即的回馈
录音督导→受访者多半不介意、对访员影响亦不大,在面访时录音督导有其价值
在调查中如何减低访员
相关的误差
雷碧秀
有六个方式会影响访问的一致性
访员所要询问的题目字句;
所给予访员有关如何处理问题和答题过程的详细指示或守则;
所给予访员有关如何建立和维持与受访者关系的指导与程序;
访员的选择;
访员的训练;
在数据搜集过程中访员被督导的方式。
题目设计
为了使题目成为可信赖的测量工具,须达到三个标准
1. 题目必须编写完全,以便让受访者得以提供答案;
2. 题目对每一位受访者代表的意义是相同的,
3. 对所有的受访者清楚的传达出什么样的答案是对题目的适当回答。
访问的程序
四个标准原则
1. 确实按照题目字句读题;
2. 避免间接追问不适当的答案;
3. 记录答案时不可加入访员自身的臆测;
4. 访员须与受访者保持关系间的中立,不带个人主见的看法。
访者与受访者间的关系
关于访员的亲切又专业的形象将是使调查结果之误差值减至最低,Cannell列出五种访员可以一致的标准传达给受访者:
1. 访问的速度;
2. 提供受访一个模式;
3. 无论是在访问之前或访问当中,都能提供给受访者对其期望保持一致性的指示;
4. 对所欲的行为予以模式化的强化;
5. 要求受访者承诺其表现要在某一水平以上。
减少估计标准误差的五种方式
总 结
标准化的调查访问,其依赖封闭式和固定式答案的问题,它的减少误差关键在于受访者对题目有疑问时,访员该怎么做才对。访员的特征与行为将影响调查数据的质量,在这里所提出可供研究生所用的策略,以便减低访员相关的误差。
END
标准化的调查访问(ppt)
[下载声明]
1.本站的所有资料均为资料作者提供和网友推荐收集整理而来,仅供学习和研究交流使用。如有侵犯到您版权的,请来电指出,本站将立即改正。电话:010-82593357。
2、访问管理资源网的用户必须明白,本站对提供下载的学习资料等不拥有任何权利,版权归该下载资源的合法拥有者所有。
3、本站保证站内提供的所有可下载资源都是按“原样”提供,本站未做过任何改动;但本网站不保证本站提供的下载资源的准确性、安全性和完整性;同时本网站也不承担用户因使用这些下载资源对自己和他人造成任何形式的损失或伤害。
4、未经本网站的明确许可,任何人不得大量链接本站下载资源;不得复制或仿造本网站。本网站对其自行开发的或和他人共同开发的所有内容、技术手段和服务拥有全部知识产权,任何人不得侵害或破坏,也不得擅自使用。
我要上传资料,请点我!
管理工具分类
ISO认证课程讲义管理表格合同大全法规条例营销资料方案报告说明标准管理战略商业计划书市场分析战略经营策划方案培训讲义企业上市采购物流电子商务质量管理企业名录生产管理金融知识电子书客户管理企业文化报告论文项目管理财务资料固定资产人力资源管理制度工作分析绩效考核资料面试招聘人才测评岗位管理职业规划KPI绩效指标劳资关系薪酬激励人力资源案例人事表格考勤管理人事制度薪资表格薪资制度招聘面试表格岗位分析员工管理薪酬管理绩效管理入职指引薪酬设计绩效管理绩效管理培训绩效管理方案平衡计分卡绩效评估绩效考核表格人力资源规划安全管理制度经营管理制度组织机构管理办公总务管理财务管理制度质量管理制度会计管理制度代理连锁制度销售管理制度仓库管理制度CI管理制度广告策划制度工程管理制度采购管理制度生产管理制度进出口制度考勤管理制度人事管理制度员工福利制度咨询诊断制度信息管理制度员工培训制度办公室制度人力资源管理企业培训绩效考核其它
精品推荐
下载排行
- 1社会保障基础知识(ppt) 16695
- 2安全生产事故案例分析(ppt 16695
- 3行政专员岗位职责 16695
- 4品管部岗位职责与任职要求 16695
- 5员工守则 16695
- 6软件验收报告 16695
- 7问卷调查表(范例) 16695
- 8工资发放明细表 16695
- 9文件签收单 16695
- 10跟我学礼仪 16695