发布日期:2023-10-19信息来源:
当前位置:首页 | 方法论 | 2019-2020
2019-2020年中国工作环境调查项目和抽样设计、执行与数据处理报告
字体大小选择:

2019-2020年中国工作环境调查项目和抽样设计、执行与数据处理报告

       2019-2020年度工作环境调查项目分为项目设计、项目执行以及数据清理三个部分。项目设计中的问卷设计和抽样设计由工作环境调查项目组(以下简称“项目组”)完成,项目执行由北京某调查公司完成,项目组实施监督,最后数据的清理由项目组完成。现就项目的设计、执行与数据清理情况进行具体说明。


第一部分 项目设计


一、问卷设计

      2019-2020年度工作环境调查问卷整体上延续了2018年的问卷结构及内容,做出了小幅度的调整,主要包括,第一,删减了7道题目,第二,增加58道题目。

      最终问卷包含七个部分,(1)A部分,访问基本信息。具体问题包括访问地点、访问时间等,该部分由访问员填答;(2)B部分,筛选受访者。具体问题包括家中工作的人数、一次答话者的年龄排行、被选中对象是否愿意接受访问等,该部分由访问员询问后填答;(3)C部分,受访者工作的基本情况。问题涉及受访者的雇佣身份、工作内容、工作条件、工作感受等内容,问题总计122个。C部分开始是问卷的主体部分,均由受访者作答;(4)D部分,受访者单位情况。问题涉及单位类型、机构设置、制度建设等内容,问题共计117个。需要说明的是,如果受访者没有工作单位,则跳过不需要作答该部分;(5)E部分,受访者收入和福利情况。问题涉及收入总额、收入构成部分、收入满意度等等,问题共计29个;(6)F部分,受访者人际关系和社会生活情况。问题涉及与领导和同事的关系以及对生活各方面的满意情况等,问题合计135个;(7)R部分,受访者个人基本情况,包括年龄、性别、家庭资产等,共计45道题。

      问卷题量较大,设计作答时间为30分钟。


二、抽样设计

(一)目标总体

      2019-2020年度工作环境调查的目标总体为中国大陆城镇16岁及以上的就业人口。此处,“城镇就业人口”的操作性定义为,2019年10月-2020年11月之间居住在中国大陆直辖市、地级市、县级市的社区(居委会)辖区中的16岁及以上就业人口。

(二)抽样程序设计

      2019-2020年度工作环境调查采取复杂抽样设计,包含四级抽样程序。

      1、PSU抽样。县级行政区划(市辖区、县级市)为一级抽样单位(PSU),它是基于2010年六普数据,结合中国人民共和国民政部的最新区划信息,形成PSU抽样框数据,按照PPS(Probability Proportional to Size, PPS,和规模等比例的概率抽样)抽取60个县市区(PSU)。

      2、SSU抽样。对每一个PSU,依据PPS原则,我们抽取8个社区(居委会)为二级抽样单位(SSU)。若出现无法进入、或因拆迁、区划变更等原因时,我们会重新从SSU样框中,依据相同原则补充新SSU。

      3、TSU抽样。对抽中的每一个SSU,我们的调查执行机构实地派出调查员制作街区地图,形成住户地址表,作为三级抽样框。我们从中按照简单无放回随机抽样(SRSWOR,Simple Random Sampling Without Replacement)原则,抽取13户作为三级抽样单位(TSU)。考虑到拒访率和非目标家庭户的存在,我们在抽样时,要求调查单位提供每一个TSU的拒访率估值,按照以下公式确定相应的入户地址数量。

                                                           抽中地址数=int(13/(1-拒访率)+0.5)

      项目执行过程中,若成功调查数达到13户,则中止调查;若使用完所有入户地址,仍然无法成功访问到13户,则进行补充抽样,给出新的入户地址。

      4、USU抽样。对抽中的TSU(家庭户),我们按照制订的随机数表(参见问卷),每个地址抽中一个个体作为最终抽样单元(ultimate sampling unit,USU)。若抽中个体无法接受访问,不允许户内替代,按照抽中地址表走访下一个地址。

(三)样本量设计

      在简单随机抽样(无放回)的情形下,我们可以得到样本量估计的如下公式:

1697711933179.png

      其中,p为样本中某一个类别在总体中出现的概率;uα为置信水平为α时所对应的分布临界值;d为样本估值和总体参数之间的差值。根据上述公式,如果我们设定估计区间置信水平α为0.05,绝对误差d为3%,那么,对于绝大多数分布的估计而言,我们仅需调查1000个左右的样本即可。

      但本调查并非简单随机抽样,而是多阶段复杂抽样,所以我们还必须考虑设计效应(deff)问题。设计效应是指在同等样本规模下,采取复杂抽样所形成的样本方差和简单随机抽样所形成的样本方差之间的比值。设计效应的估计公式为:

1697712046770.png

      其中,b为从单个抽样单元中抽取的样本数量;roh为抽样单元内的同质性。该公式表明,从单个抽样单元中抽取的样本数量越大,设计效应越大;抽样单元内的同质性越大,设计效应越大。本调查抽样方案已经尽可能增大抽样单元的数量,降低单个抽样单元内的样本数量。因此,根据本调查设计方案和以前的抽样经验,我们把本调查的设计效应设定5。因此,考虑设计效应的样本量就是1000×5=5000。

      为了获得无偏的参数估值,社会调查必须保证一定水平的应答率r:

r=参与调查者人数/接触被访者人数

      从方法论上讲,是否应答把目标总体划分为两个潜在总体:调查可及和调查不可及,前者的规模是应答率*目标总体规模,后者的规模是(1-应答率)*目标总体规模。应答率越低,样本估值可推论的总体规模越小。只有在假定可及总体和不可及总体的所推论的参数上不存在统计上显著的差异时,我们才有可能在出现非应答的情形下,把调查结论推论到总体的全部成员之上。一个经验规则是,在抽样调查中,我们至少应保证50%以上的应答率(可及和不可及总体各占目标总体的一半)。考虑到调查中的无应答现象,我们需要适当放大抽取样本的规模。我们预设本调查的应答率为80%,这样,考虑到无应答现象,本调查的样本量应为5000/0.8=6250。再考虑到样本分配中的具体情况,最终确定的样本量为6240(=60*8*13),分别是60个PSU,每一个PSU下8个SSU,每一个SSU下13个TSU,每一个TSU下1个USU。


三、质量控制设计

      质量控制的目标是降低调查数据的系统误差(偏差)。基于抽样设计,本调查的系统误差主要可能出现在以下三个环节当中:(1)“居内抽户”环节。例如,社区地块抽样图不完整,社区抽样表填写不准确,访问员随意替换住户地址;(2)“户内抽人”环节。例如,访问员未按照Kish表程序进行户内抽样,或者Kish表填写不规范,导致样本性别、年龄等多方面出现偏误;(3)“入户访问”环节。例如,访问员在访谈时出现系统性漏问,利用跳答规则故意回避部分题组,将应“逐项提问”的问题合并提问等,引导或暗示被访者进行某种回答等。

      本调查围绕以上三个环节,在调查过程中通过以下程序对数据质量进行控制。


(一)居内抽户环节

      调查单位首先要求地方代理抵达抽中的社区或居委会,进行实地走访,考察社区居委会内的所有建筑情况,据此绘制或更新《社区登录图》。在此基础上填写《地块登录表》,列出每一幢建筑的层数、楼门数、每层每个楼门中住户数。上述建筑中的所有住户就构成了本次抽样的抽样框。进行实地测绘的调查员必须确保图、表中住宅楼、房的编号一致。如果《地块登录表》中显示的住户数量明显低于当地居委会的一般户数规模,应及时核对《社区登录图》和《地块登录表》是否完整。

      在接收到调查单位提交的《社区登录图》和《地块登录表》资料后,课题组将根据随机程序,为每个社区抽出入户清单,即《入户登记表》。同一住户访问3次无应答或拒访2次才可视为访问失败,并将情况如实填写在《入户登记表》中。对上门3次仍不能完成规定数量有效样本访问的社区,课题组将提供第二批访问地址。

      与此同时,课题组要求访问员在实际调查过程中必须对完成访问的家庭户拍摄住址照片一套(居委会全称照、住宅楼/平房编号照、家门牌号照),照片中显示地址应与样本地址一致,缺失照片或地址错误的问卷将视为废卷。

(二)户内抽人环节

      按照调查流程,访问员在成功入户之后首先要借助问卷首页上的Kish表从户内成员中抽取出被访者。“户内抽人”环节是保持样本随机性的重要环节,必须严格执行。在问卷回收之后,审核人员会检查问卷中Kish表抽样过程是否正确,如果有误,必须重新进行入户访问。访问员访问过程中,必须进行全程录音。录音中必须显示访问员正确地进行了“户内抽人”环节。录音中有造假行为的访问员,此访问员所做的所有问卷视为废卷。录音缺失“户内抽人”环节的问卷将视为废卷。

      与此同时,课题组会对调查数据进行性别、分年龄的统计监控。在调查后期,如果出现性别比失衡或年龄结构偏差的情况,将启动配额抽样程序,以控制受访者的构成。

(三)入户访问环节

      调查执行机构利用《访问员手册》和相应的视频材料对于访问员进行有效培训,要求访问员在访问过程中不能出现漏问、跳答误用等问题。如果出现上述错误,必须及时进行弥补;在补充调查完成之前,访问员不能执行新的访问。如果发现明显的录音造假行为,要求调查公司对该访问员负责的所有问卷重新入户。

      在规范访问员行为的基础上,课题组建立了三审制度,会同北京调查公司和当地督导对调查数据进行多次审核(如图1所示)。其中,初审由当地督导完成,二审有调查公司完成,三审由课题组完成。

1697712406548.png

 图1 审核流程图

      由于当地督导和调查公司均可能出于尽快完成任务的目的而放松审核,因此对数据质量的把控主要落在三审环节。对此,项目组建了专门的审核小组,审核小组包括1名老师负责审核指导和沟通,17名审核人员,包括研究生10名,本科生7名。审核小组建立了详细的审核方案,对人员分工、各环节的审核任务、关注的重点等内容进行了明确。具体来说,如图2所示,审核人员被分为4个小组,分别为真实性审核组、正确性审核组、跳漏问审核组、纠错纠偏审核组。审核任务分别为:(1)真实性审核组:识别是否真实访问,需要考察照片、时间、GPS和访问特征之间的一致性,根据证据链做综合判断。(2)正确性审核组:确认是否正确访问,主要是访问户是否在给与的入户列表中,入户后的Kish表是否正确使用,抽样框是否正确,受访者是否是随机抽样结果。(3)跳、漏问审核组:检查跳、漏题项,可通过访问录音和过程录音,以快速播放的形式,结合每一个问卷的平均用时或每一个模块的平均用时,发现跳题或漏题的现象,及时记录和反馈。(4)纠错纠偏审核组:检查错误录入等差错,纠错纠偏,提高数据的质量和精度,减少录入错误率,同时详细记录访员访问不规范项。

1697712490526.png

图2 三审审核流程图


第二部分 项目执行


四、项目执行与疫情背景下的项目调整

项目执行实际过程主要包括三个阶段:

(一)起步阶段:2019年12月到2020年1月

      调查执行从2020年12月正式开始,第一批调查首先在北京市房山区、武汉市洪山区和石家庄市长安区等三个地区进行。截至2020年1月14日,共收到问卷58份。由于临近春节,调查暂时性中止。然而,在此期间,国内新冠肺炎疫情突然升级,为了避免疫情传播,全国进入封闭管理状态。在此背景下,调查工作进入持续性中止状态。

(二)重启阶段:2020年4月到2020年8月

      2020年4月,新冠肺炎疫情在全国范围内得到有效控制,各地开始复工复产,调查项目也同步重启。在该阶段,调查先后在全国36个市(县、区)开展。但是,受疫情影响,一方面小区管理更加严格,另一方面居民的防备加重,这使得入户调查变得十分困难。因此,在这阶段项目推进十分缓慢,仅收回问卷1082份。

(三)调整和加速阶段:2020年8月到2020年11月

由于调查进度缓慢,并且短期内无法有效改善;为了完成调查工作,项目组经过多轮讨论,决定调整调查方案:在原入户调查继续的情况下,开展入厂调查,即访问员进入工作单位内部,对同一企业的多名劳动者进行调查。

项目组执行了详细的入厂调查方案。第一,单位的选择。由于进入单位开展调查需要管理层的允许,因此,单位的选择采取了方便抽样的方法,即项目组、北京调查公司和地方调查公司通过自身的社会网络或入单位询问的方式联系企业管理者,在获得允许之后,访问员再进入调查。所有拟进入的单位都需要项目组进行审核。项目组在单位选择的上,除了基于可行性原则之外,还尽可能兼顾单位的类型和行业的多样性,从最终结果来看,该阶段调查涉及的单位有260个。第二,受访者的选择。受访者的选择采取配额抽样的方法,具体来说,要求(1)管理人员和操作人员的比例控制在2:8,(2)尽可能覆盖单位的所有工种。第三,调查方式。入厂调查继续采用当面作答的形式,即访问员读题,受访者作答,访问员在电子设备上勾选的方式。此办法是保证数据信度必要选择。第四,数据审核标准。除坚持原审核标准之外,项目组对入厂调查也提出了新的要求,包括访问员需要提供单位定位照、环境照、工位照等,此外,项目组对全程录音做了进一步规定,包括需要全程记录选人过程、作答过程等。

      通过入厂调查的方式,项目组共收回4283份问卷。与此同时,在这一阶段,入户调查也在全国43个市(县、区)同步开展,收回入户调查问卷1939份,入户样本合计3079份。经过三个阶段的调查,项目组总共获得样本7362份。


五、数据审核

      为保证调查数据的质量,调查执行三审制度,初审由当地督导完成,二审有调查公司完成,三审(终审)由课题组完成。从审核情况来看,项目组共收到样本7362份,终审合格6188份,合格率为84.05%。其中,入户样本3079份,合格样本2258份,合格率73.33%,入厂样本4283份,合格样本3930份,合格率91.76%。

      所有不合格样本中,一审和二审判定为不合格的样本680份,三审判定为不合格的样本493份。三审判定的不合格样本中有232份为入户样本,表1列示了入户样本不合格原因的分布情况。具体来说,35.35%的不合格样本是因为不符合真实性条件,例如互动过程不符合常态等;9.48%的因为户内未正确抽样;22.41%是因为访问员态度不端正,大量跳题或主观臆断;另有76份样本因为超过了单一社区13份的上限要求被判定为不合格。

表1  入户样本不合格原因情况分布表

1697776371790.png


第三部分 数据清理和质量评估


六、数据清理

      项目组针对收回的7362份样本进行了全面的清理工作,主要包括以下内容:第一,删除所有审核不合格样本,共计1174份;第二,入户抽样正确性检查,将Kish表的要求年龄排行和受访者作答的年龄排行进行比对,删除不一致(即户内抽样错误)的样本,本次检查中,只有1份样本不符合要求被删除;第三,删除单个社区样本小于3份的样本,共删除47份样本;第四,删除单个城市只调查1个社区的样本,剩余合格入户样本2147份;第五,为了保障入厂样本能够准确反映单位情况,我们删除了入厂样本中,同一单位样本数小于5份的样本;第六,基于题目之间的逻辑关系,对数据进行逻辑校验,将不符合逻辑的作答处理为缺失值,逻辑检查主要涉及填答类题目,例如,从事当前工作时间应小于或等于第一次参加工作的时间,当前和第一次参加工作的最小年龄,受雇者应不小于15岁,非受雇者不小于12岁,受访者所在组织层级应小于或等于单位最高层,等等;第七,整理生成新变量,包括根据受访者填答的职业和工作内容,生成职业声望变量;根据同一单位员工对单位情况的回答,基于多数人原则,生成组织层面变量,等等。


七、权重与校准

      权重是确保样本和总体对应的关键,因而我们对合格的2147份入户样本分别计算了权重。在社会调查中,权重可分为两大类:抽样权重和校准权重。抽样权重是调查样本中的每一个个案入样概率的倒数,由抽样方案所决定。在方法上,计算抽样权重的思路主要有4个,即基于设计(随机化)、基于模型、模型辅助和贝叶斯[1]。在本调查中,我们采用基于设计的抽样权重计算,以准确反映本抽样设计的特殊性;同时,我们还利用国家统计局所公布的统计数据进行校准,以弥补抽样框较为陈旧、被访者的拒访以及访问员作伪所带来的各种潜在偏差(包括构成偏差),降低样本估值的方差和偏误。这样,本调查数据共包含两个权重变量:抽样权重和校准权重。前者用来调整抽样设计当中的多阶段不等概率;后者在前者基础上,进一步进行结构性权重调整,以防止样本和总体之间的各种潜在偏差,特别是人口构成偏差。现就两者的生成过程作简要说明。

[1] 参见Valliant, Richard, Jill A. Dever, & Frauke Kreuter. Practical Tools for Designing and Weighting Survey Samples, New York: Springer, 2018.

 

(一)抽样权重(sampling design weight)

      本调查的基本抽样设计是多阶段复杂抽样。第一阶是以PPS方式抽取出60个市区;第二阶是市区内以PPS方式抽居委会;第三阶是居委会内以SRSWOR随机方式抽户;第四阶是户内用Kish表等概率随机抽取1个被访者。

      这样,在第一阶段的PPS方式抽取PSU的过程中,第i个PSU的入样概率pi等于:

1697776548916.png

      其中,m表示各阶段的样本量,n表示各抽样单元的就业人口数或其替代变量。n.total是依据六普数据所推算出的居住在市区居委会中的16岁及以上人口数。根据抽样框可以计算出,它的取值为616432389人[1]。                                               是抽取的PSU数,即60个。是第i个PSU的就业人口数,即第i个PSU的入样概率是其就业人口占总就业人口的比例,累加60次之和。

[1] 在这里,我们假定了中国城市劳动人口的国家封闭性,忽略了国际移民(迁入和迁出)的效应。同时,也忽略了近十年的城镇化所带来的劳动力人口从农村向城市的流入。


      在第二阶段,我们从抽中的市区PSU当中以PPS的方式抽取8个社区SSU,在PSU抽中的前提下,第j个SSU的入样概率Pjssu|i等于:

1697776626181.png

      其中,mj.ssu是每一个PSU应抽取的SSU数,设定为8。nj.ssu第j个SSU的劳动人口数,ni.psu是第i个PSU的劳动人口数。即每一个SSU的入样概率是以自己的劳动人口占PSU的总人口之比,累加8次之和。

      在第三阶段,我们从抽中的社区SSU中随机选取家庭户TSU,但抽样框中并没有包含社区的家庭户数量,也不包含至少有一个属于劳动人口的家庭成员就业的家庭户总数,因此,在这个阶段上,我们采用无放回的简单随机抽样(SRSWOR),在SSU选中的前提下,第k个家庭户抽中的概率pktsu|j等于:


image.png

      其中,mk.tsu是每一个社区TSU应抽取的家庭户数,设定为13;nk.tsu是该社区拥有至少一个就业人口的家庭总数。在本调查中,我们采用《地块登录表》,在访问员入户调查之前,登录该社区的所有可进入的住址,以此地址数,作为nk.tsu的替代变量[1]。

[1] 这带来两个问题:一是低覆盖率,那些地处偏僻、门岗较严等难以接近的住址,因为接触成本的缘故,较难进入《地块登录表》,因而,存在TSU抽样框覆盖率低的问题;二是涵盖了不适合访问的地址,造成TSU抽样框的地址构成和目标总体不一致。

      

      在第四阶段,访问员将按照从《地块登录表》中玄随机抽取的地址进行走访,在接触住户的一开始,就进行遴选工作,即本地址中目前正处于就业状态的、16岁以上的家庭成员的人数。若就业人数不等于0,利用问卷卷首的随机数表,遴选合适的被访者,询问参与意向。若该被访者不愿意参与调查,则本户视为拒访户。访问员按照所列地址,走访下一户,直到征得被访者同意,可以进行访问为止。在入户地址选中的情形下,每一个个案的入样概率plusu|k:

1697776956000.png

      其中 1697777010634.png是第k个社区中第l个住址中的就业人口数,由问卷中题器B1获得。

      依据上述步骤,进入样本的每一个被访者的入样概率pmcase,就是上述四个概率的连乘,即:

1697777061962.png

1697777113888.png

      其中,1697777163131.png表示的是每一个个案的恒定入样概率,因为在第1、2阶段,我们都采用PPS抽样,因而它是自加权样本(epsem,等概率抽样和估计方法),第二项1697777216635.png是每一个个案的变动入样概率,在第三抽样阶段,因为缺乏必要的信息,我们没有采用PPS的方式抽取住户,而是采用简单无放回抽样(SRSWOR),所以,每一个被访者的入样概率就变得不同。

      另外,在抽样阶段,我们是以16岁及以上的劳动人口数作为PPS抽样的人口规模,劳动人口数和就业人口数两者高度相关,但并不相同,调节的因子是劳动就业率。换言之,在抽样阶段,我们假定了劳动就业率在各个抽样单元之间相同。

      将上述公式代入相应的数值,我们得到:

1697777275737.png

      因此,总体上,本调查数据不是一个自加权样本(epsem,等概率抽样和估计方法),每一个个案的入样概率并不相同。即本次调查的平均入样概率约为10万分之1.3。

      抽样权重wgtcase[1]应为此入样概率pmcase的倒数,即:

1697777340300.png

[1] 数据文件中的变量名是wt_ind_dsgn_nrsp。


其中,1697777403326.png 是第k个TSU中的第l个家庭的就业人口数[1],nk.tsu是第k个SSU(社区)中拥有至少一个就业人口的家庭总数[2],nj.ssu第j个SSU的劳动人口数。平均来说,本调查的每一个被访者大约代表总体中9.9万个城镇就业人口。

[1] 数据文件中的变量是b1。

[2] 我们依据入户登记表中统计取得总户数,再乘以(1-2.1%),后者是无适合对象的户比例均值,乘积是本小区就业家庭总数的估值。


      但在实际的调查中,由于出现了疫情及访问过程中的不规范行为,本调查最后保留的有效数据并不是6240,而是2174份个案。基于实际入户样本数量,上述公式的6240就必须用2174来代替,即实际权重wgtrsp[1]是:

1697777504552.png

[1] 数据文件中的变量名是wt_ind_dsgn_rsp。


      我们建议,当采用本调查数据进行描述性分析、回答经验性问题时,应采用此权重。以它来看,本调查数据中的每一个被访者大约代表总体中的28.4万个城镇就业人口。


(二)校准权重(raking weight)

      在PSU和SSU的抽样过程中,我们采用了六普的推算数据作为本调查的抽样框。但本调查时点和六普普查时点已经过去了9年,期间,除了人口规模和结构发生变化之外,社会结构也发生了重大变化。为了校正本调查数据和已知总体属性之间的构成偏差,我们依据国家统计局公布的最新统计数量,采用迭代比例法(rake)对本调查数据的权重进行了调整。在个体层次上,我们的目标总体是2019年44247万就业城镇人口,我们利用国家统计局的相关统计公报,校正了所有制、性别、教育程度、年龄组4个变量。

      1、所有制校准

      由表2可见,在所有制类型上,调查数据与校准构成差异较大,受访者所在单位的类型主要集中在个体和党政事业单位之中,明显偏离校准构成。

1697777605143.png


      2、性别校准

      在性别构成上(如表3所示),本调查女性样本相对偏多,与校准结构存在一定差异。

表3 性别的样本构成、加权构成和校准构成  (单位:%,n=2147)

1697777676775.png

      3、年龄校准

      如表4所示,在年龄结构上与本调查数据与校准构成相比,年龄结构稍微偏小。受访者在16~39岁阶段的比例均大于校准构成,40岁及以上阶段的比例均小于校准构成。

1697777755430.png


      4、受教育程度校准

      在受教育程度上,如表5所示,与校准构成相比,本次调查受访者的受教育程度明显偏高,受访者大部分具有高中及以上学历。

1697777818861.png

      通过上述操作,我们希望通过校准这4个方面,能够降低本调查数据其它方面的构成偏差。下面,我们将从数据质量的视角来评估校准后的调查数据。


八、数据质量评估

对调查数据质量的评估本质上是检验调查数据的误差大小。一般来说,调查误差可以分为两类,一是随机误差,二是系统误差。前者是由随机性因素导致的不可控的误差前者,后者是由于设计或执行过程中的操作不当产生的可控的误差。随机误差主要影响数据的可靠性(信度),系统误差主要影响数据的真实性(效度)。可靠性和真实性是评估调查数据质量的两个关键指标,因为一个高质量的调查不仅应该保证在多次重复测量下得到相似的数据结果,即可靠性,也应该保证说得数据结果准确地反应了它应该反映的客观事实,即真实性[1]。因此,我们需要对调查数据进行信度和效度的检验。

[1] 参见傅德印、黄恒君:《统计调查质量的测度与评估方法》,中国统计出版社2011年版,第41~44页。


     需要说明的是,信度检验与抽样程序无关,因此我们将检验所有类型样本,包括入户样本和入厂样本;而在效度检验部分,我们将使用具有普查性质的外部指标,我们的调查中,只有入户样本执行了严格的随机抽样程序,因此我们仅对入户样本进行效度检验。


(一)信度检验

      一个数据的信度是指测量结果的稳定性程度。在人口学和社会学中,我们常用迈尔斯混合指数来测量连续变量在个位上的测量信度[1]。在这里,我们考察本调查数据中的被访者的年龄和被访者所提供的电话号码,前者是非敏感信息,后者是较敏感信息,以它们作为本调查数据信度的检验变量。

[1] 参见Shryock, Henry S., Jacob S. Siegel, & Edward G. Stockwell. The Methods and Materials of Demography, New York: Academic Press, 1976.


在本调查中,我们要求被访者留下电话或手机号,它们的末位号分布如下(参见表6):

1697777989345.png

      由此表可见,被访者只对一个末尾号码有明显的规避,即4,它的比例为6.42%,明显低于其他末尾号。电话号码的迈尔斯混合指数为10.08,说明10.08%的电话号码需要移位,就可以让末位号服从统计学上的均匀分布。从这个指标上看,调查数据信度较高。

      在年龄的末位数上,由表可见,0和5的比例相对较高,迈尔斯混合指数估值是24.08,这说明,至少有24.08%的被访者的年龄末位数需要调整,才能让它们服从统计上的均匀分布。以迈尔斯指数低于20为标准,本调查的年龄倾向一定程度上超出了标准范围。

1697778039579.png

1697778072566.png

      总的来说,在信度上,本调查数据质量中等偏上,基本上可用反映调查领域的基本概貌,但测量精度上还需要进一步加强。


(二)效度检测

      一个调查数据的效度是指它是指测量工具或手段能够准确测出所需测量的事物的程度。我们通常用其他权威统计数据作为外部参照指标来说检验调查的效度。在这里,我们选取的外部参照指标是中共党员人数。作为一个全世界最大的政党和中国的执政党,它的组织部门所公布的党员人数及其构成,是信度较高的外在指标,基本不会受到经济利益、政绩等行政因素的影响。更重要的是,入党的年龄标准基本上和就业的年龄相重合。除去离退休人员和从未参加工作的老年人,它基本涵盖成年就业人口。

      经过校准加权之后的数据显示,城镇就业人口中的党员比例是11.3%,党员比例的95%置信区间是[8.1%,15.5%],根据《2019年中国共产党党内统计公报》[1],除农牧渔民、学生和退休人员,城镇职工党员人数为4573.4万元,占全部城镇劳动者44247万人的10.34%,在调查所估计的党员比例的置信区间内。在校准调查数据时,我们没有使用党员这个变量,它一定程度上可以作为我们的外在效度指标。因此,本调查数据具有较好的外部效度。

[1] https://baijiahao.baidu.com/s?id=1670921547438002495&wfr=spider&for=pc。


九、总结

      2019-2020年度工作环境调查实施了较为完整的项目设计、较为严格的过程监督和较为谨慎的数据处理。在新冠肺炎疫情的背景下,尽管十分不易地完成了调查工作,但是依然存在一些不足,包括不能覆盖社会调查无法接近的高端工作场所、保密场所、没有住址的劳动者或住址无法接近的劳动者,同时也因为疫情原因,调查未能在原本可行的范围内铺开。不过,某种程度上来说,此次调查设计、执行、调整过程以及最终所呈现的数据本身,正是对这一时期特殊性的真实反映。

      社会调查是一个在公共空间的信息收集和知识生产过程,它依赖于稳定的社会环境、被访者愿意敞开院门、楼门、房门和心门,也依赖于调查执行者的专业操守和勤勉程度。作为社会学领域针对全国城镇就业环境的专门调查数据,尽管数量质量并不完美,但还是可以作为理论研究、假设检验和政策分析的坚实基础。