市场前沿 | 大数据与社会科学
- 2015-06-08 12:00:00
- 陈云松 黄超 原创
大数据可帮助提高预测和决策的准确率,拓展社会科学经典理论的验证空间,或可缓解定量与定性之间的分歧,为学科融合提供机遇
“大数据”时代的来临,既给商业、管理和公共行政带来了众多机遇,同时也在社会科学界、人文学界引发讨论的热潮。随着大数据的出现和使用,整个社会科学研究的实证基础将会出现较大变化。“大数据”概念虽热,但社会科学界基于大数据的实证研究仍然较少。一方面,大数据往往为政府、大型公司或网络媒体所持有,数据获取渠道和分析方法都与传统的社会科学定量定性分析存在很大差异;另一方面,现有的大数据并非为社会科学研究而设立,其在样本代表性、测量可靠性、因果推断等方面受到学界的诟病。不过,随着数字化图书、社交网站和搜索引擎数据的不断积累与公开,大数据在社会科学研究中的潜力已经开始彰显。
提高预测和决策的准确率
凯恩斯与哈耶克的市场与政府之争是20世纪经济学界最为重要的论战之一。这两位经济学家在理论和政策主张上的差异,深刻影响了20世纪各国经济政策制定和改革。比如,在20世纪早期,哈耶克的自由市场理念一度占据支配地位。二战后到20世纪70年代凯恩斯主义的政府干预政策更多地被采纳。在哈耶克批评计划经济的非可行性和低效率过程中,一个立足点就是“有限理性”:哈耶克从认识论角度提出计划制定者无法了解经济运行中每一个阶段的最终均衡状态。这种经济运行过程中信息的瞬息万变,会导致不可能建立全能式的生产、决策和分配等。
不过,大数据的出现有可能对“有限理性”的观点形成新的挑战。尽管目前大数据并不能实时提供市场运行中的全部信息,但大数据的方向和现代信息技术的指数式增长,有可能为哈耶克的论敌以及凯恩斯主义者提供新的反驳证据:当未来大数据对市场运行中的信息捕捉达到了空前的覆盖和密度,那么预测和决策就有了比哈耶克时代甚至当代高得多的准确率。
拓展社会科学经典理论的验证空间
大数据作为一种全新的资料,以其超越传统调查数据的样本量和时间跨度,为社会科学经典理论的验证和拓展提供了更多空间。因此,大数据在延伸和重新检视经典学说方面有着相当大的潜力。比如说,经典时期的社会学家以其深刻的洞察力为人们留下了丰富的理论遗产,不过由于理论的宏观性和复杂性,通过传统的截面数据、面板数据等抽样样本的分析,无法在经验层次上对这些理论进行检验。而大数据的出现为当今的社会科学界提供了前所未有的大跨度范围的社会数据、资料和信息,使得重新审视和延伸经典理论,尤其是宏观理论成为可能。
例如,社会分层是当代社会科学领域的重要概念。基于抽样调查数据的大量经验研究表明,主观社会地位受到客观社会地位以及相对参照群体的决定性影响。同时,跨国研究也表明,经济不平等对人们的自我阶层定位也有影响。新近利用大数据的研究则基于谷歌图书语料库811万本英语书籍、8000亿个单词的大数据,提取计算了一百年来美国书籍中阶级词汇的出现频率,以此来测量美国公众对阶层的关注程度。而对阶层关注度和美国社会百年失业率、通货膨胀、基尼系数等指标的格兰杰时间序列分析表明,在市场经济发达的美国,代表通货膨胀率和失业率之和的“经济悲惨指数”(Economic Misery)影响着阶层关注度,而基尼系数却没有统计显著的影响。这意味着,不平等对于阶层意识的作用很可能存在一种阀域效应:当社会不平等高于一定的阀值时,不平等才会对阶层意识产生作用;而当低于阀值时,是经济景气程度在影响着阶层关注度。
或缓解定量与定性之间的分歧
定量研究与定性研究是两种不同取向的研究策略,其背后蕴含着本体论、认识论和方法论上的差异。定量研究者和定性研究者常常相互指责对方的局限性,然而大数据的出现为他们提供的数据规模和全新的数据特征,在某种程度上可能会缓解分歧,甚至重构两者的关系。对定性研究者而言,大数据可以通过海量规模的样本直接展示和发现出社会现象的规律,既不需要控制变量来检验关联,更避免了定性方法在案例选择方面的样本偏差。此外,大数据可以为定性研究提供既全新又不会过于复杂的研究思维,让检索和数据描述等方法得到普遍应用。
对于定量研究者而言,目前的可用大数据往往并非专门为回归分析而设计,因此依据大数据很难进行传统意义上的回归分析和因果推断。但由于数据的海量甚至全样本的性质,一旦把基于大数据的简单关联分析或时间序列分析结果与文献中的传统回归分析进行比对,就能形成具有说服力的证据链。同时,大数据也把定量研究者的关注视野进一步开阔,从传统的定量分析领域向以往较少触及的文化现象、心理现象等领域拓展,并重新审视“描述”在定量分析中的地位。从某种意义上讲,大数据的使用使得定性和定量之间出现一个混合地带。可以预见,以描述和简单回归分析的大数据研究,将进一步融合定性定量方法的鸿沟。
为学科融合提供机遇
近代科学在理性化的指引下不断提升专业化程度,以至于不同学科之间形成了鲜明的边界。尽管这种进程大大提高了研究效率和学术领域内的交流评估质量,但也逐渐形成了各自为政的不足。研究者在获得相当的深度的同时,往往失去了对广度的把握,并且学科边界之间形成了许多空白地带。而大数据则为学科融合提供了难得的机遇。这主要是因为,大数据的获取和分析,往往需要有别于传统社会科学训练的方法和工具。这使得原本在计算机、人工智能甚至物理、数学等领域具有专长的学者,在有意无意中不断参与到社会现象的分析队伍中来。实际上,自然科学家转型为社会科学家并非前所未有,如小世界网络研究者邓肯•瓦兹原先就是物理学家。随着大数据的出现,这样的转型案例可能会大大增多。近两年来,发表在英文刊物上的基于谷歌图书、维基百科等大数据的语言学、经济学研究论文,大多数都有计算机和自然科学家加入作者的行列。此外,由于大数据为社会科学提供了全新的分析对象,交叉学科的重要性也越来越被认识。“计算社会科学”、“应用计算科学”的方兴未艾就是典型的案例。
社会科学或出现“重返描述”潮流
当代社会科学尤其是定量分析致力于进行因果推断、提供机制性解释。由于社会人的异质性,基于非实验数据的定量分析很难避免内生性问题(遗漏变量、样本偏误、联立性等问题)。目前,社会科学研究者通过固定效应模型、倾向性匹配、工具变量等方法来加以解决以改进因果推断。从现存可用来进行社会科学分析的大数据看,它所能提供的变量有限,因此社会科学研究者很难通过大数据进行变量控制来进行传统的因果推断。然而,大数据的出现对于学术目标的进一步丰富和发展却无疑是深远的。首先,基于信息技术而兴起的大数据扩展了人类的经验范围,从而使得简单的统计描述就可以达到发现规律、展示规律的目的。这使得人们有可能凭借大数据而提出理论,而不仅仅是利用抽样数据对传统理论和假说进行证伪。其次,大数据的信息具有在时空上传统抽样数据所无法比拟的广度和深度。在大数据时代,社会科学尤其是定量社会科学可能在一定程度上将不再单纯以进行反事实因果推断、探求机制性解释为主要学科发展目标,而是出现一种“重返描述”的潮流。
编者注:本文选自南京大学社会学院陈云松,黄超老师的《大数据推动社会科学研究深挖潜力》