大趋势 | 大数据时代的发展趋势
- 2015-06-09 16:20:00
- 周峰 萌泰科技 原创
大数据正如浪潮一般席卷全世界,不仅在信息技术行业备受瞩目,更成为变革科研、商业、政府运作方式乃至人类思维方式的一个热点。大数据时代发展趋势的特点可以概况为两个词:融合、跨界,体现在学科、技术、系统和应用方面的融合,以及在不同学科、不同行业的跨界
人类社会的信息化进程其实可以划分为三个时代,即计算机时代、互联网时代和大数据时代。
到20世纪90年代中期,发达国家已经基本度过了计算机时代。计算机的普及,解决了信息的机器可读化和数据的可计算化问题。目前,发达国家和部分发展中国家也基本走完了互联网时代的路程。互联网的建立解决了信息传递和信息服务问题,而移动互联网的发展更是将互联网时代带入了发展的高潮。在计算机和互联网的基础上,而今我们正步入一个全新的历史阶段—大数据时代。
剑桥大学教授维克托•迈尔–舍恩伯格在其《大数据时代:生活、工作与思维的大变革》中写道:“大数据开启了一次重大的时代转型。就像望远镜让我们感受宇宙、显微镜让我们能够观测微生物一样,大数据正在改变我们的生活以及理解世界的方式,成为新发明和新服务的源泉,而更多的改变正蓄势待发……未来数据将会像土地、石油和资本一样,成为经济运行中的根本性资源。”
大数据正如浪潮一般席卷全世界,不仅在信息技术行业备受瞩目,更成为变革科研、商业、政府运作方式乃至人类思维方式的一个热点。
《中国大数据技术与产业发展白皮书(2014年)》针对大数据的发展做出了以下预测:
一、结合智能计算的大数据分析成为热点
大数据与神经计算、深度学习、语义计算以及人工智能其他相关技术结合,成为大数据分析领域的热点。大数据分析的核心是从数据中获取价值,价值体现在从大数据中获取更准确、更深层次的知识,而非对数据的简单统计分析。要达到这一目标,需要提升对数据的认知计算能力,让计算系统具备对数据的理解、推理、发现和决策能力,其背后的核心技术就是人工智能。近年来,人工智能的研究和应用又掀起新高潮,这一方面得益于计算机硬件性能的突破,另一方面则依靠以云计算、大数据为代表的计算技术的快速发展,使得信息处理速度和质量大为提高,能够快速、并行处理海量数据。
二、数据科学带动多学科融合发展
在大数据时代,许多学科表面上看来研究的方向大不相同,但是从数据的视角来看,其内在是相通的。随着社会的数字化程度逐步加深,越来越来多的学科在数据层面趋于一致。可以采用相似的思想来进行统一的研究。数据科学作为一个与大数据相关的新兴学科出现,可促进多学科的交叉融合发展。
三、与行业数据结合,实现跨领域应用
大数据技术发展的目标是应用落地,因此大数据研究不能仅仅局限于计算技术本身。由于现有的大数据平台易用性差,而垂直应用行业的数据分析又涉及到领域专家知识和领域建模,目前在大数据行业分析应用与通用的大数据技术之间存在很大的鸿沟,缺少相互的交叉融合。因此,迫切需要进行跨学科和跨领域的大数据技术和应用研究,促进和推动大数据在典型和重大行业中的应用和落地。跨领域交叉的数据融合分析与应用将成为今后大数据行业应用发展的重大趋势。
四、与“物云移社”融合,产生综合价值
大数据将与物联网、移动互联、云计算、社会计算等热点技术领域相互交叉融合,产生很多综合性应用。近年来计算机和信息技术发展的趋势是,前端更前伸,后端更强大。物联网与移动计算加强了物理世界人与物的连接和融合,大数据和云计算加强了后端的数据存储管理和计算能力。今后,这几个热点技术领域将相互交叉融合,产生很多综合性应用。
五、大数据多样化处理模式与软硬件基础设施逐步夯实
内存计算将继续成为提高大数据处理性能的主要手段。以Spark 为代表的内存计算逐步走向商用,并与Hadoop 融合共存。专为大数据处理优化的系统和硬件出现。由于大数据系统在计算、存储、高速缓存方面的需求不平衡,传统服务器与存储已经不适合构建高可靠和高性价比的大数据处理系统。大数据处理多样化模式并存融合,一体化融合的大数据处理平台逐渐成为趋势。
六、大数据安全和隐私继续受关注
大数据安全和隐私问题始终是关注的热点,但是在大数据的安全和隐私保护方面,以及大数据涉及到资源国家主权这层面,从技术层面来看尚未取得较大的进步,仍存在很多问题,因此大数据的安全持续令人担忧。
七、大数据技术课程体系建设和人才培养亟待推进
大数据技术的快速发展和行业应用需求的快速增长,使得目前技术市场上掌握大数据技术的人才严重短缺。因此,政府、高等院校和科研院所将加快建立大数据技术人才教育和培养体系,发展数据科学和工程专业,梳理和构建跨学科和领域交叉的大数据课程体系,融合计算机、数学分析统计、应用相关的学科,推动交叉学科数据分析技术的发展以及人才的培养。
八、开源大数据处理技术和各种可视化技术和工具将蓬勃发展
以Hadoop为代表的开源技术拉开了大数据技术的序幕,大数据应用的发展又促进了开源技术的进一步发展。开源技术的发展降低了数据处理的成本,引领了大数据生态系统的蓬勃发展,同时也给传统数据库厂商带来了挑战。据统计,目前有超过150 种开源大数据平台,这个数字还在增长中。此外,由于在进行大数据分析之前,需要对数据进行探索式地考察,在分析之后,也需要将分析结果展示出来。在此过程中,可视化将发挥很大的作用。可视化技术和工具将得到蓬勃发展。
综上,大数据时代的发展趋势其特点可以概况为两个词:融合、跨界,体现在学科、技术、系统和应用方面的融合,以及在不同学科、不同行业的跨界。大数据必将能够创造新的价值,正如《大数据:正在到来的数据革命》的作者涂子沛指出,大数据能够通过数据的交换、整合和分析,发现新知识,创造新价值,带来大知识、大科技、大利润和大发展。
编者注:本文主要部分摘自《中国大数据技术与产业发展白皮书(2014)年》