基于Hadoop的地质大数据融合与挖掘技术框架
  • 【DOI】

    10.11947/j.AGCS.2015.F059

  • 【摘要】

    地质领域数据量大,且种类多样。实现高效的多源异构地质数据的融合与挖掘,是研究地质作用机理,展开地质考察研究的重要手段。然而目前普遍存在着数据条块分割,格式各异,难以实现有效的共享与互操作。为此,本文提出了一种基于 Hadoop的地质大数据融合与挖掘技术框架,该框架包括统一的地质大数据采集与预处理方法,基于元数据索引的存储与管理平台,基于Map/Reduce 的地质大数据并行化计算模式与系统,面向可... 展开>>地质领域数据量大,且种类多样。实现高效的多源异构地质数据的融合与挖掘,是研究地质作用机理,展开地质考察研究的重要手段。然而目前普遍存在着数据条块分割,格式各异,难以实现有效的共享与互操作。为此,本文提出了一种基于 Hadoop的地质大数据融合与挖掘技术框架,该框架包括统一的地质大数据采集与预处理方法,基于元数据索引的存储与管理平台,基于Map/Reduce 的地质大数据并行化计算模式与系统,面向可重用的地质大数据挖掘服务,以及支持在线三维展示的地质大数据分析结果可视化系统。该框架具有良好的实用性与可扩展性。本文在5个节点的测试系统上实现了多元素关联性分析,并取得了相对应单台机器3部的加速可比性。 收起<<

  • 【作者】

    朱月琴  谭永杰  张建通  毛波  沈婕  汲超飞 

  • 【作者单位】

    中国地质调查局发展研究中心,北京 100037; 国土资源部地质信息技术重点实验室,北京 100037/中国交通通讯信息中心/南京财经大学/南京师范大学/中国矿业大学 北京

  • 【刊期】

    测绘学报 ISTIC EI PKU 2015年z1期

  • 【关键词】

    地质大数据  Hadoop  融合  挖掘  geology big data  Hadoop  fusion  mining 

  • 【基金项目】

    国土资源部公益性行业科研专项(201511079)Foundation support:Special Funds Project for Scientific Research of Public Welfare Industry from the Mi ni stry of Land and Resources of Chi na