BIG DATA

我们针对企业信息化系统、互联网、物联网等大数据应用，打造易使用、高可靠、低成本的大数据方案，实现海量数据的存储、整合、挖掘和应用全流程，帮助企业客户快速构建大数据平台，在保障用户隐私及数据安全的前提下，满足企业的各类业务需求。

大数据管理平台 DMP

基于Apache Hadoop的大数据平台，专注于安全、可靠、易用、开放的企业级需求。DMP 汇聚了与大多数 Apache Hadoop组件交互的接口，让用户轻松使用Hadoop；当前支持的开源组件：HDFS、Hive、HBase、Pig、Oozie*未来会加入更多组件的支持当前支持的开源组件。

  • 基于浏览器的图形化界面，易使用、易开发、易维护

  • 丰富的 ETL 清洗转换、工作流设计功能

  • 完善的任务监控和调度

  • 简单的开发部署过程

产品架构Product architecture

DMP是基于Apache Hadoop研发的大数据平台，不仅提供海量数据存储和多种高性能计算框架，还为保护平台上的数据和服务提供了完整的安全保障体系、图形化的平台管理和作业、统一的身份认证和权限管理、细粒度的权限控制以及实时增量数据同步工具。

产品功能Product function

新建文件或者文件夹，上传下载文件

修改文件或者文件夹的权限

重命名、移动、复制、删除文件或文件夹

以文本或者二进制方式查看或者修改文件

文件浏览

查看任务运行状态

查看任务的运行日志

杀掉正在运行的任务

....................

任务监控

新建数据库、删除数据库

新建表、删除表、查询表数据

新建、执行、管理HQL语句

通过模板文件创建查询和表

数据库操作

产品安全Product safety

统一数据作业平台

基于Hadoop大数据平台的全链路数据集成、存储管理、处理分析的大数据作业平台。其中主要包含了数据集成、数据处理、数据作业、数据查询等模块，通过全界面的方式提供给用户使用。

统一身份与授权管理

  • 基于LDAP的独立身份系统

    DMP使用LDAP存储平台上的用户身份信息，并支持与企业原有的用户体系对接。

  • 基于Kerberos的安全身份认证

    集成了Kerberos作为DMP的安全身份认证体系，支持单点登录。

  • 功能级别的服务授权管理

    支持HDFS、YARN、HBase、Oozie等关键组件的服务授权功能，能够细粒度的限制用户使用服务的不同功能。

  • 细粒度的数据授权

    提供了DMP上细粒度的数据授权功能，能够对平台上的数据访问提供行访问权限控制以及列访问权限控制。

细粒度的跨引擎SQL权限控制

  • 支持基于角色的授权模型

    支持建立角色，且权限是赋予在角色上的。管理员可将角色授予不同的用户组，则用户组中的用户就有了角色上所赋予的权限。

  • 支持Hive、Pig、Spark的统一授权管理

    平台级的跨引擎的数据权限管理组件。

  • 支持行列的基本访问控制

    提供了细粒度的权限控制机制，管理员可以给角色赋予行权限和列权限，以控制用户在不同表内部的数据访问范围和访问方式。

  • 基于访问过滤的实现无需修改原数据库/表结构

    提供的是插件式的访问控制机制，通过对访问SQL进行检查和过滤来发生作用，并不会对数据进行任何的修改