德风--引领产业互联网

BIG DATA

我们针对企业信息化系统、互联网、物联网等大数据应用，打造易使用、高可靠、低成本的大数据方案，实现海量数据的存储、整合、挖掘和应用全流程，帮助企业客户快速构建大数据平台，在保障用户隐私及数据安全的前提下，满足企业的各类业务需求。

大数据管理平台 DMP

基于Apache Hadoop的大数据平台，专注于安全、可靠、易用、开放的企业级需求。DMP 汇聚了与大多数 Apache Hadoop组件交互的接口，让用户轻松使用Hadoop；当前支持的开源组件：HDFS、

查看详情

基于浏览器的图形化界面，易使用、易开发、易维护
丰富的 ETL 清洗转换、工作流设计功能
完善的任务监控和调度
简单的开发部署过程

德风DOP平台

DOP数据化管理主要是指运用工具对客观、真实的数据进行科学分析，并将分析给结果运用到生产、运营、销售等各个环节中去的一种管理方法。

查看详情

海量多结构数据存储计算平台
行为数据、业务数据及其他数据的融合分析与展现
帮助客户实现数据化管理

标签和画像系统

用户标签工厂依据数学模型模型，帮助企业构建用户多维度标签，能够全面整合企业异构数据，基于海量用户特征的挖掘技术，形成企业用户一方画像，同时完善的数据管理及输出流程，无缝支撑各类数据

查看详情

构建企业全维度标签体系

构建企业全维度标签体系，并进行可视化管理及维护。伴随新的用户特
多维度洞察用户特征

凭借智能化价值分布、权重分配、时间衰减等算法支持，立体化展现36
快速圈定目标用户群

基于用户行为、习惯、兴趣标签，可便捷快速圈定目标用户群，随时响
标准化、流程化

标准化、流程化的页面下载、系统对接及API服务，支撑多渠道营销、

分布式爬虫系统 DCS

德风分布式爬虫平台参考Apache Nutch研发，将侧重点由搜索引擎转变为全栈数据采集。提供了多种反爬规避和弹性抓取策略，集成了多种开源驱动器技术，具备可视化工具进行管理、监控和调度。

查看详情

通用性

支持新闻类、博客类、电商类、银行类、企业类、政府类等站点通用抓取;
多重反爬

最大化利用代理IP、有效预防蜜罐站点；动态调整密度、递归 referer
弹性计算

支持弹性启动计算任务，允许失败任务多节点恢复，有效利用集群中的
分布式

采用主从结构的分布式集群设计，节点支持快速失败，具备统一调度、可

推荐系统DRS

推荐系统深入整合用户行为记录，构建用户偏好统一视图，为用户提供跨屏的、实时的、“千人千面”的个性化商品、资讯推荐、帮助商家、媒体有效提升用户的转化和生命周期价值。

查看详情

基于应用领域分类

电子商务推荐、社交好友推荐、搜索引擎推荐、信息内容推荐
基于设计思想

基于协同过滤的推荐、基于内容的推荐、基于知识的推荐、混合推荐
基于使用数据

基于用户行为数据的推荐、基于用户标签的推荐、基于社交网络数据的推荐、基于上下文信息的推荐（时间上下文，地点上下文等）

舆情分析平台DSAP

舆情分析平台是覆盖主流资讯站点及社交媒体的信息监控与分析系统，为企业收集网络公开信息，并从多维度进行解读，提升企业获取互联网信息时的全面性与及时性，提高所获取信息的价值度。

查看详情

更新及时

平台根据不同站点更新情况，自动调节信息采集频率，对信息进行实时
挖掘精准

利用先进的深度学习技术，实现信息内容的精准挖掘，针对不同的行业
智能分析

从不同维度对舆情信息的分布趋势、传播路径进行分析并从中提取热点
多渠道

通过邮件、短信、微信、APP等多个渠道，将重点信息在第一时间传递，

文本分析系统DTS

文本分析系统融合了全套自然语言处理技术和机器学习技术，基础文字处理集成了文本分词、词性标注、句法分析、命名实体识别、文本标签提取等功能模块，基于此再结合SVM、GBRT等机器学习算法，实现认知层次

查看详情

评论检测

基于海量样本库，精准识别广告及低质量文本，帮助应用方净化平台环
标签提取

对文本内容进行分析后，将核心词语提取出来用以生成标签，帮助应用
自动分类

依据预设的分类体系对文本进行自动归类，帮助应用方高效管理和使用
情感分析

准确分析文本中的情感倾向，帮助应用方把握用户好恶，及时进行调整优

产品架构Product architecture

DMP是基于Apache Hadoop研发的大数据平台，不仅提供海量数据存储和多种高性能计算框架，还为保护平台上的数据和服务提供了完整的安全保障体系、图形化的平台管理和作业、统一的身份认证和权限管理、细粒度的权限控制以及实时增量数据同步工具。

产品功能Product function

新建文件或者文件夹，上传下载文件

修改文件或者文件夹的权限

重命名、移动、复制、删除文件或文件夹

以文本或者二进制方式查看或者修改文件

文件浏览

查看任务运行状态

查看任务的运行日志

杀掉正在运行的任务

....................

任务监控

新建数据库、删除数据库

新建表、删除表、查询表数据

新建、执行、管理HQL语句

通过模板文件创建查询和表

数据库操作

产品安全Product safety

统一数据作业平台

基于Hadoop大数据平台的全链路数据集成、存储管理、处理分析的大数据作业平台。其中主要包含了数据集成、数据处理、数据作业、数据查询等模块，通过全界面的方式提供给用户使用。

统一身份与授权管理

基于LDAP的独立身份系统

DMP使用LDAP存储平台上的用户身份信息，并支持与企业原有的用户体系对接。
基于Kerberos的安全身份认证

集成了Kerberos作为DMP的安全身份认证体系，支持单点登录。
功能级别的服务授权管理

支持HDFS、YARN、HBase、Oozie等关键组件的服务授权功能，能够细粒度的限制用户使用服务的不同功能。
细粒度的数据授权

提供了DMP上细粒度的数据授权功能，能够对平台上的数据访问提供行访问权限控制以及列访问权限控制。

细粒度的跨引擎SQL权限控制

支持基于角色的授权模型

支持建立角色，且权限是赋予在角色上的。管理员可将角色授予不同的用户组，则用户组中的用户就有了角色上所赋予的权限。
支持Hive、Pig、Spark的统一授权管理

平台级的跨引擎的数据权限管理组件。
支持行列的基本访问控制

提供了细粒度的权限控制机制，管理员可以给角色赋予行权限和列权限，以控制用户在不同表内部的数据访问范围和访问方式。
基于访问过滤的实现无需修改原数据库/表结构

提供的是插件式的访问控制机制，通过对访问SQL进行检查和过滤来发生作用，并不会对数据进行任何的修改

产品架构Product architecture

产品指标Product index

商品、店铺、页面分析

品类动销、动览分析·
店铺、商品的多维度分析、排名·
自定义报表

非标准化报表·
计划与预测

权重分析法·
滚动预测法·
线性回归分析·

流量分析

·时间序列分析、对比分析
·流量来源分析、质量分析
·流量转化分析
会员分析

·会员数量、留存分析
·会员特性分析
订单分析

·订单量价的时序、对比分析
·订单质量分析
·订单来源分析

指标作用

增加网站流量
提高网站粘度
提高商品转化率
提升搜索排名
提升广告ROI

产品示意图Product schematic

产品架构Product Architecture

产品优势Product Advantage

多渠道数据整合

整合企业线上、线下多渠道来源用户数据，形成体系化、可视化、可操作的用户数据管理平台。

多种类标签生产

将企业数据生产成统计类、算法类等标签，同时也能接入文本类、模型类标签。

数据安全

用户数据标签化，管理维护及应用流程化、标准化、保障企业数据安全性，真正实现数据流通。

深度价值挖掘

用专业大数据帮助企业了解用户的实际价值，用真实、直观的数据证据，打动合作伙伴，增强拓展市场的商业能力。

拓展应用

建立标准的企业用户标签体系，支撑企业基于标签的各种应用。

产品案例Product case

解决方案——标签工场+个性化推荐

平台+用户标签工场可以生产用户实时标签及离线标签，支撑个性化推荐场景引擎及规则引擎对用户画像的数据需求。

产品特点Product characteristics

DCS主要分为基础平台部分和通用采集服务。基础平台提供了资源的统一调度、计算和存储服务；通用采集服务提供面向具体业务领域的垂直资源抓取。

部署简单
最优配置建议
支持Web界面控制台
提供精简API便于快速开发

产品优势Product advantage

DCS系统支持多类型站点抓取同时能有效处理JavaScript脚本的能力、数据抓取时自动优化、具备完善的监控和预警能力。在体系架构、功能组件、客户友好、运维管理、应用开发支撑等多方面占据强势地位。在大量的成功案例中展现了产品、服务、知识储备和技术发展前瞻性的优势。

具备多个成功案例
有成熟稳定的解决方案具备多种类型站点支持，
高度代码复用具备多编程语言开发
充分利用企业现有人员资源具备完善的监控服务，
能有效提供预警能力具备分布式设计，
能够抓取超大型数据抓取工作

成功案例Successful case

在基于内容推荐的电子商务推荐系统中，需要抓取京东商城的部分商品数据。DCS是一套基于分布式的通用爬虫系统，围绕抓取京东商城应用的需求全面涵盖了自动分页、剔除广告位、异步处理Ajax请求等能力，很好的解决了该推荐系统所需的基础数据。

支撑智能分页查询
高性价比，良好支持廉价服务器/PC电脑
自动调整反爬虫策略
支撑7*24*365无间断的商品数据更新
支撑每天数百万商品数据抓取

产品特点Product characteristics

数据监控

通过数据监控模块能够实时监测各种信源渠道的数据，做到舆情数据的全面、及时、准确，包括：新闻网站、微博、微信、论坛、博客、贴吧、平媒等，实现舆情数据的概览。
报告中心

通过报告中心，用户可以定制系统定时报告和即时报告，根据设定的相关条件，可以通过邮件或者微信这两种渠道，收到定时定量的系统自动报告，时刻掌握舆情动态。
趋势分析

趋势分析模块，可以对舆情的整体声量、覆盖媒体、敏感声量等指标进行统计分析，同时从不同时间跨度、情感维度、渠道维度等角度，来观察舆情信息的走势，及时了解舆情发展态势。
预警中心

通过预警中心，可以制定相应的预警规则，当规则被触发时，系统通过邮件、微信、App、短信等多种渠道，及时将预警信息送达给用户
，使用户对关键舆情信息实时掌握，便于关键舆情信息的快速跟踪、分析和处理。
媒体中心

媒体分析模块，可以查看重点网站、重点报刊、重点论坛、重点微信公众号的舆情统计数据，根据不同时间跨度、不同情感分类的设置，快速了解相关重点渠道的舆情统计概况，掌握核心舆情传播节点，进而深入分析与应对处理。
系统对微博内容传播的每一个节点，进行了全面的信息提取，包括微博内容、作者ID、转发内容、评论内容、转发数、评论数、发布时间等，并将这些数据按照不同维度进行结构分析，帮助用户了解微博上舆情信息，并挖掘关键传播节点。

微博分析

技术框架Technical framework

功能详情Functional Details

趋势与热点分析
舆情情况
传播分析
受众分析

产品功能Product function

词汇集应用

基础模块：中文分词、词粒度分析、未登录词分析
属性分析模块：专有名词识别、词汇关系分析、语义网分析
关系分析模块：同义词识别、词汇关系计算、语义网分析
短串级应用

机构分析：词性分析、需求词识别、专有名词识别
变形变换：文本纠错、近义词替换、语义归一化
短串分析：语意主题、词串类分析、短串需求
篇章级应用

文本自动分类情感倾向分析自动标签系统垃圾评论识别文章主题模型黄反违禁识别

标签提取流程

关键词抽取功能通过提取文本内容关键词，挖掘文本内容关键信息点，分析文本内容脉络，提供文本内容标签化、归类、情感分析及文章主题的判定依据。
实体抽取功能通过提取文本内容实体关键词，挖掘文本内容关键信息点，分析文本内容脉络，提供文本内容标签化、归类、情感分析及文章主题的判定依据。
文本自动归类功能可对文本内容进行分析，给出文本所属的类别和置信度，是企业有效管理和使用海量文本数据的前提。
乐，好，怒，哀，惧，恶，惊

产品优势Product Advantage

DTS平台自动化文本挖掘服务在大幅提升文本挖掘精度的同时，极大降低了人力成本投入，有效提升企业效益。

提供丰富的open API，开发者可使用各类主流开发语言调用其所有功能。
多名专注于大数据科学研究与工程应用融合领域的博士硕士，不断创新，倾力打造。
提供了多个行业解决方案，比如电力行业、电信行业、机械设备制造业、电商服务等。