遂宁信息港

当前位置:

用友UAP张欣企业如何应对社会化大数据带

2019/05/14 来源:遂宁信息港

导读

摘 要:社会化大数据可以为企业创造新的价值,数据挖掘和分析的结果可以驱动企业运营。用友UAP UDH大数据处理平台,用于处理大量的非结构化或

摘 要:社会化大数据可以为企业创造新的价值,数据挖掘和分析的结果可以驱动企业运营。用友UAP UDH大数据处理平台,用于处理大量的非结构化或半结构化类型数据,也适用于超大规模的结构化数据处理分析。

我国民数居世界之首,每天产生的数据量也位于世界前列。淘宝站每天有超过数千万笔交易,单日数据产生量超过50TB;百度公司目前数据总量接近1000PB,每天大约要处理60亿次搜索请求;医院也是数据产生集中的地方,一个病人的CT影像数据量达几十GB,而全国每年门诊人数以数十亿计。

在社会化浪潮中,企业如何对这些数据进行整理分析?以取得市场的真实声音,了解客户的切实需求,企业不禁陷于困扰。用友UAP大数据平台产品负责人张欣,在畅想IT讲堂与友分享了《社会化大数据的企业应用实践》。其中,提到,社会化大数据为企业带来了种种挑战,但又不能不去迎接这些挑战。并告诉大家该如何去面对挑战,如何构建企业的数据管理平台。

用友UAP大数据平台产品负责人张欣

挑战一:业务部门没有清晰的大数据需求

很多企业业务部门不了解大数据,因此难以提出大数据的准确需求。由于业务部门需求不清晰,大数据部门又是非盈利部门,企业决策层担心投入比较多的本钱,导致了很多企业在搭建大数据部门时犹豫不决,或者很多企业都处于观望尝试的态度,从根本上影响了企业在大数据方向的发展,也阻碍了企业积累和发掘自身的数据资产。乃至由于数据没有运用场景,删除很多有价值历史数据,致使企业数据资产流失。

挑战二:企业内部数据孤岛严重

企业启动大数据重要的挑战是数据的碎片化。在很多企业中尤其是大型的企业,数据常常散落在不同部门,而且这些数据存在不同的数据仓库中,不同部门的数据技术也有可能不一样,这致使企业内部自己的数据都没法打通。如果不买通这些数据,大数据的价值则非常难挖掘。

挑战三:数据可用性低,数据质量差

很多中型以及大型企业,每时每刻也都在产生大量的数据,但很多企业在大数据的预处理阶段很不重视,致使数据处理很不规范。大数据预处理阶段需要抽取数据把数据转化为方便处理的数据类型,对数据进行清洗和去噪,以提取有效的数据等操作。甚至很多企业在数据的上报就出现很多不规范不合理的情况。以上种种缘由,导致企业的数据的可用性差,数据质量差,数据不准确。

挑战四:数据相干管理技术和架构挑战

技术架构的挑战包括以下几方面:(1)传统的数据库部署不能处理TB级别的数据,快速增长的数据量超越了传统数据库的管理能力。如何构建分布式的数据仓库,并可以方便扩展大量的服务器成为很多传统企业的挑战;(2)很多企业采取传统的数据库技术,在设计的开始就没有斟酌数据种别的多样性,尤其是对结构化数据、半结构化和非结构化数据的兼容;(3)传统企业的数据库,对数据处理时间要求不高,这些数据的统计结果往往滞后一天或两天才能统计出来。但大数据需要实时处理数据,进行分钟级甚至是秒级计算。(4)海量的数据需要很好的络架构,需要强大的数据中心来支撑,数据中心的运维工作也将成为挑战。如何在保证数据稳定、支持高并发的同时,减少服务器的低负载情况,成为海量数据中心运维的一个重点工作。

挑战五:数据安全

数据愈来愈多,黑客犯罪的动机比以往都来的强烈,一些知名站密码泄漏、系统漏洞致使用户资料被盗等个人敏感信息泄露事件已警醒我们,要加强大数据络安全的建设。另外,大数据的不断增加,对数据存储的物理安全性要求会越来越高,从而对数据的多副本与容灾机制也提出更高的要求。目前很多传统企业的数据安全使人担忧。

挑战六:大数据人才缺乏

大数据建设的每个环节都需要依靠专业人员完成,目前大数据相干人才的欠缺将阻碍大数据市场发展。据Gartner预测,到2015年,全球将新增440万个与大数据相关的工作岗位,且会有25%的组织设立首席数据官职位。大数据的相关职位需要的是复合型人材,能够对数学、统计学、数据分析、机器学习和自然语言处理等多方面知识综合掌控。未来,大数据将会出现约100万的人材缺口,在各个行业大数据中高端人才都会成为炙手可热的人才,涵盖了大数据的数据开发工程师、大数据分析师、数据架构师、大数据后台开发工程师、算法工程师等多个方向。

挑战与机遇总是同时存在的,社会化大数据可以为企业创造新的价值;大数据促使很多模式的云计算服务问世;数据发掘和分析的结果可以驱动企业运营。企业若想抓住大数据机遇,需要从几个步骤入手:首先建立数据化计划;其次,建立数据管理和运用平台;第三,量体裁衣建立数据团队;第四,定制化外部数据战略。

张欣表示,企业做大数据,需要做好两个方面的基础。一方面是在IT基础设施上建立良好的数据处理结构,比如数据分布式存储、Hadoop等。另一方面,企业要建立自己的数据管理和运用平台,包含数据的采集、数据库架构、分析模块、API出口等。需要注意的是,数据管理和应用平台的建立必须从公司业务出发,建设适合自己的平台。而在数据中心建设方面,随着云计算和数据中心的出现,外部数据中心的本钱已经大幅下降,数据存储的费用也不再是障碍,对很多企业来说建立自己的数据中心并没有必要。

用友UAP提供了大数据的处理和分析平台。其中用友UDH是大数据处理平台,用于处理大量的非结构化或半结构化类型数据,也适用于超大规模的结构化数据处理分析。

用友UDH管理控制台

它可以帮企业解决:快速整合、存储、集中管理不同类型的海量数据;提供批量和实时数据处理服务;与数据集成等产品结合为构建企业级数据仓库提供大数据平台支撑;结合商业智能产品和挖掘可视化产品,提供数据分析服务;提供平台中各服务组件的管理和系统运行监控。构建于UDH的可靠存储以及数据的批量和实时处理能力,可为企业提供基于搜索引擎,语义分析的、全面、自动化的监测和分析。UDH具有自动优化机制,随着有效数据和规则的增加,度会不断提升。

另外,张欣还根据项目经验分享了企业该怎样处理大数据,如何搭建大数据平台,并举例说明面向大数据,企业可以做些甚么?后面会陆续分享精彩观点,敬请关注!

产后感染原因有哪些
产后流血异常怎么办
产后流血正常情况
标签