大数据概念

无法用现有的软件工具提取、存储、搜索、共享、分析和处理的海量的、复杂的数据集合。

一旦分析出结果,通常极具商业价值,可帮助企业走出经营困境,乃至大幅改善盈利

具有4V特征:

Volume

体量大

Variety

种类杂

Velocity

速度快

Value

价值大
大众化俗例,先拿点感觉
开始来点大众化的。。。大家多吃必胜客


客服:必胜客。您好! 请问有什么需要我为您服务?
顾客:你好! 我想要一份……
客服:先生,请先把您的会员卡号告诉我,好吗?
顾客:16846146***。
客服:陈先生,您好!您是住在泉州路一号12楼1205室。您家电话是2646****,您公司电话是4666****,您的手机是1391234****。请问您想用哪一个电话付费?
顾客:你为什么知道我所有的电话号码?
客服:陈先生,因为我们联机CRM系统。
顾客:我想要一个海鲜比萨……
客服:陈先生,海鲜比萨不适合您。
顾客:为什么?
客服:根据您的医疗记录,你的血压和胆固醇都偏高。
顾客:那你有什么可以推荐的?
客服:您可以试试我们的低脂健康比萨。
顾客:你怎么知道我会喜欢这种的?
客服:您上星期一在国家图书馆借了一本《低脂健康食谱》。
顾客:好。那我要一个家庭大号比萨。
客服:陈先生,大号的不够吃。
顾客:为什么?
客服:因为您家一共有六口人。来个特大号的,怎样?
顾客:要付多少钱?
客服:99元。这个足够您一家六口吃了。但您母亲应该少吃,她上个月刚刚做了心脏搭桥手术,还处在恢复期。

中场可以打劫钱包。。。无收必胜客广告费


顾客:那可以刷卡吗?
客服:陈先生,对不起。请您付现款。
顾客:你们不是可以刷卡的吗?
客服:一般是可以的。但是您的信用卡已经刷爆了,您现在还欠银行4807元,而且还不包括您的房贷利息。
顾客:那我先去附近的提款机提款。
客服:陈先生,根据您的记录,您已经超过今日提款限额了。
顾客:算了,你们直接把比萨送我家吧,家里有现金。你们多久会送到?
客服:大约30分钟。如果您不想等,可以自己骑摩托车来取。
顾客:为什么?
客服:根据我们CRM全球定位系统车辆行驶自动跟踪记录显示,您登记的一辆车号为SB-748的摩托车,目前正在解放路东段华联商场右侧行驶,离我们店只有50米。
顾客:好吧(头开始晕)

收尾可能有点色。。。和必胜客没仇


客服:陈先生,建议您再带一小份海鲜比萨。
顾客:为什么?你不是说我不能吃吗?
客服:根据我们CRM通讯系统分析,今天您与一位女性通话频率高、时间长,今天又是2.14,我们分析应该是您的情人,而这位手机用户近来一直买的是海鲜比萨,她应该喜欢这种口味。
顾客:…………
客服:您最好现在就送回家,否则您就不方便出来了。
顾客:为什么?
客服:根据我们定位系统,您的爱人大约30分钟后到家。
顾客:我为什么要出来?
客服:您已在汇峰酒店定了今晚的房间,估计您是与情人约会吧?
顾客:当即晕倒…………

以上都是胡片乱造。。。方便大家理解


看看对当老板的、当领导的或当老师的等等有什么启发和帮助。

大数据分析

大数据重点不是大,而是通过建立数据之间的整合和关联分析,获取很多智能的、深入的、有价值的信息!

五个基本面
大数据分析普遍存在的方法理论有哪些呢?
可视化分析
大数据分析的使用者有大数据分析专家,同时还有普通用户,但是他们二者对于大数据分析最基本的要求就是可视化分析,因为可视化分析能够直观的呈现大数据特点,同时能够非常容易被读者所接受,就如同看图说话一样简单明了。
数据挖掘算法
大数据分析的理论核心就是数据挖掘算法,各种数据挖掘的算法基于不同的数据类型和格式才能更加科学的呈现出数据本身具备的特点,也正是因为这些被全世界统计学家所公认的各种统计方法(可以称之为真理)才能深入数据内部,挖掘出公认的价值。另外一个方面也是因为有这些数据挖掘的算法才能更快速的处理大数据,如果一个算法得花上好几年才能得出结论,那大数据的价值也就无从说起了。
预测性分析能力
大数据分析最终要的应用领域之一就是预测性分析,从大数据中挖掘出特点,通过科学的建立模型,之后便可以通过模型带入新的数据,从而预测未来的数据。
语义引擎
大数据分析广泛应用于网络数据挖掘,可从用户的搜索关键词、标签关键词、或其他输入语义,分析,判断用户需求,从而实现更好的用户体验和广告匹配。
数据质量与管理
大数据分析离不开数据质量和数据管理,高质量的数据和有效的数据管理,无论是在学术研究还是在商业应用领域,都能够保证分析结果的真实和有价值。

大数据技术

面对海量快速更迭的信息,纯手工监测、分析、判断互联网已经不太现实了。
信息过滤、数据加工、数据分析、平台运算等瓶颈,须用大数据技术解决。

数据采集
ETL工具负责将分布的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成,最后加载到数据仓库或数据集市中,成为联机分析处理、数据挖掘的基础。
数据存取
关系数据库、NOSQL、SQL等。
基础架构
云存储、分布式文件存储等。
数据处理
自然语言处理(NLP,NaturalLanguageProcessing)是研究人与计算机交互的语言问题的一门学科。处理自然语言的关键是要让计算机"理解"自然语言,所以自然语言处理又叫做自然语言理解(NLU,NaturalLanguage Understanding),也称为计算语言学(Computational Linguistics。一方面它是语言信息处理的一个分支,另一方面它是人工智能(AI, Artificial Intelligence)的核心课题之一。
统计分析
假设检验、显著性检验、差异分析、相关分析、T检验、方差分析、卡方分析、偏相关分析、距离分析、回归分析、简单回归分析、多元回归分析、逐步回归、回归预测与残差分析、岭回归、logistic回归分析、曲线估计、因子分析、聚类分析、主成分分析、因子分析、快速聚类法与聚类法、判别分析、对应分析、多元对应分析(最优尺度分析)、bootstrap技术等等。
数据挖掘
分类 (Classification)、估计(Estimation)、预测(Prediction)、相关性分组或关联规则(Affinity grouping or association rules)、聚类(Clustering)、描述和可视化、Description and Visualization)、复杂数据类型挖掘(Text, Web ,图形图像,视频,音频等)
模型预测
预测模型、机器学习、建模仿真。
结果呈现
云计算、标签云、关系图等。

大数据与云计算

云计算提供基础架构平台,大数据应用运行其上。

一、实时的大型数据集分析需要分布式处理框架来向数十、数百或甚至数万的电脑分配工作。可以说,云计算充当了工业革命时期的发动机的角色,而大数据则是电。

二、没有大数据的信息积淀,则云计算的计算能力再强大,也难以找到用武之地;没有云计算的处理能力,则大数据的信息积淀再丰富,也终究只是镜花水月。云计算提供基础架构平台,大数据应用运行在这个平台上。

云上部署大数据
云计算为大数据,提供强大的计算分析能力,快速获取结果。

了解云计算

SaaS云

软件即服务:则提供了完整的可直接使用的应用程序(比如通过 Internet管理企业资源)

PaaS云

平台即服务:提供了用户可以访问的完整或部分的应用程序

IaaS

基础设施即服务:提供分布式计算与存储能力

云计算与大数据,最明显的区分在两个方面:
1、在概念上两者有所不同,云计算改变了IT,而大数据则改变了业务。然而大数据必须有云作为基础架构,才能得以顺畅运营。
2、大数据和云计算的目标受众不同,云计算是CIO等关心的技术层,是一个进阶的IT解决方案。而大数据是CEO关注的、是业务层的产品,而大数据的决策者是业务层。

大数据与物联网

物联网为大数据,扩充了采集数据来源和服务范围。

1、借助条形码、二维码、RFID等能够唯一标识产品,传感器、可穿戴设备、智能感知、视频采集、增强现实等技术可实现实时的信息采集和分析,这些数据能够支撑智慧城市,智慧交通,智慧能源,智慧医疗,智慧环保的理念需要。

2、除了将更好的解决社会问题,商业营销问题,科学技术问题,还有一个可预见的趋势是以人为本的大数据方针。

医疗机构将实时的监测用户的身体健康状况
教育机构更有针对的制定用户喜欢的教育培训计划
服务行业为用户提供即时健康的符合用户生活习惯的食物和其它服务
社交网络能为你提供合适的交友对象,并为志同道合的人群组织各种聚会活动
金融机构能帮助用户进行有效的理财管理,为用户的资金提供更有效的使用建议和规划
政府能在用户的心理健康出现问题时有效的干预,防范自杀,刑事案件的发生
道路交通、汽车租赁及运输行业可以为用户提供更合适的出行线路和路途服务安排

大数据价值

对大量消费者提供产品或服务的企业

利用大数据进行精准营销

做小而美模式的中小企业

利用大数据做服务转型

面临互联网压力必须转型的传统企业

与时俱进充分利用大数据的价值

互联网诞生以来,数据就已经存在,但价值却难以被挖掘出来!
No
Yes
无处不在的数据发掘分析数据价值

大数据时代下,企业的前期营销红利,将逐渐被精细化管理取代。企业组织利用相关数据和分析可以帮助它们降低成本、提高效率、开发新产品、做出更明智的业务决策等等。例如
1、及时解析故障、问题和缺陷的根源,每年可能为企业节省数十亿美元。
2、为成千上万的快递车辆规划实时交通路线,躲避拥堵。
3、分析所有SKU,以利润最大化为目标来定价和清理库存。
4、根据客户的购买习惯,为其推送他可能感兴趣的优惠信息。
5、从大量客户中快速识别出金牌客户。
6、使用点击流分析和数据挖掘来规避欺诈行为。

节约成本

开拓新业务

优化运营模式

挖掘价值客户

与其说是大数据创造了价值,不如说是大数据思维触发了新的价值增长。
1、今天的数据不是大,真正有意思的是数据变得在线了,这个恰恰是互联网的特点。
2、非互联网时期的产品,功能一定是它的价值,今天互联网的产品,数据一定是它的价值。
3、千万不要想着拿数据去改进一个业务,这不是大数据。你一定是去做了一件以前做不了的事情。
4、最重要的是,大数据的真正价值在于创造,在于填补无数个还未实现过的空白。

大数据与互联网+

“业务”已经超越在技术和数据的地位之上!为什么我们把业务看的这么重要?
一、业务是直接和用户打交道,第一时间了解用户所需,只有根据用户所需,我们才能提供针对性的客服服务。
二、业务是直接产生价值的。用户是支付的初始,为什么用户愿意买?这已经涉及到销售与客户关系管理方面。
三、当业务提出需求,后面才是数据的分析与利用,技术的支持与共享。
四、抛开业务而谈大数据的应用,是本末倒置。
五、两者之间互存互用,技术提供更好的用户体验,数据来提供更精确的用户群体。
六、通过大数据的应用可以衍生出新的服务,新的产品,促进业务与产品的创新。

脱离了业务,任何技术都没有价值。创新的商业模式,需要全新技术支撑落地,如云计算与大数据。了解互联网+商业模式

大数据与大机构

1、手握大数据,但是没有利用好。
比较典型的是金融机构,电信行业,政府机构等。

2、没有数据,但是知道如何帮助有数据的人利用它!
比较典型的是IT咨询和服务企业,比如,埃森哲,IBM,Oracle等。

3、既有数据,又有大数据思维!!
比较典型的是Google,Amazon,Mastercard等。

4、因而,两个事物最具价值!!!
未有被大数据触及的业务,是未被挖掘的油井、金矿,是所谓的蓝海。
拥有大数据思维的人,可以将大数据的潜在价值转化为实际利益。

大数据与中小企

中小企在操纵大数据过程中存在的问题

市场化程度不高

缺乏前瞻性的战略设计

缺乏后续的跟进和梳理

没对结果进行分析与总结

缺乏应急机制和管理理念

大数据应用

国家调控
市场经济调控、公共卫生安全防范、灾难预警、社会舆论监督
城市治理
预防犯罪,实现智慧交通,提升紧急应急能力
医疗机构
建立患者的疾病风险跟踪机制,帮助医药企业提升药品的临床使用效果,帮助艾滋病研究机构为患者提供定制的药物
航空公司
节省运营成本
电信企业
实现售后服务质量提升
保险企业
识别欺诈骗保行为
快递公司
监测分析运输车辆的故障险情,以提前预警维修
电力公司
有效识别预警即将发生故障的设备
电商公司
向用户推荐商品和服务
旅游机构
为旅游者提供心仪的旅游路线
二手市场
买卖双方找到最合适的交易目标
网购用户
找到最合适的商品购买时期、商家和最优惠价格
传统企业
升营销的针对性,降低物流和库存的成本,减少投资的风险,以及帮助企业提升广告投放精准度
娱乐行业
预测歌手,歌曲,电影,电视剧的受欢迎程度,并为投资者分析评估拍一部电影需要投入多少钱才最合适,否则就有可能收不回成本
社交网站
提供更准确的好友推荐,为用户提供更精准的企业招聘信息,向用户推荐可能喜欢的游戏以及适合购买的商品

大数据应用顾问

大数据,不仅仅能指导跨国公司运营,更能对中小企业的盈利能力,产生革命性的影响,直观给出最佳业务优化建议!

 

敏捷流程

T

经营分析

l

模型设计

U

搜数入库

清洗提炼

指标计算

i

报表优化

决策建议

监控管理

完整流程

数据规划
战略意图
战略规划
商业目标
执行方针
组织支撑
产品与项目规划
场景规划
需求评估
架构规划
合作意图

数据治理
来源评估
数据采集
数据预处理
数据质量
数据管理
第三方数据
标准
流程

数据应用
场景细分
干系组织利益共识
功能规划
技术选型
产品选型
应用分析模型设计
PoC
商业验证

迭代实施
模型应用
系统开发
效果评价
业务验证
迭代改进
实施推广
数据安全

价值维护

数据资产、数据服务、决策支持、内部商业利益价值、外部商业利益价值

本文大纲

error: 禁止操作^_^