首页 > 推荐阅读 >如何让要让大数据更有意义?数据分析方法解析
资讯内容

相关词条:数据采集 大数据 数据 搜索引擎 抓取数据

如何让要让大数据更有意义?数据分析方法解析

很多人都讲大数据真大,越大越有价值,但真如此吗?大数据背后,大就是慢,就是复杂,就是成本提高,就是没有效率。中国的孙子兵法讲到兵在精不在多,数据再大,没有意义也是完全没有价值的,所以我们要把大数据做成小数据。
 
数据分析有极广泛的应用范围。典型的数据分析可能包含以下三个步:
 
1、探索性数据分析:当数据刚取得时,可能杂乱无章,看不出规律,通过作图、造表、用各种形式的方程拟合,计算某些特征量等手段探索规律性的可能形式,即往什么方向和用何种方式去寻找和揭示隐含在数据中的规律性。
2、模型选定分析,在探索性分析的基础上提出一类或几类可能的模型,然后通过进一步的分析从中挑选一定的模型。
3、推断分析:通常使用数理统计方法对所定模型或估计的可靠程度和精确程度作出推断。
 
现在人人都在讲大数据,似乎不说说大数据,就与这个时代有差距。大数据,真的有价值么?Linkedin资深总监Simon,为您从另外一个角度来分享对大数据的认识:
 
1、大数据除了占用空间、耗费资源外,本身没有太大价值。
2、我们需要把大数据做成小数据,数据分析才更有商业价值。
3、数据分析“快”比“大”更重要。
 
我们可以分成五个步骤:第一步是必须要理解历史上发生过什么事?第二步明白历史上为什么会发生这件事,第三步目前当下正在发生的什么事,第四步未来预测将要发生什么事情,第五步就是改变未来。
 
其中数据分析主要分为5个步骤:
第一步以前发生了什么?
第二步明白历史上为什么会发生这件事。
第三步目前当下正在发生的什么事。
第四步未来预测将要发生什么事情。
第五步就是改变未来。
 
以下是Simon在西湖品学大数据峰会上的演讲:
大家好,很高兴见到大家,在今天的一个特殊场合,我非常感谢阿里巴巴品觉能邀请我来,跟那么多资深的专业人士见面,我在Linkedin待了四年,谈不上分享,只是一些跟大家交流一下自己的思想。
 
我觉得大数据本身没有任何意义,数据对我们来说就是存在电脑的硬盘里面,数据越大占用的硬盘越多成本越高耗电量越狠。
 
数据来源
 
1、搜索引擎蜘蛛数据采集
2、网站IP、PV等基本数据;
3、网站的HTTP响应时间数据;
4、网站流量来源数据。
 
要让大数据有意义,就要把大数据做成小数据,就数据分析。
 
在数据分析上,能够做到第四步的预测就已经非常厉害了。不过,在实际商业价值的产出来说,第一步到第四步基本的商业价值是零。假如我预测Simon今天早上会吃饭,明天早上坐飞机回美国,这个根本没有问题,因为Simon今天晚上肯定会吃饭,美国肯定要回,没有任何价值。我们需要的是要把未来变得更好,这才是分析本身产生价值最重要的一环。

 





有讯软件致力于为客户定制专业的数据采集软件及服务,主要包括:网页采集,网页信息采集,网页数据采集,网络数据采集,信息采集软件,数据采集软件,网页采集器,软件定制,爬虫采集,专业数据采集。