Hadoop 数据中心管理系统cloudera 实现

 
1

系统环境 实验环境:openstack 下的云主机 操作系统:CentOS 6.5 x64 (至少内存2G以上,这里内存不够的同学建议还是整几台真机配置比较好,将CDH的所有组件全部安装会占用很多内存,我已开始设置的虚拟机内存是1G,安装过程中直接卡死了) C … 阅读全文

hadoop 之Hive介绍

 
hive_logo_medium

1.Hive的简介 hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的sql查询功能,可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低,可以通过类SQL语句快速实现简单的MapRedu … 阅读全文

Python Flask Restful API

 
u=4113128843,3085613975&fm=26&gp=0

目前Web应用这块,restufl API用得非常普遍,因为,你手上的前端设备五花八门,各种系统的手机,pad等等,而且网站和手机APP经常会有需要资源共享的时候。 如果网站做个app,手机端再独立一个app,要保持2者同步,估计做开发的要做死了。 所以,RE … 阅读全文

python查询mysql中文乱码问题

 
u=4113128843,3085613975&fm=26&gp=0

问题: python2.7 查询或者插入中文数据在mysql中的时候出现中文乱码 --- 可能情况: 1.mysql数据库各项没有设置编码,默认为'latin' 2.使用MySQL.connect的时候没有设置默认编码 3.没有设置python的编码,pyth … 阅读全文

对某企业销售额的数据分析(一)

 
4

最近研究了下大数据,想着还是偏应用方面的比较好。就扒了一个某公司的年度销售额的Excel 装备用来分析分析,虽然Excel也可以做一些数据分析。但是这次介绍的是大数据分析工具进行分析。希望在以后的学习中也是,尽量去尝试多的东西去解决问题,不能用什么就可以了就不 … 阅读全文

最全解析:大数据和机器学习有什么区别[转]

 
149437842639187383

大数据的定义 大数据(big data),指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。 大数据是一个笼统的概念暂未发现和准确的定义。 大数 … 阅读全文