首页 » 大数据

zookeeper的详细介绍及使用场景

 
20170103124350319

Zookeeper是什么 Zookeeper 分布式服务框架是Apache Hadoop 的一个子项目,它主要是用来解决分布式应用中经常遇到的一些数据管理问题,如:统一命名服务、状态同步服务、集群管理、分布式应用配置项的管理等 Zookeeper 作为一个分布 … 阅读全文

Kafka 架构原理、应用场景简介

 
261159103182564

1.Kafka背景 Kafka它本质上是一个消息系统,由当时从LinkedIn出来创业的三人小组开发,他们开发出了Apache Kafka实时信息队列技术,该技术致力于为各行各业的公司提供实时数据处理服务解决方案。Kafka为LinkedIn的中枢神经系统,管 … 阅读全文

纠删码技术分析(Erasure Coding)

 
menu.saveimg.savepath20180818200320

【摘要】:副本策略和纠删码是存储领域常见的两种数据冗余技术。相比于副本策略,纠删码具有更高的磁盘利用率。 Reed-Solomon码是一种常见的纠删码。 多副本策略即将数据存储多个副本(一般是三副本,比如HDFS),当某个副本丢失时,可以通过其他副本复制回来。 … 阅读全文

storm 分布式实时计算系统介绍

 
2833fb7c6e6cafa08d72098cf5ddaa91bc53e3fa

Storm是什么 Storm官方网站有段简介 Storm是一个免费并开源的分布式实时计算系统。利用Storm可以很容易做到可靠地处理无限的数据流,像Hadoop批量处理大数据一样,Storm可以实时处理数据。Storm简单,可以使用任何编程语言。 在Storm … 阅读全文

flink架构

 
f

Flink是一个分布式的、有状态的计算框架,它可以处理无限的和有限的数据流。Flink原本设计的就是可以在所有的通常的集群环境,在内存中进行任意规模的计算。   一、处理无边界的和有边界的数据流 任何种类的数据都是以事件流的形式产生的,比如信用卡交易 … 阅读全文

阿里云ODPS介绍

 
192953r8ue8qscpvwucc6p

什么是ODPS(一) 阿里云开放数据处理服务(Open Data Processing Service,简称ODPS) 是构建在飞天系统上的大规模分布式数据处理服务。 ODPS以REST API的形式,支持用户提交类SQL的查询语言,对海量数据进行处理。在AP … 阅读全文

spark 原理与架构

 
1004194-20160829161404996-1972748563

Apache Spark是一个围绕速度、易用性和复杂分析构建的大数据处理框架,最初在2009年由加州大学伯克利分校的AMPLab开发,并于2010年成为Apache的开源项目之一,与Hadoop和Storm等其他大数据和MapReduce技术相比,Spark有 … 阅读全文

终于有人把云计算、大数据和人工智能讲明白了!

 
78d372b1e4a29c203c6efd0547a544c0.jpg-wh_651x-s_73131588

今天跟大家讲讲云计算、大数据和人工智能。这三个词现在非常火,并且它们之间好像互相有关系。 一般谈云计算的时候会提到大数据、谈人工智能的时候会提大数据、谈人工智能的时候会提云计算……感觉三者之间相辅相成又不可分割。 但如果是非技术的人员,就可能比较难理解这三者之 … 阅读全文