纠删码技术分析(Erasure Coding)

 
menu.saveimg.savepath20180818200320

【摘要】:副本策略和纠删码是存储领域常见的两种数据冗余技术。相比于副本策略,纠删码具有更高的磁盘利用率。 Reed-Solomon码是一种常见的纠删码。 多副本策略即将数据存储多个副本(一般是三副本,比如HDFS),当某个副本丢失时,可以通过其他副本复制回来。 … 阅读全文

Linux日志文件总管——logrotate

 
230727o1gy8h17xg69iya9

日志文件包含了关于系统中发生的事件的有用信息,在排障过程中或者系统性能分析时经常被用到。对于忙碌的服务器,日志文件大小会增长极快,服务器会很快消耗磁盘空间,这成了个问题。除此之外,处理一个单个的庞大日志文件也常常是件十分棘手的事。 logrotate是个十分有 … 阅读全文

storm 分布式实时计算系统介绍

 
2833fb7c6e6cafa08d72098cf5ddaa91bc53e3fa

Storm是什么 Storm官方网站有段简介 Storm是一个免费并开源的分布式实时计算系统。利用Storm可以很容易做到可靠地处理无限的数据流,像Hadoop批量处理大数据一样,Storm可以实时处理数据。Storm简单,可以使用任何编程语言。 在Storm … 阅读全文

supervisor 进程管理介绍

 
u=3931700208,4022739951&fm=27&gp=0

supervisor管理进程,是通过fork/exec的方式将这些被管理的进程当作supervisor的子进程来启动,所以我们只需要将要管理进程的可执行文件的路径添加到supervisor的配置文件中就好了。此时被管理进程被视为supervisor的子进程,若 … 阅读全文

Minio搭建私有化对象存储服务

 
2fdd0d494f5d411abc24cfe8dee95f17

Minio是建立在云原生的基础上;有分布式和共享存储等功能;旨在多租户环境中以可持续的方式进行扩展的对象存储服务。它最适合存储非结构化数据,如:照片、视频、日志文件、容器/虚拟机/映像等,单次存储对象的大小最大可达5TB。 实现架构单节点 根据存储是否为远端, … 阅读全文

MySQL主从原理及配置详解

 
2018321104906274

MySQL主从配置及原理,供大家参考,具体内容如下 一、环境选择: 1.Centos 6.5 2.MySQL 5.7 二、什么是MySQL主从复制 MySQL主从复制是其最重要的功能之一。主从复制是指一台服务器充当主数据库服务器,另一台或多台服务器充当从数据库 … 阅读全文

微服务架构:基于微服务和Docker容器技术的PaaS云平台架构设计(微服务架构实施原理)

 
952935-20170621162240179-1190022656

基于微服务架构和Docker容器技术的PaaS云平台建设目标是给我们的开发人员提供一套服务快速开发、部署、运维管理、持续开发持续集成的流程。平台提供基础设施、中间件、数据服务、云服务器等资源,开发人员只需要开发业务代码并提交到平台代码库,做一些必要的配置,系统 … 阅读全文

DPDK在OpenStack中的实现

 
openstackdpdk0

DPDK在OpenStack中的实现   随着云计算与大数据的快速发展,其对数据中心网络的性能和管理提出了更高的要求,但传统云计算架构存在多个I/O瓶颈,由于云平台基本上是采用传统的X86服务器加上虚拟化方式组建,随着40G、100G高速网卡的出现, … 阅读全文