首页 » 作者存档: xingzheson

Author Archives: xingzheson

日志文件系统是怎样工作的

 

文件系统要解决的一个关键问题是怎样防止掉电或系统崩溃造成数据损坏,在此类意外事件中,导致文件系统损坏的根本原因在于写文件不是原子操作,因为写文件涉及的不仅仅是用户数据,还涉及元数据(metadata)包括 Superblock、inode bitmap、ino … 阅读全文

libvirt 介绍 [ Libvrit for KVM/QEMU ]

 

1. Libvirt 是什么 为什么需要Libvirt? Hypervisor 比如 qemu-kvm 的命令行虚拟机管理工具参数众多,难于使用。 Hypervisor 种类众多,没有统一的编程接口来管理它们,这对云环境来说非常重要。 没有统一的方式来方便地定 … 阅读全文

虚拟机模板信息注入解决方案

 

虚拟机模板信息注入解决方案 需求:需要向Windows虚拟机模板镜像中写入特定的信息 写这篇帖子的前提是,当前已经实现了密码和主机名称的注入,密码和主机名称的注入使用的是CloudBaseInit,该方法使用的是远端服务器上设置的数据进行初始化操作对于初始化单 … 阅读全文

Scrapy 框架的介绍及安装

 

scrapy框架 Scrapy是用纯Python实现一个为了爬取网站数据、提取结构性数据而编写的应用框架,用途非常广泛。 框架的力量,用户只需要定制开发几个模块就可以轻松的实现一个爬虫,用来抓取网页内容以及各种图片,非常之方便。 Scrapy 使用了 Twis … 阅读全文

zookeeper的详细介绍及使用场景

 

Zookeeper是什么 Zookeeper 分布式服务框架是Apache Hadoop 的一个子项目,它主要是用来解决分布式应用中经常遇到的一些数据管理问题,如:统一命名服务、状态同步服务、集群管理、分布式应用配置项的管理等 Zookeeper 作为一个分布 … 阅读全文

Kafka 架构原理、应用场景简介

 

1.Kafka背景 Kafka它本质上是一个消息系统,由当时从LinkedIn出来创业的三人小组开发,他们开发出了Apache Kafka实时信息队列技术,该技术致力于为各行各业的公司提供实时数据处理服务解决方案。Kafka为LinkedIn的中枢神经系统,管 … 阅读全文

LVS在大流量下基于OSPF的负载均衡实施方案

 

随着开源技术的发展,以及商业设备价格的不断攀升。大公司总是希望能使用开源的方案来替换过去使用的商业设备。比如之前大家用的很多的F5和A10,现在已经在逐步被LVS替换。传统的单个lvs的性能是比不上商业设备的,而且稳定性等也相对会差些。告诉大家很多大公司都在用 … 阅读全文

纠删码技术分析(Erasure Coding)

 

【摘要】:副本策略和纠删码是存储领域常见的两种数据冗余技术。相比于副本策略,纠删码具有更高的磁盘利用率。 Reed-Solomon码是一种常见的纠删码。 多副本策略即将数据存储多个副本(一般是三副本,比如HDFS),当某个副本丢失时,可以通过其他副本复制回来。 … 阅读全文