虚拟机模板信息注入解决方案

 
timg

虚拟机模板信息注入解决方案 需求:需要向Windows虚拟机模板镜像中写入特定的信息 写这篇帖子的前提是,当前已经实现了密码和主机名称的注入,密码和主机名称的注入使用的是CloudBaseInit,该方法使用的是远端服务器上设置的数据进行初始化操作对于初始化单 … 阅读全文

Scrapy 框架的介绍及安装

 
8

scrapy框架 Scrapy是用纯Python实现一个为了爬取网站数据、提取结构性数据而编写的应用框架,用途非常广泛。 框架的力量,用户只需要定制开发几个模块就可以轻松的实现一个爬虫,用来抓取网页内容以及各种图片,非常之方便。 Scrapy 使用了 Twis … 阅读全文

zookeeper的详细介绍及使用场景

 
20170103124350319

Zookeeper是什么 Zookeeper 分布式服务框架是Apache Hadoop 的一个子项目,它主要是用来解决分布式应用中经常遇到的一些数据管理问题,如:统一命名服务、状态同步服务、集群管理、分布式应用配置项的管理等 Zookeeper 作为一个分布 … 阅读全文

Kafka 架构原理、应用场景简介

 
261159103182564

1.Kafka背景 Kafka它本质上是一个消息系统,由当时从LinkedIn出来创业的三人小组开发,他们开发出了Apache Kafka实时信息队列技术,该技术致力于为各行各业的公司提供实时数据处理服务解决方案。Kafka为LinkedIn的中枢神经系统,管 … 阅读全文

LVS在大流量下基于OSPF的负载均衡实施方案

 
044148958

随着开源技术的发展,以及商业设备价格的不断攀升。大公司总是希望能使用开源的方案来替换过去使用的商业设备。比如之前大家用的很多的F5和A10,现在已经在逐步被LVS替换。传统的单个lvs的性能是比不上商业设备的,而且稳定性等也相对会差些。告诉大家很多大公司都在用 … 阅读全文

纠删码技术分析(Erasure Coding)

 
menu.saveimg.savepath20180818200320

【摘要】:副本策略和纠删码是存储领域常见的两种数据冗余技术。相比于副本策略,纠删码具有更高的磁盘利用率。 Reed-Solomon码是一种常见的纠删码。 多副本策略即将数据存储多个副本(一般是三副本,比如HDFS),当某个副本丢失时,可以通过其他副本复制回来。 … 阅读全文

Linux日志文件总管——logrotate

 
230727o1gy8h17xg69iya9

日志文件包含了关于系统中发生的事件的有用信息,在排障过程中或者系统性能分析时经常被用到。对于忙碌的服务器,日志文件大小会增长极快,服务器会很快消耗磁盘空间,这成了个问题。除此之外,处理一个单个的庞大日志文件也常常是件十分棘手的事。 logrotate是个十分有 … 阅读全文

storm 分布式实时计算系统介绍

 
2833fb7c6e6cafa08d72098cf5ddaa91bc53e3fa

Storm是什么 Storm官方网站有段简介 Storm是一个免费并开源的分布式实时计算系统。利用Storm可以很容易做到可靠地处理无限的数据流,像Hadoop批量处理大数据一样,Storm可以实时处理数据。Storm简单,可以使用任何编程语言。 在Storm … 阅读全文