算法
python副业
通信协议
自然语言处理
el
绘图机器人
消息传递
Android蓝牙使能
文件
python爬虫
dockerfile
RE理论干扰源的分析
半导体
重构
对比学习
思维
天气App
批量制图
可视化
serverless
集群
2024/5/8 23:25:24
电商项目记录高可用集群(4)之LVS负载均衡
Linux Virtual Server 四层负载效率高 LVS模式之NATLVS模式之TUNLVS模式之DR搭建LVS-DR模式- 配置LVS节点与ipvsadm
前期准备1. 服务器与ip规划：LVS - 1台VIP（虚拟IP）：192.168.1.150DIP（转发者IP/内网IP）…
【RabbitMQ】RabbitMQ 集群的搭建 —— 基于 Docker 搭建 RabbitMQ 的普通集群，镜像集群以及仲裁队列
文章目录 一、集群分类1.1 普通模式1.2 镜像模式1.3 仲裁队列 二、普通集群2.1 目标集群2.2 获取 Erlang Cookie2.3 集群配置2.4 启动集群2.5 测试集群 三、镜像模式3.1 镜像模式的特征3.2 镜像模式的配置3.2.1 exactly 模式3.2.2 all 模式3.2.3 nodes 模式 3.3 测试镜像模式 四…
【高可用】SQL Server 2019 无域+WSFC搭建Always On环境图文步骤
SQL Server 2019 无域搭建Always On环境 简介环境介绍服务器配置安装故障转移修改主机名并加入域修改hosts文件关闭防火墙修改DNS新建故障转移集群（任一台服务器）验证故障转移是否成功（任意一台电脑关机）设置共享文件数据库安装数据库配置数据库开启Always On在数据库里面安…
容器化运维：构建高可用RabbitMQ集群的Docker Compose指南
容器化运维：构建高可用RabbitMQ集群的Docker Compose指南 前言RabbitMQ相关知识点❓：Exchanges中的类型有什么区别❓：policies是什么❓：策略如何设置 docker-compose 搭建RabbitMQ的集群创建docker-compose.yml文件创建rabbitmq.c…
【RabbitMQ学习日记】—— 再见RabbitMQ
一、发布确认高级篇
在生产环境中由于一些不明原因，导致 rabbitmq 重启，在 RabbitMQ 重启期间生产者消息投递失败，导致消息丢失，需要手动处理和恢复如何才能进行 RabbitMQ 的消息可靠投递呢？ 特别是在这样比较极端的情…
Centos7 安装redis集群哨兵模式
一：整体哨兵模式规划 redis节点规划：6381 （master）， 6382 （slave），6383 （slave），6384 （slave）
sentinel模式节点规划&…
Redis主从集群的Sentinel配置
1、概述
Redis-Sentinel是Redis官方推荐的高可用性(HA)解决方案，当用Redis做Master-slave的高可用方案时，假如master宕机了，Redis本身(包括它的很多客户端)都没有实现自动进行主备切换，而Redis-sentinel本身也是一个独立运行的进…
LVS-DR集群（一台LVS，一台CIP，两台web，一台NFS）的构建以及LVS-DR模式工作原理和特点
一.LVS-DR工作模式原理和特点
1.工作模式
2.模式特点
二.构建环境
1.五台关闭防火墙，关闭selinux，拥有固定IP，部署有http服务的虚拟机，LVS设备下载ipvsadm工具，NFS 设备需要下载rpcbind和nfs-utils
2.实现功能
3…
OpenShift与Rancher
Rancher的部署 一、系统初始化
1）设置IP地址和主机名称
hostnamectl set-hostname rancher
2）添加地址解析和开启路由转发
cat >>/etc/hosts<<EOF
192.168.180.210 rancher
192.168.180.200 node1
192.168.180.190 node2
EOF vim/et…
正确认识Docker、Kubernetes 、Apache Mesos
无数的文章、社交媒体在探讨Docker、Kubernetes、Mesos三者之间孰优孰劣。如果你听信了某些一知半解者的言论，你可能会认为这三个开源项目正在为争夺容器霸权而殊死战斗。同时，你也会相信，在这三者间的选择无异于对其所奉宗教的信仰ÿ…
使用MongoDB集群搭建whois Web查询系统
目录
摘要
一.MongoDB 集群搭建配置
二.Whois数据的导入
三.Web服务搭建 摘要
本文主要介绍使用MongoDB集群搭建whois web查询系统，其中用到MongoDB集群化存储，XAMPP一站式web搭建工具，具体实现使用基于PHP的Laravel框架。
一.MongoDB …
夏德仁：创新是大连软件产业可持续发展的强大动力
第六届中国国际软件和信息服务交易会主论坛———2008全球软件和信息服务高层论坛暨企业家峰会昨日在大连富丽华大酒店举行。市长夏德仁在会上提出大连软件业未来发展目标，到2017年，在产业规模和综合实力上，大连软件业要达到全球产业领先城市…
【MongoDB】集群搭建实战 | 副本集 Replica-Set | 分片集群 Shard-Cluster | 安全认证
文章目录 MongoDB 集群架构副本集主节点选举原则搭建副本集主节点从节点仲裁节点 连接节点添加副本从节点添加仲裁者节点删除节点 副本集读写操作副本集中的方法 分片集群分片集群架构目标第一个副本集第二个副本集配置集初始化副本集路由集添加分片开启分片集合分片删除分片 安…
linux服务器管理——高可用电商项目系统部署方案
linux服务器管理——高可用电商项目系统部署方案高可用电商项目系统部署方案报告前言[摘 要][关键词]环境拓扑图完整拓扑图准备工作必要安装和操作克隆搭建LVS的DR模式简单拓扑配置IProuter查看网卡的uuid以及mac地址配置静态IP测试连通router启动路由转发查看路由表lvs1lvs2RS…
mysql_cluster体系结构
MySQL Cluster 由3个不同功能的服务构成，每个服务由一个专用的守护进程提供，一项 服务也叫做一个节点，下面来介绍每个节点的功能。 The management (MGM) node 管理节点，用来实现整个集群的管理，理论上一般只启动一个…
【Redis】深入探索 Redis 集群（Cluster）模式的概念、原理、数据分片算法，基于 Docker 模拟搭建 Redis 集群分布式架构
文章目录 一、对 Redis Cluster 集群模式的认识1.1 Redis 集群模式的概念1.2 Redis 集群模式解决的问题 二、数据分片算法2.1 哈希求余算法2.2 一致性哈希算法2.3 哈希槽分区算法 三、基于 Docker 模拟搭建 Redis 集群3.1 目标集群的拓扑结构3.2 创建目录和配置文件3.3 编写 do…
【大数据】Zookeeper 集群及其选举机制
Zookeeper 集群及其选举机制 1.安装 Zookeeper 集群2.如何选取 Leader 1.安装 Zookeeper 集群
我们之前说了，Zookeeper 集群是由一个领导者（Leader）和多个追随者（Follower）组成，但这个领导者是怎么选出来的…
Kubernetes入门精通到实战4：使用Kubespray部署Kubernetes集群
Kubespray是Google开源的一个部署生产级别的Kubernetes服务器集群的开源项目，它整合了Ansible作为部署的工具。项目地址：https://github.com/kubernetes-incubator/kubespray
部署历程
目前为止，对于Kubernetes集群的部署，我只谈的上是一个入门者，涉及到了众多的运维知识…
doris的单节点安装部署(详细)
doris的单节点安装部署 环境准备： 1.jdk8 进入官网:https://www.oracle.com/java/technologies/downloads/ 在linux服务上创建jdk安装的目录 mkdir /itsoftware/jdk #创建jdk安装路径 cd /itsoftware/jdk #进入jdk安装目录 解压缩包
cd /itsoftware/jdk #进入jdk安…
【Redis】高可用之复制（replica）
本文是Redis系列第4篇，前3篇欢迎移步
【Redis】不卡壳的 Redis 学习之路：从十大数据类型开始入手_AQin1012的博客-CSDN博客关于Redis的数据类型，各个文章总有些小不同，我们这里讨论的是Redis 7.0，为确保准确ÿ…
【转载】Rocks集群系统(cluster)的安装与管理维护
Rocks的安装 关于Rocks的安装，最权威的自然是官方发布的安装指南http://www.rocksclusters.org/roll-documentation/base/5.3/，实际上关于Rocks系统的问题基本都能在该指南上找到答案。但是鉴于我这种门外汉对于英语专业术语的一知半解。所以在此唠叨一二…
Redis主从配置异常解决：Error condition on socket for SYNC: Connection refused
Redis主从配置异常解决：Error condition on socket for SYNC: Connection refused
在docker中搭建的redis主从集群时，从服务器上的redis日志报错：
32677:S 08 Feb 16:14:38.947 * Connecting to MASTER 172.168.10.70:6379
32677:S 08 Feb …
【MySQL高可用集群】MySQL的MGR搭建
前情提要： MySQL官方在 5.7.17版本正式推出组复制（MySQL Group Replication，简称MGR），使用类似 zookeeper 的多于一半原则。在一个集群由 2N1 个节点共同组成一个复制组，一个事务的提交，必须经过…
客户端访问scan IP出现ora12545错误
现场环境是oracle linux 5.7下一个双节点版本为11.2.0.4的rac集群，运行着3个数据库，有3个scan ip。
在使用过程中发现使用scan ip连接其中一个数据库服务名时经常出现oracle TNS-12545:因目标主机或对象不存在的错误，有时又能访问。使用该sc…
Redis集群删除和重建
删除 Redis集群创建好后，一般会有以下文件生成：
$ tree
.
├── appendonly.aof
├── dump.rdb
├── nodes-7000.conf
├── redis.conf
└── redis-server0 directories, 5 files其中，nodes-*.conf记录了Redis集群的信息。
要想删…
三位一体，铸就无敌铁军！海陆空协同，开启集群新篇章！
在机器人领域，多机器人系统的研究一直是一大热点，众多高校与研究所逐步投入到机器人集群系统的研究当中，其中无人机编队表演、无人车群园区运输、无人船集群水域监测等集群应用更是进入了大众的视野。但对多机器人集群系统的需求却远不止于此…
Spring Boot集成redis集群拓扑动态刷新
项目场景：
Spring Boot集成Redis集群，使用lettuce连接Cluster集群实例。 问题描述
redis其中一个节点挂了之后，springboot集成redis集群配置信息没有及时刷新，出现读取操作报错。
java.lang.IllegalArgumentException: Connec…
【大数据基础平台】星环TDH社区开发版单机部署
🍁 博主 "开着拖拉机回家"带您 Go to New World.✨🍁 🦄 个人主页——🎐开着拖拉机回家_大数据运维-CSDN博客 🎐✨🍁 🪁🍁🪁🍁🪁&#…
[Linux基础与服务管理——常用集群LVS配置】
1.LVS
1.1LVS 简介
Linux Virtual Server（Linux虚拟服务器，简写：LVS）是一个虚拟的服务器集群系统。由章文嵩博士在1998年5月成立的一个开源项目，是国内最早出现的自由软件项目之一。现在已经是Linux标准内核的一部分…
![[Linux基础与服务管理——常用集群高可用软件 Keepalived]](https://img-blog.csdnimg.cn/43512dd090454aaf9da071d1979b0911.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5LqR6YeM6Zu-6YeM55qEdmFu,size_14,color_FFFFFF,t_70,g_se,x_16)
[Linux基础与服务管理——常用集群高可用软件 Keepalived]
1.Keepalived 简介
Keepalived是Linux下的一个免费的、轻量级的高可用解决方案。是一个由C语言编写的路由软件，主要目标是为Linux系统和基于Linux的基础架构提供简单而强大的负载平衡和高可用性设。Keepalived实现了一组检查器，以根据其健康状况动态地和…
【业务功能篇73】web系统架构演变-单体-集群-垂直化-服务化-微服务化
1.服务架构的演
1.1 单体架构
单体架构应该是我们最先接触到的架构实现了，在单体架构中使用经典的三层模型，即表现层，业务逻辑层和数据访问层。 单体架构只适合在应用初期，且访问量比较下的情况下使用，优点是性价比很…
注解方式优雅的实现Redisson分布式锁
1.前言
随着微服务的快速推进，分布式架构也得到蓬勃的发展，那么如何保证多进程之间的并发则成为需要考虑的问题。因为服务是分布式部署模式，本地锁Reentrantlock和Synchnorized就无法使用了，当然很多同学脱口而出的基于Redis的se…
Sun Cluster 的日常维护和管理
1. 显示sun cluster 发行版本# scinstall –pv2. 显示已配置的资源类型、资源组和资源# scrgadm –p3. 检查集群组件状态及配置# scstat –p | more# scconf –p# scrgadm –pv(v)# scstat –W 检查心跳线状态4. 关闭集群# scshutdown –g 0 –y此命令将每个节点都关闭到OK状态…
中国有条件成为全球外包基地
在日前开幕的第十二届软博会上，国家发展和改革委员会高新技术司司长綦成元表示，目前全球软件和信息服务产业正在加速转移，中国有条件成为全球外包基地。綦成元说，中国软件产业在2007年的规模已经达到了5834亿元，国家认…
Weblogic8.1集群中批量启动和关闭所有服务器的脚本
启动集群的脚本：java weblogic.Admin -url AdminHost:7001 -username weblogic -password weblogic STARTCLUSTER -clustername ACluster
成功后会看到类似的信息：Starting servers in cluster ACluster: A2,A1All servers in the cluster "AC…
Docker上部署MySQL集群--主从复制
Docker上部署MySQL主从复制
Date: 2021-01-24
实现一主两从的MySQL架构；当前实战是在Mac上实现的，如果是Windows，挂在的目录需要注意一下，使用D:/xxx/yyy。背景：搭建MySQL一主多从目的是为了搭建可靠的Nacos集群&…
Redis 高可用相关理论
Redis 高可用一、概论一、Redis持久化1.1 RDB 持久化触发条件执行流程启动时加载1.2 AOF持久化开启AOF执行流程启动时加载三、RDB和AOF的优缺点四、Redis 主从复制五、Redis 哨兵模式六、Redis群集模式在web服务器中，高可用是指服务器可以正常访问的时间，…
MySQL NDB 6.3.20集群安装
转一份MySQL集群部署的博客 http://ginge.iteye.com/blog/320205 引言：
本文会先对MySQL集群稍作一点介绍，然后会提供一个安装过程。
介绍：
MySQL集群是一种在无共享架构系统里应用内存数据库集群的技术。这种无共享的架构可以使得系统使用…
服务器架构与“军事战争”
“客户端访问”与“服务器端响应”，犹如一场战争。初期，访问量较小，弄几台服务器随便拉起一只队伍，就能抵抗住客户端的进攻。慢慢的，访问量大起来，这时候，就需要讲究排兵布阵、战略战术、多兵种…
hibernate一级缓存和二级缓存的区别
缓存是介于应用程序和物理数据源之间，其作用是为了降低应用程序对物理数据源访问的频次，从而提高了应用的运行性能。缓存内的数据是对物理数据源中的数据的复制，应用程序在运行时从缓存读写数据，在特定的时刻或事件会同步缓存和物…
hibernate缓存:Hibernate获取数据方式和缓存Cache使用
Hibernate获取数据方式有区别几种其和缓存Cache结合使用效果也不尽相同而Hibernate中具体如何使用缓存Cache其实是我们很关心个问题直接涉及到性能方面 缓存Cache在Hibernate中主要有 3个方面:级缓存Cache、 2级缓存Cache和查询缓存Cache；级缓存Cache在Hibernate中对…
Web基础配置篇（十一）: Zookeeper的安装配置及使用
Web基础配置篇（十一）: Zookeeper的安装配置及使用
一、概述
ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致…
Web基础配置篇（十五）: Consul单机、集群的安装使用及作为配置中心使用
Web基础配置篇（十五）: Consul单机、集群的安装使用及作为配置中心使用
一、概述
Consul是一个服务网格（微服务间的 TCP/IP，负责服务之间的网络调用、限流、熔断和监控）解决方案，它是一个一个分布式的&…
jboss和apache的集群配置
说起JBoss集群好像很高深的样子，其实一点也不恐怖，建立一个集群很简单，难的是怎么针对具体的应用优化服务器和实现负载均衡（学习中^o^）。本文将带领大家在JBoss的default目录下建立一个简单的Web方面的JBoss集群。 …
【Kubernetes】部署Tomcat服务
准备 已有Kubernetes集群熟悉Kubernetes的基本命令tomcat镜像已保存到Harbor（如果没有配置私有仓库，也可以通过公网从 docker hub 拉取）
Deployment k8s支持多种资源创建方式，这里我们使用YAML文件来完成Tomcat应用的配置。
api…
【Kubernetes】同步pod时区，与node主机保持一致
问题描述 在安装Kubernetes集群的过程中并没有注意到pod的时间问题，直到在Tomcat上部署应用后发现pod中的时间与Node上的时间不同步，解决这个问题基本上可以有两种思路：
直接修改镜像的时间设置，好处是应用部署时无需做特殊设置&…
MongoDB学习笔记(五) 集群搭建之副本集
常见的 MongoDB 集群有三种，分别是主从复制、副本集和分片，这篇文章将会对副本集进行简单的介绍
开始先说一下，这篇文章用到的所有代码都是经过本地测试的，博主用于测试的操作系统为 CentOS 7
好，下面正式开始&#…
分布式定时任务之XXL-JOB的配置使用
分布式定时任务之XXL-JOB的配置使用XXL-JOB概述XXL-JOB快速入门1.配置部署“调度中心”2.创建执行器项目3.配置执行器项目4.配置执行器组件5.开发Job方法6.项目结构调度中心的使用1.创建执行器2.新建调度任务3.查看日志4.准备分布式环境5.路由策略之轮询6.分发广播7.故障转移配…
ganglia 安装笔记
ganglia 下载：http://sourceforge.net/projects/gangliarddtool 下载： http://oss.oetiker.ch/rrdtool/pub/?MDexpat 下载 ：http://sourceforge.net/projects/expat/files/?sourcenavbarconfuse下载 ：http://download.savannah.…
Redis系列学习（四）Redis Cluster搭建
Redis Cluster搭建
准备redis节点节点之间关联分配数据槽
准备redis节点
Redis下载并解压 redis是在3.0以后才支持集群部署，所以我这就简单了直接下载最新的版本来使用：http://download.redis.io/releases/redis-4.0.6.tar.gz（截止2017-12…
资讯精选 | 如何保证人工智能与HPC的成功融合？
本文来源于阿里云-云栖社区，原文点击这里。 人工智能的发展经历过很有意思的波峰与波谷，虽然目前来看，人工智能得到了很大的释放，价值也在各种探讨中正在一步步落地。而在联想首席科学家祝明发看来：人工智能其实远远没…
技术文章 | 系统稳定性保障核武器——全链路压测
本文来源于阿里云-云栖社区，原文点击这里。 为什么要做全链路压测？ 对阿里巴巴而言，每年最重要的一天莫过于双11。这是因为在双11的零点，系统会遭遇史无前例的巨大洪峰流量冲击，保证双11当天系统的稳定性对高可用团队来…
高可用集群之redis(1)
安装Redis
下载
官网：https://redis.io/download 选择下载稳定版本，不稳定版本可以尝鲜，但是不推荐在生产使用。 上传至linux
安装
1. 解压redis：
tar -zxvf redis-5.0.5.tar.gz2. 安装gcc编译环境，如果已经安装过了…
Redis集群(一)主从模式之哨兵机制
如果master断开连接，则其slaves都会断开与master的连接，而缺少了master，这是就需要手动指定其他某个端口作为master，并设置其余的slaves指向这个master(手动设置的方法很简单，点击参考主从复制创建方式)。很是麻烦&…
Weblogic 12.1.3集群管理手册(简介)
weblogic12c在集群管理方面新增一些特性，但相关知识在oracle官网并未找到相应的中文版本，因此打算简单翻译一下Administering Clusters for Oracle WebLogic Server这个文档，希望对weblogic12.1.3版本集群方面的理解有所帮助，错误…
ActiveMQ多集群的负载均衡
图一说明：1、集群一包含3个队列：Amq1、Amq2、Amq3；集群二包含2个队列：Bmq1、Bmq22、生产者一生产的消息可以同时发送到群集1、集群2，生产者二也一样3、消费者一可以同时从集群1、集群2消费消息，消费者二也一…
Redis 6.2.0单机、主从、哨兵到集群
单机Redis存在的问题 Redis单机部署简单方便，只需下载编译，启动服务即可使用。
一个Redis服务就是一个Redis实例，对应于一个进程，Redis6.2版本支持多线程，但多线程只是用于网络和IO，执行命令依然是单线程。…
xx is not in the sudoers file问题的解决方案
http://www.2cto.com/os/201301/184949.html xx is not in the sudoers file 问题解决的两种方案如下。。。。。 两种方法执行命令不同而已，原理其实一样www.2cto.com 方法一：首先利用whereis 命令查找sudoers配置文件的目录（默认会在/etc…
CentOS Linux下 redis 下载、安装、配置、主从集群配置
CentOS Linux下 redis 下载、安装、配置、主从集群配置 一、 下载 下载地址： http://redis.io/download linux中下载： Java代码# 加入跟目录
cd /
# 创建目录
mkdir redis/conf/
mkdir redis/db/
mkdir redis/app/
# 进入redis/app/目录
cd /redis/app/…
如何用容器实现生产级Redis sharding集群一键交付
Redis在3.0之后开始支持sharding集群。Redis集群可以让数据自动在多个节点上分布。如何使用Docker实现Redis集群的一键部署交付，是一个有趣的并且有价值的话题。
本文将给大家介绍基于进程的容器技术实现Redis sharding集群的一键部署。
什么是Redis sharding集群
R…
基于谷歌GKE使用Kubernetes
Google Container Engine (GKE) 是谷歌云提供的云服务，用于提供在线Kubernetes集群。 这项新服务允许你使用谷歌API按照需求创建一个Kubernetes集群。 集群将由一个主节点和一组充当虚拟机容器的计算节点组成。
首先，你现在需要一个谷歌云平台帐户。 更新…
MongoDB学习笔记(四) 集群搭建之主从复制
常见的 MongoDB 集群有三种，分别是主从复制、副本集和分片，这篇文章将会对主从复制进行简单的介绍
开始先说一下，这篇文章用到的所有代码都是经过本地测试的，博主用于测试的操作系统为 CentOS 7
好，下面正式开始&…
Docker方式创建MySQL8的MGR集群
目录 一、MGR简述二、安装环境及要求2.1 系统版本2.2 网络要求 三、安装步骤3.1 创建容器3.2 创建用户3.3 安装插件3. 4 启动集群3.5 加入集群 四、查看集群查看 MGR 组成员列表查看 MGR 组成员拓扑信息 五、其他说明集群配置要求集群配置限制集群相关变量和状态 一、MGR简述
…
MOTO与韩代理商串谋降低设备竞价 被罚73万美元
【赛迪网 通信产业讯】3月11日消息，韩国公平贸易委员会本周一宣布，由于摩托罗拉与其它三家韩国公司串通起来骗取政府部门的通信设备订单，因此将对其处以6.96亿韩元（约合72.9万美元）的罚款。
据美联社报道，…
集群搭建--搭建spark集群集成hive
下载 spark-2.4.0-bin-hadoop2.7.tgz
链接：https://pan.baidu.com/s/1dlZlEcvwPck1JpSdBbXyYw 提取码：3y22
解压 spark-2.4.0-bin-hadoop2.7.tgz
[hadoopspark1 softwares]$ tar spark-2.4.0-bin-hadoop2.7.tgz -C /usr/local/modules/
cd /…
外包或成合肥“金字招牌”
2月22日上午，合肥隆重举行“中国服务外包基地城市”授牌仪式，国务院副总理吴仪等出席了仪式现场。这意味着合肥服务外包业将获得国家的大力支持。但是，要想在日趋白热化的行业竞争中胜出，合肥还要设法从“前有围堵，后有…
ActiveMQ三机器高可用-负载均衡集群
描述
参考自：慕课网http://www.imooc.com/learn/856
同时达到高可用、高负载
需满足：负载均衡冷热备
分别有三个ActiveMQ-A、ActiveMQ-B、ActiveMQ-C
A：staticB和C B：staticA并与C共享同一个kahaDB，达到共享目的…
Mysql Cluster 7.6.10 ： Mysql高可用搭建
Mysql Cluster 7.6.10集群准备工作Web Auto Install安装方式***要将所有可执行文件开放权限：***手工搭建集群mgm节点配置配置NDB节点配置SQL节点测试集群关闭准备工作
四台主机 MysqlCluster7.6.10安装包一份（如果是混合环境要准备多份） 解压…
最全的Redis集群方案介绍
由于Redis出众的性能，其在众多的移动互联网企业中得到广泛的应用。Redis在3.0版本前只支持单实例模式，虽然现在的服务器内存可以到100GB、200GB的规模，但是单实例模式限制了Redis没法满足业务的需求（例如新浪微博就曾经用Redis存储…
【SpringCloud】SpringCloud教程之Nacos实战(三集群配置)
目录前言一.Nacos集群逻辑图二.Nacos集群搭建1.搭建数据库，初始化数据库表结构2.下载Nacos3.配置Nacos3.启动Nacos4.配置启动nginx5.测试是否成功6.设置服务的nacos地址7.新增一个配置，查看数据看是否进行持久化了前言
在我前面两篇讲的都是单个nacos&a…
keepalived-高可用集群部署
keepalived-高可用集群部署 概念:高可用服务--keepalived完成高可用集群部署lb服务器部署流程：第一个历程：安装keepalived软件keepalived配置文件编写方法第二个历程： keepalived服务配置lb01-作为主服务器lb02-作为备服务器什么是vrrp协议(重…
Redis 主从复制-哨兵-集群
Redis 主从复制-哨兵-集群一、主从复制-哨兵-集群二、主从复制1、主从复制的作用2、主从复制流程3、部署Redis 主从复制三、哨兵模式1、哨兵模式的原理2、哨兵模式的作用3、哨兵结构由两部分组成，哨兵节点和数据节点四、集群模式1、集群的作用，可以归纳为…
解决 Zookeeper集群启动失败，提示 Error contacting service. It is probably not running.
刚学到zookeeper 记录一下出现的错误，死活开启不了服务，经查阅后发现是防火墙问题。（关闭防火墙命令在文章底部） 如果设置了SSH免密登录 则在zoo.cig中如下设置;
如果没有设置ssh免密登录，把“”后面设置为IP:通信端…
Codis集群部署架构
Codis安装部署全架构 前期规划 机器与应用列表： 操作系统：CentOS6.5 1，操作系统：CentOS6.5 192.168.88.106 codis-server1 192.168.88.107 codis-server2 192.168.88.108 codis-server3 192.168.88.111 codis-ha1 192…
Google MapReduce中文版(转载)
摘要
MapReduce是一个编程模型，也是一个处理和生成超大数据集的算法模型的相关实现。用户首先创建一个Map函数处理一个基于 key/value pair的数据集合，输出中间的基于key/value pair的数据集合；然后再创建一个Reduce函数用来合并所有的具有相…
MOSIX （linux）集群解决方案
MOSIX为Linux核心增添了集群计算的功能。它支持的操作系统平台有BSD/OS 和Linux，它允许任意多个基于X86/Pentium的服务器和工作站协同工作。在MOSIX集群环境中，用户无需对应用程序进行修改，或将应用程序与库连接起来，或将应用程序…
SpringCloudEureka集群
一、Spring Cloud Netflix
该项目是Spring Cloud的核心子项目，是对Netflix公司一系列开源产品的封装。它为Spring Boot应用提供了自配置的整合，只需要通过一些简单的注解，就可以快速地在Spring Cloud的应用中使用起来。
它主要提供的模块包…
Hadoop集群配置（最全面总结）
Hadoop集群配置（最全面总结） huangguisu 通常，集群里的一台机器被指定为 NameNode，另一台不同的机器被指定为JobTracker。这些机器是masters。余下的机器即作为DataNode也作为TaskTracker。这些机器是slaves\ 官方地址࿱…
LSF 概览——了解 LSF 是如何满足您的作业要求，并找到最佳资源来运行该作业的
LSF 概览
了解 LSF 是如何满足您的作业要求，并找到最佳资源来运行该作业的。
IBM Spectrum LSF ("LSF", load sharing facility 的简称) 软件是行业领先的企业级软件。LSF 将工作分散在现有的各种 IT 资源中，以创建共享的，可扩展…
Linux使用docker搭建rabbitmq集群
安装dockers
更新yum源 yum update 安装docker yum install docker 启动docker systemctl start docker 安装rabbitmq
拉取rabbitmq镜像 docker pull rabbitmq:management 运行容器 docker run -d --hostname rabbit1 --name myrabbit1 -p 15672:15672 -p 5672:5672 -e RABBI…
Java集群：单体架构升级到集群架构（四）使用REDIS分布式锁
我们还是从这张图开始： 这张图是《Java集群：单体架构升级到集群架构（一）使用NGINX建立集群》里面使用的。如果你的代码中使用了synchronized和lock，它们在单体应用中跑得很好，但是在集群环境中就不好用了&a…
DCU集群搭建虚拟环境方法简介
1.conda安装方法：
wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh #下载miniconda安装包chmod 750 Miniconda3-latest-Linux-x86_64.sh #添加执行权限bash ./Miniconda3-latest-Linux-x86_64.sh #安装下载的minnconda32.集群安装…
搭建Hadoop集群过程中常见错误的解决方案
格式化报错
权限问题
出现cannot creat directory或cannot creat file类型
如下报错信息：
cannot create directory Permission denied如果使用的是 user 用户，多数情况下是因为文件权限问题，hadoop3.3.1、big_data（存数据&am…
hibernate二级缓存中清空set方法
Hibernate的二级缓存2008-03-25 14:52Hibernate的Session在事务级别进行持久化数据的缓存操作。 当然，也有可能分别为每个类(或集合)，配置集群、或JVM级别(SessionFactory级别)的缓存。 你甚至可以为之插入一个集群的缓存。注意，缓存永远不知…
Ehcache集群环境配置
Ehcache支持的分布式缓存支持有三种RMI，JGroups，JMS，这里介绍下MRI和JGrpups两种方式，Ehcache使用版本为1.5.0，关于ehcache的其他信息请参考http://ehcache.sourceforge.net/EhcacheUserGuide.html，关于jgr…
[转]部署Cassandra集群
转自若海的blog，具体地址记不得了。其实跟官网的内容差不多，算是汉化且操作部署过吧。 部署Cassandra集群 要熟悉一个系统，个人认为最好的办法是先把这个系统run起来，对系统有个直观的了解。比如一个存储系统，就可以看…
在 RHEL 5.5 下应用 RHCS 实现 Oracle HA
1. 网络配置具体的网络配置过程我就不在这里罗嗦了，基本跟 Oracle RAC 相同，每个节点两个网卡其中一个做心跳线。两个节点的 /etc/hosts 配置文件内容一致，内容如下： # Do not remove the following line, or various programs # …
CentOs搭建Kafka集群
Centos7搭建Kafka集群 一、集群规划二、环境准备三、安装kafka集群1、下载kafka安装包2、解压3、配置环境变量4、编辑配置文件①修改broker.id②配置kafka运行日志路径③配置Zookeeper集群地址 5、启动集群6、测试kafka①、创建topic②、查看当前服务器中的所有topic③、生产者…
查看集群名称（CLUSTER NAME）的两种方法
集群名称信息是记录在OCR中的，因此我们可以通过转储OCR的方法来获得集群名称，与此同时，我们同样可以使用cemutlo工具直接查看集群名称信息。分别看一下这两种获取方法。1.第二种方法：通过转储OCR方法获取集群名称[rootrac1 ~]# cd…
Nginx 负载均衡集群 节点健康检查
前言
正常情况下，nginx 做反向代理负载均衡的话，如果后端节点服务器宕掉的话，nginx 默认是不能把这台服务器踢出 upstream 负载集群的，所以还会有请求转发到后端的这台服务器上面，这样势必造成网站访问故障 注&#x…
高可用集群之redis(3)
缓存穿透
缓存穿透是指缓存和数据库中都没有的数据，而用户不断发起请求。导致数据库压力过大。
解决方法
将key-value对写为key-null(空对象，空集合，空字符串)，缓存有效时间可以设置短点布隆过滤器
缓存雪崩
缓存雪崩是指缓存…
高可用集群之(2)redis哨兵模式
Redis 的哨兵模式
Sentinel(哨兵)是用于监控Redis集群中Master状态的工具，是 Redis 高可用解决方案，哨兵可以监视一个或者多个redis master服务
某个master服务宕机后，会把这个master下的某个从服务升级为master来替代已宕机的master继续工作…
使用diagcollection.pl脚本打包收集诊断日志文件
在Oracle集群环境的“$ORA_CRS_HOME/bin”目录下提供了diagcollection.pl脚本，以root用户身份执行该脚本便可以完成搜集必要的诊断信息的目的。1.设置必要的环境变量因为需要以root用户身份执行该脚本，因此oracle用户下的环境变量在此无效，需…
【云原生】什么是 Kubernetes ？
什么是 Kubernetes ？ Kubernetes 是一个开源容器编排平台，管理着一系列的 主机 或者 服务器，它们被称作是 节点（Node）。 每一个节点运行了若干个相互独立的 Pod。 Pod 是 Kubernetes 中可以部署的 最小执行单元&#x…
clickhouse集群部署指南
一、前言：
上篇文章介绍了clickhouse单机部署指南，本章重点介绍下集群部署指南，文章重在实战，相关知识请自行学习。
二、环境准备：
CentOS7 4核16G 3台(172.25.16.82、172.25.16.83、172.25.16.84)
三、安装包准备…
The Google File System中文版(转载)
摘要
我们设计并实现了Google GFS文件系统，一个面向大规模数据密集型应用的、可伸缩的分布式文件系统。GFS虽然运行在廉价的普遍硬件设备上，但是它依然了提供灾难冗余的能力，为 大量客户机提供了高性能的服务。
虽然GFS的设计目标与许多传统…
HPC 工作负载管理 —— IBM Spectrum LSF Suite
全面的工作负载管理解决方案，通过增强用户和管理员体验以及实现规模性能来简化 HPC。
IBM Spectrum LSF Suites 是面向分布式高性能计算 (HPC) 的工作负载管理平台和作业调度程序。基于 Terraform 的自动化现已可用，该功能可在 IBM Cloud 上为基于 IBM …
关于高并发你必须知道的几个概念
🎈个人公众号:🎈 :✨✨✨ 可为编程✨ 🍟🍟 🔑个人信条:🔑 为与不为皆为可为🌵 🍉本篇简介:🍉 本篇记录高并发必须知道的几个概念，如有出入还望指正。 关注公众…
Cycle的超级云计算服务价格便宜量又足
使唤5万颗核心的超级计算感觉如何？公用超级计算公司Cycle能帮你实现这种体验，价格也很优惠。该公司将自己的一套软件系统建立在亚马逊的弹性计算云（EC2）上，这是一种出租核心以远程使用的服务，他们按小时出租…
集群搭建--kafka集群搭建
搭建kafka集群 三台服务器
1、下载kafka
下载路径:http://kafka.apache.org/downloads
2、上传tar包 ,解压 kafka_2.10-0.10.2.1.tgz
tar -zxvf kafka_2.10-0.10.2.1.tgz -C /usr/local/modules/3、修改配置文件 conf/server.properties
vim server.properties
#修改的内…
集群负载均衡--LVS（NAT部署）
集群负载均衡--LVS（NAT部署）前言一：实验配置1.1：实验环境1.2：实验原理图1.3：实验目的1.4：实验步骤1.4.1：配置NFS服务器2.4.2：配置两台Apache服务器2.4.3：配置…
Hadoop学习2：完全分布集群搭建
文章目录 Fully-Distributed Operation（完全分布模式） 重点机器环境同步集群规划配置文件修改以及同步步骤0：下面其他步骤涉及修改配置以这里为准（要不然部署使用过程会有很多问题）通用配置（三台节点机器&a…
LVS中前置机LB的容错机制
LVS前端的调度器有可能成为系统的单一失效点（Single Point of Failure）。一般来说，调度器的可靠性较高，因为调度器上运行的程序较少而且大部分程序早已经遍历过，但我们不能排除硬件老化、网络线路或者人为误操作等主要…
JDBC 多数据源同时访问框架图
当数量越来越海量的时候,单台数据库无法承担业务需求,数据库集群技术虽然一定程度上解决,但还是不够HING!
JAVA的数据框架中IBTAS,HIBRIANTE 都不支持同时从多个数据库取数据. 其实自己可以用JAVA稍微封装下JDBC接口就能达到此功能.
MySQL 8.x 高可用集群之MGR（组复制）
MySQL 8.x 高可用集群之MGR（组复制） 前言一、集群部署1.1 修改主机名和关闭selinux1.2 MySQL安装1.2.1 **移除Linux自带安装的mariadb数据库**1.2.2 下载安装文件1.2.3 顺序执行安装1.2.4 启动mysql并修改密码1.2.5 开启防火墙端口允许访问 1.3 修改mysq…
Kubernetes 安全最佳实践：保护您的秘密
Kubernetes 是一个可用于微服务的开源容器编排平台。当我们想要部署容器化应用程序、自动化管理和扩展应用程序时，Kubernetes 非常有用。
在容器中运行单个微服务而不是在同一虚拟机中运行多个进程几乎总是更安全。每当我们在 Kubernetes 中启动任何 pod 时&#x…
WebLogic配置EJB集群问题！
WebLogic配置EJB集群问题！ 集群的部署只要你会，那么在部署EJB的时候，和发布其他的war包或者其他包的方法都是一致的，没有差别，就是你只需要把EJB的jar包发布到集群中的每一个服务器实例上去。 和普通单服务唯一的区别在…
SSH用户等效性配置
为用户等效性配置 SSH 在安装 Oracle RAC 10g 期间，OUI 需要把文件复制到集群中的其他主机上并在其上执行程序。 为了允许 OUI 完成此任务，必须配置 SSH 以启用用户等效性。 用 SSH 建立用户等效性就提供了一种在集群中其他主机上复制文件和执行程序时不…
中国外包服务企业如何强化竞争能力
《中国服务周刊》主编苏军:作为中国外包服务优秀企业的管理者，以您的经验，您认为中国的外包服务企业应如何强化自身的竞争能力？北京文思创新软件技术有限公司总裁陈立峰：强化自己的竞争能力，首先要强调以人为本。给员工…
【大数据】Zookeeper 数据写入与分布式锁
Zookeeper 数据写入与分布式锁 1.数据是怎么写入的2.基于 Zookeeper 实现分布式锁 1.数据是怎么写入的
无论是 Zookeeper 自带的客户端 zkCli.sh，还是使用 Python（或者其它语言）实现的客户端，本质上都是连接至集群，然…
分布式应用程序协调服务 ZooKeeper 详解
目录
1、ZooKeeper简介
2、ZooKeeper的使用场景
3、ZooKeeper设计目的
4、ZooKeeper数据模型
5、ZooKeeper几个重要概念
5.1、ZooKeeper Session
5.2、ZooKeeper Watch
5.3、Consistency Guarantees
6、ZooKeeper的工作原理
6.1、Leader Election
6.2、Leader工作流…
MongoDB集群架构分析
集群组件——单机实例(mongod instance)
只有一个单机实例，客户端与其直接连接使用。
集群组件——副本集(Replica sets)
副本集通常由至少3个节点组成。其中一个是主节点，负责处理客户端请求，其余的都是从节点，负责复制主节…
Spring Boot集成Redis集群报错UnsupportedOperationException
项目场景：
Spring Boot集成Redis集群
单节点配置：
spring.redis.database 0
spring.redis.host 127.0.0.1
spring.redis.password testredis
spring.redis.port 8003
# 连接超时时间 单位 ms（毫秒）
spring.redis.timeout …
【Redis高级-集群分片】
单机安装Redis首先需要安装Redis所需要的依赖：yum install -y gcc tclRedis安装包上传到虚拟机的任意目录：我放到了/tmp目录：解压缩：tar -zxvf /tmp/redis-6.2.4.tar.gz -C /tmp解压后：进入redis目录：cd /t…
单个容器价值有限，多容器的难点和价值在哪里
本文讨论了单个容器所无法解决的问题和局限性，并介绍了容器编排的必要性和复杂性及常用工具的比较，提到了诸如Kubernetes、Mesos等容器管理工具。 就像之前已被证实的那样，要在一个机器上创建成千上万个容器还是相对容易的。但如何去部署这么…
MongoDB高级集群架构设计
两地三中心集群架构设计
容灾级别 RPO & RTO
RPO（Recovery Point Objective）：即数据恢复点目标，主要指的是业务系统所能容忍的数据丢失量。RTO（Recovery Time Objective）：即恢复时间目标&…
集群、负载均衡集群、高可用集群简介，LVS模式和haproxy/nginx模式拓扑介绍
一.集群的定义
1.定义
2.分类
（1）负载均衡集群
（2）高可用集群
二.使用集群的意义
1.高性价比和性能比
2.高可用性
3.可伸缩性强
4.持久和透明性高
三.常见的两种集群模式拓扑
1.LVS集群模式 2.haproxy/nginx模式 四.常…
Redis单机-主从集群-哨兵集群-分片集群 搭建教程
Redis集群
本章是基于CentOS7下的Redis集群教程，包括：
单机安装RedisRedis主从Redis分片集群
1.单机安装Redis
首先需要安装Redis所需要的依赖：
yum install -y gcc tclredis-6.2.4.tar.gz
然后将Redis安装包上传到虚拟机的任意目录&am…
storm集群的搭建
最近也是有朋友问我storm的问题,好长时间没玩storm了,今天就来简单的说一下吧,首先我们来看一下官网的图片,storm是完全实时的,就像水龙头打开后一样,会不停的往外面流水.所以他的延迟非常的低,这也是他的特点.然后先搭建storm集群吧,storm集群的搭建也比较简单. 然后来看一下s…
Quartz使用技巧总结
一、Quartz 是一个很好的定时器框架，并且支持集群技术。 它的定时任务的配置信息默认是保存在内存中的，这个可以从它的框架默认配置quartz.properties中看出：org.quartz.jobStore.class org.quartz.simpl.RAMJobStore
你也可以复写quartz.p…
Kubernetes技术--k8s核心技术kubectl命令行工具
(1).概述 kubectl是Kubernetes集群的命令行工具，通过 kubectl 能够对集群本身进行管理，并能够在集群上进行容器化应用的安装部署。
(2).语法 Kubectl [command] [type] [name] [flags] 语法参数说明: command: 指定要对资源执行的操作，例如 create、get、describe 和 delet…
heartbeat——高可用集群介绍
Heartbeat 项目是 Linux-HA 工程的一个组成部分，它实现了一个高可用集群系统。心跳服务和集群通信是高可用集群的两个关键组件，在 Heartbeat 项目里，由 heartbeat 模块实现了这两个功能。 heartbeat 高可用集群是指一组通过硬件和软件连接起来…
Docker官方文档解读：4
第四篇：Swarms 准备工作 安装Docker版本1.13或更高版本。安装Docker compose。安装docker machine阅读第1 2 3部分的内容。确保你已发布并推送到注册仓库的friendlyhello镜像。确保你的镜像可以部署为一个容器。 运行这个命令，在你的信息中插入用户名，repo和标签：docker ru…
Redis高可用解决方案之Redis集群，和Spring Cloud集成实战
专栏集锦，大佬们可以收藏以备不时之需
Spring Cloud实战专栏：https://blog.csdn.net/superdangbo/category_9270827.html
Python 实战专栏：https://blog.csdn.net/superdangbo/category_9271194.html
Logback 详解专栏：https:/…
集群与分布式的爱恨情仇
前言
在web开发中集群与分布式是人们常常提起的两个概念，但是真正对他们有详细理解的人屈指可数，他们的详细概念到底是什么？下面进行探究。
图解
集群： 分布式：
文字解析集群与分布式的区别
1、分布式是指 多个…
分布式与集群的定义及异同
分布式与集群的定义及异同 分布式定义优点不足 集群优点不足 异同 分布式
定义
分布式是指将一个系统或应用程序分散到多个计算机或服务器上进行处理和管理的技术。它是指多个系统协同合作完成一个特定任务的系统。例如，可以将一个大业务拆分成多个子业务…
RabbitMQ 运维 扩展
1、集群管理与配置
1.1、集群搭建 关于Rabbitmq 集群的搭建，详见以下文章。简单说来就是将多个单机rabbitmq服务，通过给到一致的密钥（.erlang.cookie）并且开放rabbitmq服务的 25672 端口，允许多节点间进行互相通讯&am…
[ORACLE] ORA-01555的异常分析 ，都是大事务惹的祸
ORA-01555 是一个很常见的异常，尤其是对于数据量比较大的系统而言，从字面的意思来看，是快照过旧错误，所谓的快照是什么意思呢？ 我们知道oracle实现事务是通过一个特殊的区域名字叫“回滚段”来完成，当一个事…
上海有望制定国内首个IT服务外包标准
日前，中国服务外包标准研讨会在上海召开，本次会议由中国电子工业标准化技术协会主办，并由上海服务外包标准化促进中心，上海市信息服务外包发展中心协力承办。国家工业和信息化部、上海市信息化委员会、上海市卢湾区人民政府作为本…
简单比较两种分布式计算环境的拓扑管理方法（Chubby P2P Overlay）
简单比较两种分布式计算环境的拓扑管理方式（ Chubby & P2P Overlay ）
---- Adam 在分布式计算环境中，网络拓扑的动态管理是一项基本的功能；系统的稳定运行，需要一个高效稳定的拓扑管理层，为上层提…
【DevOps】基于 KubeSphere 的 Kubernetes 生产实践之旅（万字长文）
基于 KubeSphere 的 Kubernetes 生产实践 1.KubeSphere 简介1.1 全栈的 Kubernetes 容器云 PaaS 解决方案1.2 选型理由（从运维的角度考虑） 2.部署架构图3.节点规划3.1 软件版本3.2 规划说明3.2.1 K8s 集群规划3.2.2 存储集群3.2.3 中间件集群3.2.4 网络规…
[jms那点事儿]Activemq集群部署
集群部署，貌似activemq并不理想，分享一个链接吧暂时
http://wenku.baidu.com/view/6989622de2bd960590c67760.html
暂时没时间去太深入研究 之前看到一个同学写的博客讲到activemq他们目前平均吞吐量由4000/秒，4K的消息，这个量…
经济危机下，中国软件外包产业的走向
这次全球金融海啸，使美国华尔街的金融行业陷入空前危机，五大投行陆续倒闭，金融业纷纷开始裁员减薪。高度依赖美国和欧洲金融服务需求的全球离岸外包行业，也受到了严重的打击。 2009年1月14日的份额。另外，2008份减少到…
环境安装篇 之 Kind 搭建 kubernetes 测试集群
云原生学习路线导航页（持续更新中） 本文是 环境安装 系列文章，介绍 使用Kind工具 快速安装 kubernetes 测试集群的详细步骤 1.Kind简介
Kind 是一个使用 Docker 容器“节点”运行本地 Kubernetes 集群的工具。Kind 主要用于测试kubernetes本…
K8S安装部署Nacos集群
1 在k8s中部署的难点
在k8s中部署nacos集群和在裸机器上直接部署nacos机器其实差别不大。 最主要的区别是k8s中部署的服务没有固定的ip地址，而nacos集群部署需要配置所有实例的ip
2 解决
在k8s中通过StatefulSet和Headless Service为每个nacos实例生成一个唯一的…
Ubuntu 配置 kubernetes 学习环境，让外部访问 dashboard
Ubuntu 配置 kubernetes 学习环境
一、安装
1. minikube
首先下载一下 minikube，这是一个单机版的 k8s，只需要有容器环境就可以轻松启动和学习 k8s。
首先你需要有Docker、QEMU、Hyperkit等其中之一的容器环境，以下使用 docker 进行。
对…
云储存公司Terascala获1400万美元融资
位于波士顿的云储存公司Terascala近日宣布已为其并行储存设备融资1400万美元。Terascala成立于2005年，主要产品为Terascala 整合存储信息系统（TISIS）。
TISIS能利用Lustre文件系统更加有效地处理商务以及储存大量数据。Lustre是一种用于计算…
docker compose部署opensearch集群
docker compose 配置
假设有两台电脑 A电脑的ip为192.168.1.100 B电脑的ip为192.168.1.103 A电脑的docker compose 配置
version: 3services:opensearch:image: opensearchproject/opensearch:2.1.0container_name: opensearch-node-1environment:- cluster.nameopensearch-c…
关于在你的虚拟机上搭建hadoop集群的详细教程
安装jdk
首先，需要安装jdk环境，因为hadoop是由Java编写。
rpm -ivh jdk-8u91-linux-x64.rpm默认安装到这个位置：/usr/java/jdk1.8.0_91
安装hadoop
将你的hadoop进行解压
tar –xvf hadoop-2.7.3.tar.gz接着，要告诉hadoop ja…
对Clulster的一些观点
來源:中國Linux論壇 作者:lolley
Cluster技术发展多年了，但其实并没有一个非常准确的定义和分类，不同的人有不同的理解。其实，叫什么无所谓，只要能够对用户有益就可以了. :-)就个人理解而言，cluster有以下几种…
elk日志收集分析必修课3：ELK教程1 ElasticSearch集群的部署ELK
在分布式系统中，应用数量众多，应用调用链复杂，常常使用ELK作为日志收集、分析和展示的组件。本篇文章将讲讲解如何部署ELK，然后讲解如何 使用Filebeat采集Spring Boot的日志输出到Logstash上，logstash再将日志输出到Elasticsearch上，最后展示到kibana上面。整个日志采集流…
批量配置计算机集群SSH免登录
本文所有代码可在https://github.com/alphg/zookeeper-hadoop-hbase-setup-tools查看 今天准备在自已电脑上使用5台虚拟机搭建一个zookeeperhadoophbase的一个完全分布模式的实验环境。每台机器都安装ubuntu server 12.04版本的linux系统，并正确安装ssh。 给5台机…
Kubernetes技术--k8s核心技术 Secret
1.概述 Secret 解决了密码、token、密钥等敏感数据的配置问题，而不需要把这些敏感数据暴露到镜像或者 Pod Spec中。Secret可以以 Volume 或者环境变量的方式使用。
作用 加密数据存储在/etc中，使得pod容器以挂载volume方式进行访问。在进行的数据存储中是以base64加密的方式…
服务器集群负载均衡技术
负载均衡 （Load Balancing） 负载均衡建立在现有网络结构之上，它提供了一种廉价有效透明的方法扩展网络设备和服务器的带宽、增加吞吐量、加强网络数据处理能力、提高网络的灵活性和可用性。CDN负载均衡（Load Balance）[…
MGR网络抖动问题分析和group_replication_unreachable_majority_timeout等参数分析
导言
本文主要从测试的角度来阐明group_replication_unreachable_majority_timeout和group_replication_member_expel_timeout参数对集群网络分区的影响，首先这里放一张大图，为多年前学习MGR的时候留下的，也就是这两个参数对集群的影响&…
【系统架构】什么是集群？为什么要使用集群架构？
什么是集群？为什么要使用集群架构？ 1.什么是集群？2.为什么要使用集群？2.1 高性能2.2 价格有效性2.3 可伸缩性2.4 高可用性2.5 透明性2.6 可管理性2.7 可编程性 3.集群的常见分类3.1 负载均衡集群3.2 高可用性集群3.3 高性能计算集…
IBM Spectrum LSF 常见问题
IBM Spectrum LSF 常见问题
1、随此产品一起部署的集群中包含哪些 Spectrum LSF 软件包?
包含以下 Spectrum LSF 程序:
IBM Spectrum LSF Standard Edition IBM Spectrum LSF 许可证调度程序 IBM Spectrum LSF 数据管理器
2、哪些位置可用于部署 VPC 资源?
可以在 资源部…
Hadoop并非完美：8个代替 HDFS 的绝佳方案
HDFS（Hadoop Distributed File System）是Hadoop项目的核心子项目，是分布式计算中数据存储管理的基础，坦白说HDFS是一个不错的分布式文件系统，它有很多的优点，但也存在有一些缺点，包括࿱…
Mysql数据库安装以及集群搭建
文档参考地址：https://www.cnblogs.com/ming-blogs/p/10962554.html
CentOS7安装MySql教程
1.先检查系统是否装有mysql
rpm -qa | grep mysql
2.下载mysql的repo源
wget http://repo.mysql.com/mysql-community-release-el7-5.noarch.rpm 如果报错: -bash: wge…
docker学习（十一、Redis集群存储数据方式）
文章目录 一、集群数据存储1.单机连接集群问题2.集群方式连接redis存储数据 二、 查看集群信息 docker搭建Redis集群相关知识： docker学习（九、分布式存储亿级数据知识） docker学习（十、搭建redis集群，三主三从&#x…
hadoop集群慢盘故障
问题描述:集群节点pbigdata1出现慢盘故障（系统每一秒执行一次iostat命令，监控磁盘I/O的系统指标，如果在60s内，svctm大于100ms的周期数大于30次则认为磁盘有问题，产生该告警。）平台为华为大数据平台 本…
Hadoop+HBase+ZooKeeper分布式集群环境搭建
一、环境说明
集群环境至少需要3个节点（也就是3台服务器设备）：1个Master，2个Slave，节点之间局域网连接，可以相互ping通，下面举例说明，配置节点IP分配如下：
HostnameIPU…
Java集群实战：单体架构升级到集群架构（六）分布式缓存REDIS
系列文章目录
Java集群实战：单体架构升级到集群架构（一）使用NGINX建立集群
Java集群实战：单体架构升级到集群架构（二）实现session共享
Java集群实战：单体架构升级到集群架构（三&a…
在Ubuntu 14.04安装和配置Elasticsearch集群（最新5.5.2版）
安装Elasticsearch
准备两台Ubuntu 14.04服务器，在本例中分别为10.82.156.109和10.80.109.59。分别安装Elasticsearch服务
安装Oracle Java 8
sudo add-apt-repository ppa:webupd8team/java
sudo apt-get update && sudo apt-get install oracle-java8-…
ElasticSearch windows 单机多节点
虽然大部分的时候都会选择把ES环境搭建在linux机器上，但是个人认为，如果想自己开发测试比较方便，最好还是在自己本机搭建一个咯。
去官网你需要的ElasticSearch安装包，拷贝到你window的目录下解压，可以下载自己需要的…
Linux中使用Docker安装ElasticSearch7.10.x集群
使用Docker安装ElasticSearch7.10.x单节点请访问这里
一、集群环境说明
服务器IP地址192.168.137.1，192.168.137.2，192.168.137.3
二、前期准备
1. 拉取镜像
docker pull elasticsearch:7.10.12. 首先需要创建一个用于生成秘钥的初始容器࿰…
安装Logstash并导入Movielens测试数据集(基于elasticsearch-8.5.2版本)
安装Logstash并导入Movielens测试数据集
0 安装前准备工作
0.1 安装包下载
组件安装包下载地址Logstashlogstash-8.5.2-linux-x86_64.tar.gzelastic官网：https://www.elastic.co/cn/downloads/past-releases#logstash elastic中文社区：https://elasti…
Redis高可用：主从复制详解
目录
1.什么是主从复制？
2.优势
3.主从复制的原理
4.全量复制和增量复制 4.1 全量复制 4.2 增量复制
5.相关问题总结 5.1 当主服务器不进行持久化时复制的安全性 5.2 为什么主从全量复制使用RDB而不使用AOF？ 5.3 为什么还有无磁盘复制模式ÿ…
ES系列索引、文档、集群、技术原理文章目录
基础
ES的一些名词和概念总结 ES 可扩展、高可靠、使用场景等常见问题
索引/文档操作
索引
ES-index索引配置
文档
ES-DynamicMapping、文档字段类型 ES-索引、文档插入、更新、删除、脚本API和Query参数 ES-aggregation聚合分析 ES-API约定
集群
ES集群安装和启动图解…
Elasticsearch集群配置
首先看下elasticsearch.yml这个文件中可配置的东西：
cluster.name:elasticsearch
配置es的集群名称，默认是elasticsearch，es会自动发现在同一网段下的es，如果在同一网段下有多个集群，就可以用这个属性来区分不同的集群…
Hibernate一级缓存和二级缓存的区别与联系
缓存是介于应用程序和物理数据源之间，其作用是为了降低应用程序对物理数据源访问的频次，从而提高了应用的运行性能。缓存内的数据是对物理数据源中的数据的复制，应用程序在运行时从缓存读写数据，在特定的时刻或事件会同步缓存和物…
【Redis】深入浅出Redis（二）——集群搭建
一、前言 既然用到了分布式系统，随着系统的变大，就不得不考虑搭建redis集群，集群也算是比较好搭建的，redis内部采用了投票机制，下面小编就从原理和搭建方面想大家介绍一下Redis集群。
二、与单机版相比，优…
如何将 ONLYOFFICE 协作空间部署到 Kubernetes / OpenShift 集群中
需要 ONLYOFFICE 协作空间的可扩展实例吗？使用 Helm 轻松将其安装到 Kubernetes 或 OpenShift 集群中。阅读本文了解详情。 ONLYOFFICE 协作空间是什么
ONLYOFFICE 协作空间是一个协同办公平台，能够帮助用户更好地与客户、业务合作伙伴、承包商及第三方…
彷徨 | HDFS初始化创建一个新的集群(将原集群格式化)
学习过程中 , 有时候我们的集群存储空间会满 , 这时候我们可以一个一个删除文件 , 也可以直接格式化集群 , 这样比较方便 , 下面详细介绍个格式化集群的步骤方法:
第一步:先将集群关闭 第二步:删除datanode
因为namenode中存放着文件与数据块列表的对应信息 , 所以datanode一…
hue实现对hiveserver2 的负载均衡
如果你使用的是CDH集群那就很是方便的 在Cloudera Manager中，进入HDFS Service 进入Instances标签页面，点击Add Role Instances按钮，如下图所示 点击Continue按钮，如下图所示 返回Instances页面，选择HttpFS角色…
Windows的一个Bug
新近的工作涉及到混合集群系统——Windows2008（SP2，DB在其上），Vista（1，SP1），XP（2，SP2），通过WMI间隔20s监视每台机子，会发现…
Redis(十二)：切片集群
前言
上一篇介绍了 Redis 的哨兵机制。这节开始介绍 Redis 的切片集群。
当单个 Redis 实例存储的数据越来越多时，其所需的内存空间大小、磁盘空间大小、CPU 处理能力也会越来越高。此时有两种扩展方案：
纵向扩展：升级单个 Redis 实例的资…
集群、负载均衡集群、高可用集群简介，LVS工作结构、工作模式、调度算法和haproxy/nginx模式拓扑介绍
一.集群的定义
1.定义
2.分类
（1）负载均衡集群（LBC/LB）
（2）高可用集群（HAC）
二.使用集群的意义
1.高性价比和性能比
2.高可用性
3.可伸缩性强
4.持久和透明性高
三.常见的…
redis问题：三种集群——主从、哨兵、cluster集群；16384槽等
目录 redis三种集群模式
1、主从
2、哨兵（Sentinel）
3、集群（Cluster）
Redis Cluster为什么有16384个槽？
1、8KB的心跳包太大
2、集群的数量不会超过1000。
主从配置和集群配置区别
1、主从
2、集群 redis三种…
Kubernetes单主集群的部署（一）
目录 一、k8s单主架构集群的部署
1.操作系统初始化配置
2.部署 etcd 集群
3.部署docker引擎
4.部署 Master 组件
5.部署 Worker Node 组件
6.部署 CNI 网络组件（使用 flannel） 一、k8s单主架构集群的部署 k8s集群master01：192.168.1…
Redis6搭建高可用的多主多从集群
Redis6搭建高可用的多主多从集群 环境准备搭建redis6集群安装redis6修改配置文件修改cluster-enabled修改cluster-config-file修改cluster-node-timeout 启动集群 环境准备
首先我们需要6台redis，那么为啥是6太呢？是因为我们要部署多master和多slaver集…
华为云云耀云服务器L实例评测｜基于Nginx实现后端集群负载均衡
目录 前言 一、云服务器 1.什么是云服务器？ 2.云服务器优点？ 3.华为云云耀云服务器L实例 二、云耀云服务器L实例初体验 1.购买方式 2.重置密码 3.开放端口 三、宝塔面板安装Nginx 1.宝塔初始化 2.安装Nginx 3.Nginx目录结构 四、后端服务集群部署 1.配置…
以太网链路聚合与交换机堆叠，集群
目录
以太网链路聚合
一.链路聚合的基本概念
二.链路聚合的配置
1.手工模式
2.LACP模式
系统优先级
接口优先级
最大活动接口数
活动链路选举
负载分担
负载分担模式
三.典型使用场景
交换机之间
交换机和服务器之间
交换机和堆叠系统
防火墙双机热备心跳线
四…
Redis集群和Lettuce 配置
Redis官方推荐的java客户端三大客户端Jedis、lettuce、Redissonlettuce、jedis、Redisson 三者比较：jedis提供全面的指令支持，在多线程环境下是非线程安全的，性能比较差；lettuce的连接是基于Netty的，连接实例可以在多个…
Red Hat Cluster Suite 概览
Red Hat Cluster Suite是Red Hat的集群解决方案，主要实现的构架是负载平衡HA系统GFS集群文件系统/集群LVM，同时也可以结合SAN（采用 iSCSI 或 GNBD）来构建一个大型集群系统。这是一个开源集群的多种技术的组合解决方案，…
![[转]Apache Mahout 简介](http://www.ibm.com/i/c.gif)
[转]Apache Mahout 简介
转自 IBM社区的一篇文章 http://www.ibm.com/developerworks/cn/java/j-mahout/ 当研究院和企业能获取足够的专项研究预算之后，能从数据和用户输入中学习的智能应用程序将变得更加常见。人们对机器学习技巧（比如说集群、协作筛选和分类）的需求…
部署OpenStack多节点企业私有云平台
一、基础环境配置 1、常规初始化操作 三个节点都需要执行 主机名 内存 硬盘 controller 8G 20G compute01 8G 20G block01 8G 20G 10G
hostnamectl set-hostname controller && bash hostnamectl set-hostname compute01 && bash hostnamectl set-hostname bl…
Spark部署与job运行
部署图 从部署图中可以看到整个集群分为 Master 节点和 Worker 节点，相当于 Hadoop 的 Master 和 Slave 节点。Master 节点上常驻 Master 守护进程，负责管理全部的 Worker 节点。Worker 节点上常驻 Worker 守护进程，负责与 Master 节点通信并…
Haproxy2.8.1+Lua5.1.4部署，haproxy.cfg配置文件详解和演示
目录
一.快速安装lua和haproxy
二.配置haproxy的配置文件
三.配置haproxy的全局日志
四.测试负载均衡、监控和日志效果
五.server常用可选项
1.check
2.weight
3.backup
4.disabled
5.redirect prefix和redir
6.maxconn
六.调度算法
1.静态
2.动态 一.快速安装lu…
【2023】Prometheus-Alertmanager高可用集群
本次实验准备了三个节点，分别为laert-01~03 目录1.安装Alertmanager2.配置启动文件3.验证集群4.关于集群的配置项1.安装Alertmanager
这部分内容在三个节点上都要执行
下载安装包，将安装包解压至/data目录下
wget https://github.com/prometheus/aler…
分布式-微服务-集群的区别
1.分布式 将一个大的系统划分为多个业务模块，业务模块分别部署到不同的机器上，各个业务模块之间通过接口进行数据交互。区别分布式的方式是根据不同机器不同业务。 上面：service A、B、C、D 分别是业务组件，通过API Geteway进行业…
ETCD高可用集群-快速搭建
准备 准备三台可以互相的访问的Linux机器，这里全部以Centos 7为例：
node1-192.168.22.117 node2-192.168.22.118 node3-192.168.22.119 关闭这三台机器的防火墙：
systemctl disable firewalld.service
systemctl stop firewalld.service …
分布式服务器集群架构方案思考
研究了一套完整的分布式服务器集群架构方案。 0x01.大型网站演化 简单说，分布式是以缩短单个任务的执行时间来提升效率的，而集群则是通过提高单位时间内执行的任务数来提升效率。 集群主要分为：高可用集群(High Availability Cluster)&#x…
RabbitMQ Clustering Guide
http://previous.rabbitmq.com/v3_6_x/clustering.html
RabbitMQ Broker是一个或多个Erlang节点的逻辑分组，每个节点运行RabbitMQ应用程序，并共享users, virtual hosts, queues, exchanges, bindings, and runtime parameters.有时我们将节点集合称为集…
[转]LVS高可用方案汇总
High Availability转自 http://bbs.linuxtone.org (IT运维专家网|集群架构|性能调优)一.Piranha 方案1. Piranha - Load-balanced generic service clustering enviroment[官方]2. Clustering of CentOS 5.23. 利用红帽Piranha方案实现WEB负载均衡 [本站出品,推荐]二.Keepa…
【MQ】Centos7搭建双主双从RocketMQ集群
一、前言 在前一篇博客中，小编向大家介绍了如何在Centos7中安装RocketMQ。通过这种方法我们可以搭建出来一台母机，通过这台母机来进行克隆搭建出我们的集群。
二、搭建环境
Centos7Jdk1.8Rocketmq 3.2.6需要根据《Centos7安装RocketMQ》搭建一台母机
…
CentOS下redis集群配置
redis集群操作 （一） （二） 如果没有2.2以上版本的ruby请安以下方式操作： 安装软件集software collection： yum install centos-release-scl-rh 安装之后安装新版本的软件ruby 例：…
ubuntu14.04下安装zookeeper3.4.9
本文介绍的是伪集群安装，即在一台机器上模拟３个zookeeper server的集群安装。
１、下载解压
将下载下来的zookeeper解压重命名，如zk1，zk2，zk3，并且我是放在/opt/zookeeper/路径下的。 …
MongoDB中shard key的选择
将存储在MongoDB数据库中的Collection进行分片需要选定分片Key（Shard key),对于分片Key的选定直接决定了集群中数据分布是否均衡、集群性能是否合理。那么我们究竟该选择什么样的字段来作为分片Key呢？有如下几个需要考虑点。
以下述记录日志的Document为…
nodeJS - 8 - process进程 child_process子进程 Cluster 集群
Process 进程 、child_process 子进程 、Cluster 集群 虽然 Node.js 把许多东西从操作系统中抽象出来，但你依然在操作系统中运行，而且可能想要更直接的与他交互，Node 中可以使用系统中已经存在的进程，或者创建新的子进程来做各种工…
【云原生】k8s集群命令行工具kubectl之集群管理命令
kubectl集群管理命令详解一、准备工作1.1、Replication Controller1.2、Deployment1.3、DaemonSet1.4、查看创建的svc和pod1.5、kubectl 命令自动补全设置二、集群管理命令2.1、top2.2、cordon2.3、uncordon2.4、drain2.5、taint2.5.1、污点设置。2.5.2、容忍度使用一、准备工作…
使用kafka还在依赖Zookeeper，kraft模式了解下
Kafka的Kraft模式
概述
Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据。其核心组件包含Producer、Broker、Consumer，以及依赖的Zookeeper集群。其中Zookeeper集群是Kafka用来负责集群元数据的管理、控制器…
关于12360网站的架构优化
首先 本人在8号去订19号的票. 听说网站从6点开始登录,放票时间8点,10点. 然后5点起来在一家网吧守候着.当6点01分的时候,就登录.结果登不进去.
每隔1分钟登陆一下直到10点就彻底放弃了.后来听说有10亿的PV量,嗨嗨
然后在公司登啊登, 同事用登录软件登了进去,下不了单被踢出来了…
Java集群实战：单体架构升级到集群架构（三）上传文件的共享
Java集群实战：单体架构升级到集群架构（一）使用NGINX建立集群
Java集群实战：单体架构升级到集群架构（二）实现session共享
Java集群实战：单体架构升级到集群架构（四）使用…
专访微垣，独家揭秘阿里云容器服务
从诞生到现在，Docker就被吸引了全世界的关注，甚至被认为是能够改变世界的那只“箱子”，关于Docker技术的任何新闻都能引起业界的强烈关注。毋庸置疑，这一领域吸引了众多的创业者，许多年轻的创业者开始在这个领域开拓自…
kettle开发-Day42-远程执行作业
目录
前言： 一、远程执行 1、先看定义 2、前置条件 2.1网络畅通 2.2数据库DB连接一致 二、实战案例-Windows 1、初始配置-被远程端 1.1启动carte服务 1.2cmd 命令启动carte服务 2、初始化-远程端 3、实际应用 3.1、错误案例 3.2、正确案例 三、总结
前言&…
Rocks安装+添加用户+VASP 任务提交
http://blog.sciencenet.cn/blog-588243-482121.html 常见问题和命令 永久关闭防火墙： rocks run host n "chkconfig iptables off"
增加环境变量： 全局变量 加入到 /etc/profile 当前用户变量加入到 ~/.bashrc
3. 设置系统时间
设置系统时…
zookeeper集群安装-debian
zookeeper的安装下载安装方式可以参考： http://zookeeper.apache.org/doc/trunk/zookeeperStarted.html 下载解压后，参考文档的方式进行配置和启动。我下面要说下载在linux debian系的apt-get install方式安装和配置方式。
安装 apt-get install zook…
Swarm和Mesos集成-实战部署
由于Swarm和Mesos的集成刚处于起步阶段，现在网上没有一篇文章来详细的介绍基于Mesos来部署Swarm集群以及介绍相关的配置参数。Swarm社区的官方文档，也只给出了简单的说明，对于不了解Mesos的开发者来说，按照那个说明来部署也绝非易…
redis系列之——高可用（主从、哨兵）
redis系列之——高可用（主从、哨兵、集群）
所谓的高可用，也叫HA（High Availability），是分布式系统架构设计中必须考虑的因素之一，它通常是指，通过设计减少系统不能提供服务的时间。…
Linux下Nutch分布式配置和使用
目 录
介绍. 2
0 集群网络环境介绍. 2
1 /etc/hosts文件配置. 2
2 SSH无密码验证配置. 2
2.1配置所有节点之间SSH无密码验证. 2
3 JDK安装和Java环境变量配置. 3
3.1 安装 JDK 1.6 3
3.2 Java环境变量配置. 4
4 Hadoop集群配置. 4
5 Hadoop集群启动. 6
6 Nutch分布…
mongodb的一些tips
本文是在使用mongodb的过程中积累的一些tips，经验来源与linux 64bit的mongodb，如无特殊说明，则表明这些经验都是在这个环境下的，不保证在其他操作系统或者32bit的mongodb也适用。
另外，可能不同版本也会有不同的情况&…
hadoop distcp命令的使用
hadoop distcp -update -skipcrccheck -m $num_map $old_table_location $new_table_location命令的使用。 简单介绍：http://blog.csdn.net/stark_summer/article/details/45869945 如何在两个集群之间进行表数据的拷贝呢？
复制表结构；获取…
《Hadoop基础教程》之初识Hadoop
Hadoop一直是我想学习的技术，正巧最近项目组要做电子商城，我就开始研究Hadoop，虽然最后鉴定Hadoop不适用我们的项目，但是我会继续研究下去，技多不压身。 《Hadoop基础教程》是我读的第一本Hadoop书籍，当然在…
Hadoop集群安装配置教程(Hadoop2.7.6_Ubuntu 32位)
1.环境
本文使用两个节点作为集群，hadoop1主机作为主节点，hadoop2主机作为从节点。hadoop1通过Hadoop安装教程_伪分布式配置(Hadoop2.7.6/Ubuntu14.04 32位)，hadoop2为hadoop1虚拟机的复制。在一台电脑上运行两个虚拟机搭建集群。
2.配置IP…
HDFS的缺点及改进策略
HDFS是一个不错的分布式文件系统，它有很多的优点，但也存在有一些缺点。目前而言，它在以下几个方面就效率不佳：低延时访问HDFS不太适合于那些要求低延时（数十毫秒）访问的应用程序，因为HDFS是设计…
Hadoop集群所有或者部分的DataNode启动不了的解决方案
原因可能是多次Hadoop namenode -format导致clusterID不一致，具体可以在失败的.log文件中看到两个clusterID不一致，在这就先说具体解决方法
（1）先去hadoop路径下的配置文件hdfs-site.xml可知dfs.namenode.name.dir的地址和dfs.dat…
安装Hadoop及Spark(Ubuntu 16.04)
转自：http://www.cnblogs.com/bovenson/p/5760856.html 安装Hadoop及Spark(Ubuntu 16.04) 安装JDK 下载jdk(以jdk-8u91-linux-x64.tar.gz为例) 新建文件夹 sudo mkdir /usr/lib/jvm 解压下载的jdk文件并移动到新建的文件夹下 sudo tar -xzvf jdk-8u91-linux-x…
大数据学习初级入门教程（十六） —— Hadoop 3.x 完全分布式集群的安装、启动和测试
好久没用 Hadoop 集群了，参考以前写的《大数据学习初级入门教程（一） —— Hadoop 2.x 完全分布式集群的安装、启动和测试_孟郎郎的博客-CSDN博客》和《大数据学习初级入门教程（十二） —— Hadoop 2.x 集群和 Zookeeper…
redis集群（2） 添加删除节点
文章目录一 ：redis集群介绍二：redis集群的优势三：redis集群的数据分片3.1 以3个节点组成的集群为例3.2 支持添加或者删除节点四：redis集群中的主从复制模型五：实操操作思路5.1 修改主机名，设置网卡5.2 安装…
使用nginx-lua配置统一url自动跳转到hadoop-ha集群的active节点
下载安装nginx所用的依赖
yum -y install gcc zlib zlib-devel pcre-devel openssl openssl-devel下载nginx
wget http://nginx.org/download/nginx-1.12.2.tar.gz
tar -xvf nginx-1.12.2.tar.gz稍后安装nginx
安装lua语言
yum install readline-develcurl -R -O http://w…
Kafka学习笔记——centos7下kafka安装配置与验证
简介
我们先看看官方给出的kafka分布式架构图 多个 broker 协同合作，producer 和 consumer 部署在各个业务逡辑中被频繁的调用，三者通过 zookeeper管理协调请求和转収。返样一个高怅能的分布式消息収布不订阅系统就完成了。 我们以一个broker为例介…
集群Kafka配置SASL用户名密码认证
转载请注明出处：http://blog.csdn.net/u012842205/article/details/73188684本文中配置的kafka集群为三节点，Zookeeper有4节点。两个集群相互独立。Apache Kafka v2.11-0.10.0.0Apache Zookeeper v3.4.8Kafka配置SASL PLAIN用于完成基本的用户名密码身份…
三种Resis 集群方案
为什么要redis集群？
Redis 集群是 Redis 分布式架构的一种实现方式，它可以将多个 Redis 节点组成一个集群，提供高可用、高吞吐量和负载均衡等特性
一. 主从复制模式
就是一主多从，redis会把机器节点分为主节点和从节点…
技术文章 | 鸡蛋究竟宜不宜生吃——看阿里云计算怎么破？
本文来源于阿里云-云栖社区，原文点击这里。 9月12日虚拟化平台新产品的媒体沟通会上，不少记者对鸡蛋演示的demo很感兴趣也有一些疑惑。看看来自小白不菜的精彩分享吧。 鸡蛋究竟宜不宜生吃——看阿里云计算怎么破？ 姐告诉你，算&am…
ActiveMQ的高可用性实现
一，ActiveMQ高可用性的架构
ActiveMQ的高可用性架构是基于Master/Slave 模型的。ActiveMQ总共提供了四种配置方案来配置HA，其中Shared Nothing Master/Slave 在5.8版本之后不再使用了，并在ActiveMQ5.9版本中引入了基于Zookeeper的Replicated…
HPC 集群计算类型的注意事项
HPC 集群计算类型的注意事项
HPC 工作负载在 CPU ，内存，网络和存储资源需求方面有不同的要求。
您可以从以下内容开始:
核心计数每个核心的内存网络带宽和等待时间处理器时钟速度
目标是选取返回最佳性价比的计算配置。 HPC 工作负载可以与单个核心作…
从零开始 Spring Cloud 14：高可用 Redis
从零开始 Spring Cloud 14：高可用 Redis
1.持久化
为了演示，先在虚拟机上安装 Redis，具体可以参考这篇文章。
1.1.RDB
RDB全称Redis Database Backup file（Redis数据备份文件），也被叫做Redis数据快照。…
OpenMP和MPI是并行编程
OpenMP和MPI是并行编程的两个手段，对比如下：
1. OpenMP:线程级（并行粒度）；共享存储；隐式（数据分配方式）；可扩展性差；
2. MPI：进程级&…
RAC维护管理命令(全)
Oracle 的管理可以通过OEM或者命令行进行。 Oracle Clusterware的命令集可以分为以下4种：
节点层：olsnodes 网络层：oifcfg 集群层：crsctl,ocrcheck,ocrdump,ocrconfig 应用层：srvctl,onsctl,crs_stat 下面分别来介绍这…
Oracle RAC 日志存放路径
在Oracle RAC环境中，对集群中的日志的定期检查是必不可少的。通过查看集群日志，可以早期定位集群环境中出现的问题，以便将问题消灭在萌芽状态。简单介绍一下有关Oracle集群环境中日志的结构，方便快速查找所需的日志文件。rac日志主…
k8s核心概念与kubectl命令行工具的使用
k8s官方文档Kubernetes 文档 | Kubernetes作用：kubernetes用于容器化应用程序的部署，扩展和管理。目标：是让部署容器化应用简单高效。Kubernetes集群架构与组件 Master组件 kube-apiserverkubernetes API，集群的统一入口ÿ…
Java集群实战：单体架构升级到集群架构（一）使用NGINX建立集群
Java集群实战：单体架构升级到集群架构（二）实现session共享
Java集群实战：单体架构升级到集群架构（三）上传文件的共享
Java集群实战：单体架构升级到集群架构（四）使用RED…
红帽集群套件RHCS四部曲（维护篇）
一、启动RHCS集群RHCS集群的核心进程有cman和rgmanager，要启动集群，依次在集群的每个节点执行如下命令即可：service cman startservice rgmanager start 需要注意的是，执行这两个命令是有先后顺序的，需要首先启动cman&…
PublikDemand：汇集群众力量 与大公司抗争到底
大家肯定都有过这样的经历，对某家大公司服务相当不满意，打过去呢，工作人员却告诉你，因为公司规定云云，拒绝解决问题，任你打多少次电话都是相同的回答，你在电话这端气得快爆炸，人家在…
【Flink实战系列】Flink 集群的搭建 Standalone 模式教程
今天我们来说一下flink,大家可能对flink还不是特别的熟悉,其实它是一个很早的项目,只是在2016年的时候才被大家所注意到,现在已经被很多公司所使用,作为一个后起之秀,或者说流计算的新贵,为什么它能得到大家的认可呢,Flink把批处理当作流处理中的一种特殊情况.在Flink中,所有的…
Apache+Tomcat集群部署下的session共享解决
多台服务器集群部署下，传统的登录后写入session标志位的方式将不能满足请求定位到其他服务器后无法获取当前用户是否登录的准确判断，因为当前的服务器没有保存用户的session登录信息。解决这个问题可以采用两种方法：1、session共享࿰…
[Memcache] 初探Memcache
Memcache (http://memcached.org/) memcache 是一种分布式缓存服务器，和通常使用的非分布式的ecache不同，memcache需要独立的服务器支撑，客户端通过配置IP地址和端口号（默认11211）与之连接并使用API进行数据的缓存操作…
HDFS Namenode是如何工作的？
来自：http://www.csdn.net/article/2012-07-03/2807066 HDFS（Hadoop Distributed Filesystem）客户端通过被称之为Namenode单服务器节点执行文件系统原数据操作，同时DataNode会与其他DataNode进行通信并复制数据块以实现冗余&#…
RTP实时传送协议（Real-time Transport Protocol或简写RTP）
RTP ●实时传送协议（Real-time Transport Protocol或简写RTP）是一个网络传输协议，它是由IETF的多媒体传输工作小组1996年在RFC 1889中公布的。 RTP协议详细说明了在互联网上传递音频和视频的标准数据包格式。它一开始被设计为一个多播协 …
paramon集群监控前台安装问题及使用方法
ubuntu 前台安装paramon集群监控软件遇到的问题及其解决方案
软件包下载地址http://www.paratera.com/paramon/&FrontColumns_navigation01-1399971723306FirstColumnId3.html
下载解压后终端输入：sudo dpkg -i paramon.XXX.deb 安装问题
1. dpkg安装par…
小集群上SGE作业系统初探
学校分配了一个小集群帐来优化应用，需要通过SGE作业管理系统提交作业到计算节点。第一次接触SGE，从网上选摘一些基本用法，并将自己使用过程中的所遇到的问题罗列出来并给出相应的解决方案。
一、基本用法
SGE工作流程：
接受用…
Hadoop 2.7分布式部署
转载请注明出处： http://blog.csdn.net/u012842205/article/details/52503514 Hadoop是一个开源的计算框架，致力于在廉价计算机集群上大规模数据集的分布式存储和计算。简介可通过此文章了解：Hadoop概述
当然，最好的学习方式&am…
浅析SSL/TLS协议基本运行机制
前言 在手动搭建kubernetes集群的时候，涉及到了TLS认证的配置，其步骤较为繁琐，如果不清楚TLS背后的流程和原理的话，会遇到各种各样千奇百怪的问题。 本文会简要介绍SSL/TLS协议的运行机制，帮助我们理解kubernetes集群的…
Web基础配置篇（十四）: Kafka单机、集群的安装配置及使用
Web基础配置篇（十四）: Kafka单机、集群的安装配置及使用
一、概述
Apache Kafka是一个分布式发布 - 订阅消息系统和一个强大的队列，可以处理大量的数据，并使您能够将消息从一个端点传递到另一个端点。 Kafka适合离线和在线消息消…
站在“十年”的新起点
6月22日，以“软件：引领数字融合”为主题的第六届中国国际软件和信息服务交易会圆满落幕，盛筵散尽，留下的是中国软件和信息服务业继续发展的铿锵脚步，是关于如何发展软件产业的更深沉的思考。
务实：大连软…
印度软件与信息服务业发展经验及启示
印度软件和信息服务业，在国际分工中处于领先地位，特点是靠发展中国家的条件，达到了发达国家的先进水平，构成了国家竞争优势。
印度软件和信息服务业的成功启示人们：跨越式发展对发展中国家不仅是必要的，也…
WIPO称华为07年专利申请位列全球第四
日前，世界知识产权组织(WIPO)发布了题为“前所未有的PCT国际申请量”的报告数据显示，我国2007年PCT(专利合作条约)申请达到5456件，同比增长38.1%，增速居世界各主要国家之首，排名从2006年的第八升至第七，占全…
kafka笔记要点和集群安装、消息分组、消费者分组以及与storm的整合机制
kafka笔记
1/kafka是一个分布式的消息缓存系统 2/kafka集群中的服务器都叫做broker 3/kafka有两类客户端，一类叫producer（消息生产者），一类叫做consumer（消息消费者），客户端和broker服务器之间…
使用消息队列遇到的问题—kafka
目录 1 分区2 消费者3 Kafka 如何保证消息的消费顺序？3.1 方案一3.2 方案二 在项目中使用kafka作为消息队列，核心工作是创建生产者—包装数据；创建消费者----包装数据。 欠缺一些思考，特此梳理项目中使用kafka遇到的一些问题和解决…
内网离线搭建之----kafka集群
1.系统版本
虚拟机192.168.9.184
虚拟机192.168.9.185
虚拟机192.168.9.186系统 centos7 7.6.1810
2.依赖下载
ps：置顶资源里已经下载好了，直接用！！！！！！！！…
【Kafka】Zookeeper和Kafka集群的安装和配置
一、集群环境说明1. 虚拟机：192.168.223.101/103/1052. 系统版本：CentOS 7.93. JDK版本：11.0.18.0.14. Zookeeper版本：3.7.15. Kafka版本：2.13-2.8.2备注：无论是ZK，还是Kafka的安装，…
IPVS调度器的八种负载调度算法学习总结
一，轮叫（Round Robin）调度器通过"轮叫"调度算法将外部请求按顺序轮流分配到集群中的真实服务器上（i (i1) mod n， i 表示上次选中的RS，n 表示总共有多少台RS），它均等地对待…
我国GPS车辆系统应用前景分析
我国GPS车辆系统应用前景分析 2002-9-17 中国第三方物流网 跟踪与导航 GPS是现代高新技术实现军民两用的一个成功范例，并己逐步演变为一种世界性的高新技术产业。从对GPS全球市场的统计数字和预测来看，当前GPS应用市场中最红火的是车辆导航、消费产品…
亿级Web系统搭建：单机到分布式集群
当一个Web系统从日访问量10万逐步增长到1000万，甚至超过1亿的过程中，Web系统承受的压力会越来越大，在这个过程中，我们会遇到很多的问题。为了解决这些性能压力带来问题，我们需要在Web系统架构层面搭建多个层次的缓存机…
Redis集群简单搭建使用
环境：一台Linux虚机 Redis版本：redis-4.0.1
1、下载并解压
cd /opt/redis
wget http:http://download.redis.io/releases/redis-4.0.1.tar.gz
tar -zxvf redis-4.0.1.tar.gz
2、编译安装
一定要进入解压目录下使用命令make，不然会报错&a…
大型网站架构设计及技术分析（一）
一个小型的网站，比如个人网站，可以使用最简单的html静态页面就实现了，配合一些图片达到美化效果，所有的页面均存放在一个目录下，这样的网站对系统架构、性能的要求都很简单，随着互联网业务的不断丰富&#…
Redis进阶 - Redis分片集群
原文首更地址，阅读效果更佳！
Redis进阶 - Redis分片集群 | CoderMast编程桅杆https://www.codermast.com/database/redis/redis-advance-sharded-cluster.html
搭建分片集群
主从和哨兵可以解决高可用、高并发读的问题。但是依然有两个问题没有解决&a…
最新最全的~教你如何搭建高可用Lustre双机集群
1.搭建双机lustre高可用集群：
1.环境说明： 主机名系统挂载情况IP地址Lustre集群名内存mds001Centos7.9（共享磁盘）1个mgs，1个MDT，2个OST192.168.10.21/209.21global1Gmds002Centos7.9（共享磁盘）1个mgs，1个MDT，2个OST192.168.10.22/209.22global1GclientCentos7.9无19…
从Tomcat 5.5.x到Tomcat 6.0的迁移
基本上,将应用移植到Tomcat的最新版本6.0上并不需要做什么额外的工作,但是对于一些比较特殊的环境配置你需要确认以下几个方面:
首先是Java虚拟机的版本,Tomcat 6.0要求至少是5.0或者以上的版本。这点不象Tomcat 5.5可以使用兼容包使之工作在JRE 1.4下。
其次，Tom…
(转)利用 squid 反向代理提高网站性能
原文地址：http://www.ibm.com/developerworks/cn/linux/l-cn-squid/ 利用 squid 反向代理提高网站性能 本文在介绍 squid 反向代理的工作原理的基础上，指出反向代理技术在提高网站访问速度，增强网站可用性、安全性方面有很好的用途。作者在具…
高可用集群 keepalived
一、高可用集群：
1、简介：
高可用集群（High Availability Cluster，简称 HA Cluster），是一组相互连接的计算机或服务器，它通过保护用户的业务程序对外不间断提供的服务，把因软件、硬…
2004中国城市综合竞争力排名
作者：天马行空（anlaiwuyou）个人主页：天马行空（anlaiwuyou） 出处：茶亦醉人何必酒 书能香我无须花-敏思博客个人主页：茶亦醉人何必酒 书能香我无须花-敏思博客发表于：20…
关于高性能计算的知识记录汇总-菜鸟级别?
关于高性能计算的知识记录汇总-菜鸟级别
菜鸟级别 Mpi和openMPI的区别，或者CUDA和OpenCL的区别，这篇文章就是为了总结下高性能计算的相关知识。
目前高性能计算有两大趋势，并行计算集群和CPU处理器和GPU显卡的异构混合计算。 下面做对这些名…
关于 IBM Spectrum LSF
关于 IBM Spectrum LSF
IBM Spectrum LSF 允许您使用 IBM Spectrum LSF 作为 HPC 调度软件来部署高性能计算 (HPC) 集群。 此产品使用基于开放式源代码 Terraform 的自动化来供应和配置 IBM Cloud 资源。 通过简单的步骤来定义配置属性并使用自动化部署，您可以在几…
高可用集群heartbeat模块可靠消息通信机制过程原理
heartbeat - 简介 Heartbeat是Linux-HA工程的一个组件，自1999年开始到现在，发布了众多版本，是目前开源Linux-HA项目最成功的一个例子，在行业内得到了广泛的应用，这里分析的是2007年1月18日发布的版本2.0.8，…
[SpringCloud]服务消费者(Feign)详解
目录摘要1 用途2 负载均衡2.1 客户端负载均衡(Ribbon)2.2 服务端负载均衡(Nginx)3 Ribbon和Eureka3.1 Ribbbon3.2 Eureka摘要
本篇主要介绍的SpringCloud中的服务消费者(Feign)、负载均衡(Ribbon)、服务发现(Eureka)的用途和工作原理概要。
1 用途
简单来说，Feig…
nginx 配置文件备忘-Terry
当前 nginx 实现了 jboss 调度，SESSION 同步功能 但最近某个项目 tomcat 集群需要临时迁移，也共同部署到当前项目环境中 user daemon; # 定义 进程用户 worker_processes 2; …
Zookeeper服务器集群启动
1.集群版服务器启动 集群版服务器启动流程如下图所示。 1.1 预启动 （1）统一由QuorumPeerMain作为启动类。 （2）解析配置文件zoo.cfg。 （3）创建并启动历史文件清理器DatadirCleanupManager。 （4&a…
shiro使用ehcache实现集群同步和session复制
一般情况下WEB应用集群的会话复制都是通过容器实现的，shiro权限框架中可以定义SessionDAO直接将session持久化到缓存中，这样只需要对缓存做集群就可以代替session的复制。 实现思路 1、用SessionDAO将session保存到ehcache缓存 2、配置ehcache的jgrou…
Websocket集群解决方案以及实战（附图文源码）
最近在项目中在做一个消息推送的功能，比如客户下单之后通知给给对应的客户发送系统通知，这种消息推送需要使用到全双工的websocket推送消息。
所谓的全双工表示客户端和服务端都能向对方发送消息。不使用同样是全双工的http是因为http只能由客户端主动发…