/proc/sys/net/ipv4/icmp_timeexceed_rate这个在traceroute时导致著名的“Solaris middle star”。这个文件控制发送ICMP Time Exceeded消息的比率。 /proc/sys/net/ipv4/igmp_max_memberships主机上最多有多少个igmp (多播)套接字进行监听。 /proc/sys/net/ipv4/inet_peer_gc_maxtime求 助: Add a little explanation about the inet peer storage? Minimum interval between garbage collection passes. This interval is in e...阅读全文
文章目录 1、创建document 区别使用ES自动生成id使用自定义id 2、更新document 区别PUT全量替换 POST（1）最简单的 update 请求（2）使用脚本局部更新i. 修改_source字段内容ii. 添加数组字段的值iii. 根据内容删除文档iv. 更新可能不存在的文档v. 更新和冲突 3、HTTP 协议之PUT POSTPOSTPUT用PUT还是POST 4、总结：举例，给view字段+1操作疑问 PUT 是 强制创建、全量更新操作 POST 是 创建、局部更新操作 看上去PUT和POST都可以创建、更新document，那么在创建document、更新document的时候有什么区别呢？ 1、创建document 区别 使用ES自动生成id 我们如何确定是完全创...阅读全文
阻塞队列 阻塞队列（BlockingQueue）是一个支持两个附加操作的队列。这两个附加的操作是：在队列为空时，从队列中获取元素的消费者线程会一直等待直到队列变为非空。当队列满时，向队列中放置元素的生产者线程会等待直到队列可用。阻塞队列常用于生产者和消费者的场景，生产者是往队列里添加元素的线程，消费者是从队列里拿元素的线程。 在阻塞队列不可用时，这两个附加操作提供了4种处理方式： 抛出异常：当队列满时，插入元素会抛出IllegalStateException；返回特殊值：offer()是入队方法，当插入成功时返回true，插入失败返回false；poll()是出队方法，当出队成功时返回元素的值，队列为空时返回null一直阻塞：当队列满时，阻塞执行插入方法的线程；当队列空时，阻塞执行出队方法的...阅读全文
目录1.retries参数说明 2.retries使用建议 3.retries后续发展复制1.retries参数说明参数的设置通常是一种取舍，看下retries参数在版本0.11.3说明：Setting a value greater than zero will cause the client to resend any record whose send fails with a potentially transient error. Note that this retry is no different than if the client resent the record upon receiving the error. Allowing retries without s...阅读全文
kafka 重试机制 kafka 消息的重试机制作为kafka 生产者端的数据不丢失的重要保障，对我们学习和理解kafka 大有裨益，前面我们学习kafka 生产者的时候，了解了kafka 异步生产者的Callback 机制，合理使用Callback机制也可以保证我们生产者端的数据不丢失，但是Callback我们往往是在重试机制之后使用的，也会是说重试之后依然失败的情况下，可以作为我们生产者端最后的保障。 重试源码 首先我们从KafkaProducer的send 方法入手我们看到其实客户端是不会直接发送数据的，而是将其加入到了一个缓存队列里面去，实例化KafkaProducer会实例RecordAccumulator，RecordAccumulator维护了一个Map，key为不同的主题和p...阅读全文
今天和大家聊一下，kafka对于消息的可靠性保证。作为消息引擎组件，保证消息不丢失，是非常重要的。 那么kafka是如何保证消息不丢失的呢？前提条件任何消息组件不丢数据都是在特定场景下一定条件的，kafka要保证消息不丢，有两个核心条件。第一，必须是已提交的消息，即committed message。kafka对于committed message的定义是，生产者提交消息到broker，并等到多个broker确认并返回给生产者已提交的确认信息。而这多个broker是由我们自己来定义的，可以选择只要有一个broker成功保存该消息就算是已提交，也可以是令所有broker都成功保存该消息才算是已提交。不论哪种情况，kafka只对已提交的消息做持久化保证。第二，也就是最基本的条件，虽然kafka集...阅读全文
seata的官方文档如下 http://seata.io/zh-cn/docs/overview/what-is-seata.html seata-server的启动和配置 从官方下载seata-server安装包https://github.com/seata/seata/releases，下载完成后解压该安装包 tar -xvf seata-server-1.4.2.tar.gz 在配置文件中修改，设置部署模式为file模式 cd seata-server-1.4.2/confvim file.conf 配置文件如下 ## transaction log store, only used in seata-serverstore { ## store mode: file、db、redi...阅读全文
谈阿里核心业务监控平台SunFire的技术架构 2017-01-01 19:00 相关阅读： 在2016年双11全球购物狂欢节中，天猫全天交易额1207亿元，前30分钟每秒交易峰值17.5万笔，每秒支付峰值12万笔。承载这些秒级数据背后的监控产品是如何实现的呢？接下来本文将从阿里监控体系、监控产品、监控技术架构及实现分别进行详细讲述。 阿里有众多监控产品，且各产品分工明确，百花齐放。整个阿里监控体系如下图： 集团层面的监控，以平台为主，全部为阿里自主研发（除引入了第三方基调、博睿等外部检测系统，用于各地CDN用户体验监控），这些监控平台覆盖了阿里集团80%的监控需求。 此外，每个事业群均根据自身特性自主研发了多套监控系统，以满足自身特定业务场景的监控需求，如广告的GoldenEye、菜鸟的棱...阅读全文
本文分享自天翼云开发者社区《基于快照的异步远程复制介绍》，作者:l****n1、简介:本文介绍了基于RBD快照的异步远程复制技术2、概念介绍：异步远程复制：通过定时的将业务端的数据同步到备份端，从而实现数据的备份和灾难恢复的技术；RBD快照：RBD快照是RBD在某一时刻全部数据的只读镜像，可以保留某个时间点的状态历史；同步快照：当发起定时拷贝任务时，主端（即业务端）创建的RBD快照作为此次同步任务的同步快照；一致性快照：当主从拷贝任务完成后，对从端创建RBD快照，此时从端的数据与主端的同步快照的时间点数据一致，此时的快照称为一致性快照；3、工作原理：创建移步远程复制pair对：选择跨region或者跨AZ的大小一致的卷，建立主从异步远程复制关系对；异步远程复制分为主端设备与从端设备，主端设备...阅读全文
我要讲的内容是偏工程的：怎么在万亿交易量下实现足够实时的秒级监控？ 先介绍一下监控系统 Sunfire，它是阿里集团的业务监控系统，前身是蚂蚁的 xflush, 支持应用标准化监控，如操作系统，JVM，中间件等。除此之外还有更强大的日志监控能力，大多数业务的监控指标都从应用的日志中抽取。目前覆盖了集团几乎所有 BU 和绝大多数业务，每分钟处理 TB 级日志。 下面将从以下四个方面进行讲解： 架构规模与挑战技术选择方向 一、架构 每分钟处理这么大的TB级日志量，我们是怎么设计架构去实现它的呢？ 1.1、传统日志监控 上图是传统的日志监控，现在大多数监控平台采用的一个方案。Agnet 检测日志变化增量推送，经过消息中间件如 kafka，流式计算引擎如 Jstorm/flink 去消费 kafka...阅读全文
本文分享自天翼云开发者社区《分布式系统心跳机制（一）》，作者:白杨分布式系统架构当前大部分分布式系统架构如下图：有一个中心节点来存储集群元数据和管理work儿节点，中心节点采用主备模式来实现HA。当中心节点主故障后，备节点接管业务成为主节点。我们下面讨论的心跳机制就是基于这种分布式架构而设计的。心跳设计目标：1.master控制节点的切换，不可以影响server的心跳。2.server可以感知到master的每一次切换。3.master在任意场景下都不会丢失server故障的事件。4.心跳可以作为其它控制消息是否需要重试的依据。心跳Clien端设计：a.worker2启动后只有master的列表，并不知道哪个是leader，因此先广播bootstrap信息。b.只有leader节点响应b...阅读全文
