点击上方蓝字关注一下吧 看完记得点个关注呦~，了解更多职场及大数据，人工智能，java等技术文章。 在了解slot、task、并行度相关概念和原理之前先看一下企业中与之相关的高频面试题×01高频面试题1.Flink的并行度了解吗？Flink的并行度设置是怎样的？2.任务并行度与slot之间的关系？3.Flink并行度设置优先级？4.并行的任务，需要占用多少slot？5. slot并行的条件？6. taskmanager与slot之间的关系？7.什么是slot共享，slot共享的好处？8.一个流处理程序，到底包含多少个任务？ 接下来的介绍相信你会对这些问题有一个答案，当然文章最后也有对应的参考答案×02 概念解读taskmanager：Flink中每一个worker(TaskManager)都...阅读全文
按时间统计 如果搜索是在 Elasticsearch 中使用频率最高的，那么构建按时间统计的 date_histogram 紧随其后。 为什么你会想用 date_histogram 呢？ 假设你的数据带时间戳。 无论是什么数据（Apache 事件日志、股票买卖交易时间、棒球运动时间）只要带有时间戳都可以进行 date_histogram 分析。当你的数据有时间戳，你总是想在 时间 维度上构建指标分析： 今年每月销售多少台汽车？这只股票最近 12 小时的价格是多少？我们网站上周每小时的平均响应延迟时间是多少？ 虽然通常的 histogram 都是条形图，但 date_histogram 倾向于转换成线状图以展示时间序列。 许多公司用 Elasticsearch _仅仅_ 只是为了分析时间序列数...阅读全文
使用UDP协议进行信息的传输之前不需要建议连接。换句话说就是客户端向服务器发送信息，客户端只需要给出服务器的ip地址和端口号，然后将信息封装到一个待发送的报文中并且发送出去。至于服务器端是否存在，或者能否收到该报文，客户端根本不用管。 单播用于两个主机之间的端对端通信，广播用于一个主机对整个局域网上所有主机上的数据通信。单播和广播是两个极端，要么对一个主机进行通信，要么对整个局域网上的主机进行通信。实际情况下，经常需要对一组特定的主机进行通信，而不是整个局域网上的所有主机，这就是多播的用途。 通常我们讨论的udp的程序都是一对一的单播程序。本章将讨论一对多的服务：广播（broadcast）、多播（multicast）。对于广播，网络中的所有主机都会接收一份数据副本。对于多播，消息只是发送到一...阅读全文
点击上方"云时代架构", 右上角选择“设为星标”精品技术文章准时送上！前言AQS（ AbstractQueuedSynchronizer ）是一个用来构建锁和同步器（所谓同步，是指线程之间的通信、协作）的框架，Lock 包中的各种锁（如常见的 ReentrantLock, ReadWriteLock）, concurrent 包中的各种同步器（如 CountDownLatch, Semaphore, CyclicBarrier）都是基于 AQS 来构建，所以理解 AQS 的实现原理至关重要，AQS 也是面试中区分侯选人的常见考点，我们务必要掌握，本文将用循序渐近地介绍 AQS，相信大家看完一定有收获。文章目录如下锁原理 - 信号量 vs 管程AQS 实现原理AQS 源码剖析如何利用 AQS ...阅读全文
Presentify Mac 破解版是mac上一款实用的屏幕绘制标注和鼠标高亮工具，可让您注释任何屏幕，突出显示光标等等，从而帮助您提供更好的演示。Presentify破解版是视频录制、教学视频的最佳工具。 [Presentify 在Mac App Store售价 30.00 元] Presentify 4.1.5 Mac 破解版 介绍 Presentify 是一个macOS菜单栏应用程序，可让您注释任何屏幕，突出显示光标等等，从而帮助您提供更好的演示，在线课程或视频教程。您可以在屏幕上注释任何内容，例如图像，视频，pdf，代码等。Presentify对于在线教学，录制视频教程，进行演示，远程工作等非常有用。 画在任何地方任何时候 您可以在任何屏幕上绘制或注释您希望。只需从菜单栏中选择“注释...阅读全文
近期跟同行业的几位大咖聊天，被问到： “你觉得该如何定义现在的产品经理？” 作为一名有着丰富产品工作的笔者而言，这个问题应该是很容易回答的，但是当时竟然无语，不知道该如何定义。 进而又涉及到了更深刻的三个问题： “每个企业都有市场部，都有产品经理，但是产品经理的职责明确吗？” “公司对产品经理的能力要求有哪些？” “产品经理生存现状如何？” 半个小时的交流之后，忽然有一种脊背发凉的感觉，不是为自己，而是为了行业里被认为是精英中的精英的产品经理！ 想要判断一个产品经理够不够优秀 优秀的产品经理该具备什么样的能力 就看他做了什么，怎么做，这就可以避免踩到更多雷坑 现在，请欣赏优秀产品经理大战普通产品经理！ 1、理解能力 ![image.png](https://img-blog.csdnimg....阅读全文
一、前言| ES作为现今最流行的搜索存储库，我们需要定期去清理ES集群的数据以保证集群处在一个最佳负载状态，那么如何去删除这些数据呢，我们今天来介绍一种比较常见的通过Delete By Query的方式去删除索引中的数据。二、Delete By Query API 介绍 怎么理解这个API呢？实际是批量删除数据的意思 功能：根据特定的查询条件对ES相关索引中某些特定的文档进行批量删除。POST index_name/_delete_by_query { "query": { //这些是自定义查询条件，根据查询条件去批量删除 "match": {//请求体跟Search API是一样的 "message": "some message" } } }复制Delete By Query 删除原理：...阅读全文
一、Filter 的基本工作原理 1、Filter 程序是一个实现了特殊接口的 Java 类，与 Servlet 类似，也是由 Servlet 容器进行调用和执行的。 2、当在 web.xml 注册了一个 Filter 来对某个 Servlet 程序进行拦截处理时，它可以决定是否将请求继续传递给 Servlet 程序，以及对请求和响应消息是否进行修改。 3、当 Servlet 容器开始调用某个 Servlet 程序时，如果发现已经注册了一个 Filter 程序来对该 Servlet 进行拦截，那么容器不再直接调用 Servlet 的 service 方法，而是调用 Filter 的 doFilter 方法，再由 doFilter 方法决定是否去激活 service 方法。 4、但在 Filt...阅读全文
首页 > 基础教程 > 基础知识 > JDK&JRE&JVM Java JVM 参数设置大全 JVM参数设置说明 参数名称 含义 默认值 -Xms 初始堆大小 物理内存的1/64(<1GB) 默认(MinHeapFreeRatio参数可以调整)空余堆内存小于40%时，JVM就会增大堆直到-Xmx的最大限制. -Xmx 最大堆大小 物理内存的1/4(<1GB) 默认(MaxHeapFreeRatio参数可以调整)空余堆内存大于70%时，JVM会减少堆直到 -Xms的最小限制 -Xmn 年轻代大小(1.4or lator) 注意：此处的大小是（eden+ 2 survivor space).与jmap -heap中显示的New gen是不同的。 整个堆大小=年轻代大小 + 年老代大小 + 持久代...阅读全文
首先祝大家端午节快乐！事业 家庭 更上一层楼。！最近遇见一个需要上传百兆大文件的需求，调研了七牛和腾讯云的切片分段上传功能，因此在此整理前端大文件上传相关功能的实现。在某些业务中，大文件上传是一个比较重要的交互场景，如上传入库比较大的Excel表格数据、上传影音文件等。如果文件体积比较大，或者网络条件不好时，上传的时间会比较长（要传输更多的报文，丢包重传的概率也更大），用户不能刷新页面，只能耐心等待请求完成。下面从文件上传方式入手，整理大文件上传的思路，并给出了相关实例代码，由于PHP内置了比较方便的文件拆分和拼接方法，因此服务端代码使用PHP进行示例编写。文件上传的几种方式首先我们来看看文件上传的几种方式。普通表单上传使用PHP来展示常规的表单上传是一个不错的选择。首先构建文件上传的表单，...阅读全文
1、前言 一直在从事linux下后台开发，经常与core文件打交道。还记得刚开始从事linux下开发时，程序突然崩溃了，也没有任何日志。我不知所措，同事叫我看看core，我却问什么是core，怎么看。同事鄙视的眼神，我依然在目。后来学会了从core文件中分析原因，通过gdb看出程序挂再哪里，分析前后的变量，找出问题的原因。当时就觉得很神奇，core文件是怎么产生的呢？难道系统会自动产生，可是我在自己的linux系统上面写个非法程序测试，并没有产生core问题？这又是怎么回事呢？今天在ngnix的源码时候，发现可以在程序中设置core dump，又是怎么回事呢？在公司发现生成的core文件都带有进程名称、进程ID、和时间，这又是怎么做到的呢？今天带着这些疑问来说说core文件是如何生成，如何配...阅读全文
背景 又是一年一度的秋季校招开始了，以往的校招各个公司都会在公司现场或者学校现场安排学生进行现场面试？但是今年由于疫情的原因，不允许让同学在现场进行一个面试，所以今年的面试形式就从线下转到了线上，面试形式的转变，但是我们考核学生的方式依旧没有转变。校招的同学和社招的同学有很大的不同，他们没有丰富的工作经验，没有太多的项目经历，那么我们如何去衡量一个校招的同学呢？那就是基础和潜力，怎么去理解基础呢？俗话说不积跬步,无以至千里,不积小流,无以成江海，如果没有一个好的基础那么怎么才能成为一个优秀的工程师呢。如何去考察一个学生基础的好坏呢？我觉得有三个方面比较重要，计算机网络，操作系统以及算法和数据结构，通常来说计网考察得特别多，常见的一些问题：网络模型分层TCP和UDP的区别TCP三次握手和四次挥...阅读全文
前言零拷贝（Zero-copy）技术指在计算机执行操作时，CPU 不需要先将数据从一个内存区域复制到另一个内存区域，从而可以减少上下文切换以及 CPU 的拷贝时间。它的作用是在数据报从网络设备到用户程序空间传递的过程中，减少数据拷贝次数，减少系统调用，实现 CPU 的零参与，彻底消除 CPU 在这方面的负载。实现零拷贝用到的最主要技术是 DMA 数据传输技术和内存区域映射技术。零拷贝机制可以减少数据在内核缓冲区和用户进程缓冲区之间反复的 I/O 拷贝操作。零拷贝机制可以减少用户进程地址空间和内核地址空间之间因为上下文切换而带来的 CPU 开销。正文1. 物理内存和虚拟内存由于操作系统的进程与进程之间是共享 CPU 和内存资源的，因此需要一套完善的内存管理机制防止进程之间内存泄漏的问题。为了更...阅读全文
目录1.retries参数说明 2.retries使用建议 3.retries后续发展复制1.retries参数说明参数的设置通常是一种取舍，看下retries参数在版本0.11.3说明：Setting a value greater than zero will cause the client to resend any record whose send fails with a potentially transient error. Note that this retry is no different than if the client resent the record upon receiving the error. Allowing retries without s...阅读全文
我不是故意在JAVA中谈尾递归的，因为在JAVA中谈尾递归真的是要绕好几个弯，只是我确实只有JAVA学得比较好，虽然确实C是在学校学过还考了90+，真学得没自学的JAVA好 不过也是因为要绕几个弯，所以才会有有意思的东西可写，另外还有我发现把尾递归如果跟JAVA中的GC比对一下，也颇有一些妙处（发现还没有人特地比较过） （不过后来边写边整理思路，写出来又是另一个样子了） 转载请注明：博客园-阁刚广志，地址：http://www.cnblogs.com/bellkosmos/p/5280619.html 一、首先我们讲讲递归 递归的本质是，某个方法中调用了自身。本质还是调用一个方法，只是这个方法正好是自身而已 递归因为是在自身中调用自身，所以会带来以下三个显著特点： 调用的是同一个方法 因为1...阅读全文
【这是 ZY 第 17 篇原创技术文章】 预备知识 了解 Java 反射基本用法 看完本文可以达到什么程度 了解 Java 反射原理及 Java 反射效率低的原因 文章概览 我们在 Java 开发中，难免会接触到反射，而在一些框架中，反射的运用更是常见。我相信，每次提到反射，大家的第一反应一定是反射效率低，尽量少使用。 但是反射的效率到底低多少？反射效率低的原因在哪里？ 这篇文章就来探索一下这些问题。 由于本机上安装的是 openjdk 12，所以这里就使用 openjdk 12 源码进行分析。 我们先看结论，然后分析一下 Java 反射的原理，过程中大家可以根据结论，对源码做一些思考，然后再根据原理中的一些实现，看看 Java 反射效率低的原因。 零、先放结论 Java 反射效率低主要原因...阅读全文
大型互联网公司一般都会要求消息传递最大限度的不丢失，比如用户服务给代金券服务发送一个消息，如果消息丢失会造成用户未收到应得的代金券，最终用户会投诉。 为避免上面类似情况的发生，除了做好补偿措施，更应该在系设计的时候充分考虑各种异常，设计一个稳定、高可用的消息系统。 认识 Kafka 看一下维基百科的定义 Kafka 是分布式发布-订阅消息系统。它最初由 LinkedIn 公司开发，之后成为 Apache 项目的一部分。Kafka是一个分布式的、可划分的、冗余备份的持久性的日志服务。它主要用于处理活跃的流式数据。 Kafka 架构 Kafka 的整体架构非常简单，是显式分布式架构，主要由 Producer、Broker（Kafka） 和 Consumer 组成。 Kafka架构（精简版） Pr...阅读全文
JerryTse 386 Spring事务传播行为详解 java spring 事务 更新于 2019-09-30 约 29 分钟 前言 Spring在TransactionDefinition接口中规定了7种类型的事务传播行为。事务传播行为是Spring框架独有的事务增强特性，他不属于的事务实际提供方数据库行为。这是Spring为我们提供的强大的工具箱，使用事务传播行可以为我们的开发工作提供许多便利。但是人们对他的误解也颇多，你一定也听过“service方法事务最好不要嵌套”的传言。要想正确的使用工具首先需要了解工具。本文对七种事务传播行为做详细介绍，内容主要代码示例的方式呈现。 基础概念 1. 什么是事务传播行为？ 事务传播行为用来描述由某一个事务传播行为修饰的方法被嵌套进另一个方法的时...阅读全文
今天给大家分享一下关于SpringBoot开发双11商品服务系统的整个流程，我将深度还原大厂实习期技术成长全流程，让你收获大厂项目开发全流程与实战经验，具备应对大流量场景问题的解决能力，全面助力提升实习/转正/跳槽表现力与成功率。 以下是参考资料下载： 网盘地址：https://pan.baidu.com/s/1QNf3FbzlswJd_DU3FC64nw 提取码：q61x 腾讯微云下载地址：https://share.weiyun.com/o6TKslZV 密码：qn8bim Spring Boot是由Pivotal团队提供的全新框架，其设计目的是用来简化新Spring应用的初始搭建以及开发过程。该框架使用了特定的方式来进行配置，从而使开发人员不再需要定义样板化的配置。通过这种方式，Spr...阅读全文
当Java程序性能达不到既定目标，且其他优化手段都已经穷尽时，通常需要调整垃圾回收器来进一步提高性能，称为GC优化。但GC算法复杂，影响GC性能的参数众多，且参数调整又依赖于应用各自的特点，这些因素很大程度上增加了GC优化的难度。即便如此，GC调优也不是无章可循，仍然有一些通用的思考方法。本篇会介绍这些通用的GC优化策略和相关实践案例，主要包括如下内容： > 优化前准备: 简单回顾JVM相关知识、介绍GC优化的一些通用策略。 > 优化方法: 介绍调优的一般流程：明确优化目标→优化→跟踪优化结果。 > 优化案例: 简述笔者所在团队遇到的GC问题以及优化方案。一、优化前的准备GC优化需知为了更好地理解本篇所介绍的内容，你需要了解如下内容。 1. GC相关基础知识，包括但不限于： a) GC工作原...阅读全文
文章目录 同步与异步 半同步/半异步模式 变体：半同步/半反应堆模式 改进：更高效的半同步/半异步模式 领导者/追随者模式 组件 ：句柄集、线程集、事件处理器 并发模式是指I/O处理单元和多个逻辑单元之间协调完成任务的方法。服务器主要有两种并发编程模式：半同步/半异步模式（half-sync/half-async）模式和领导者/追随者（Leader/Followers）模式 同步与异步 首先在这里要指出，这里的"同步"和“异步”与I/O模型中的”同步I/O“与“异步I/O”是两个完全不同的概念，不能将其混淆。 在I/O模型中，”同步I/O“和”异步I/O“主要的区别就是内核向应用程序通知的是哪种I/O事件（就绪事件/完成事件），以及由谁来完成I/O的读写操作（应用程序/内核）。 同步I/O：...阅读全文
大型互联网公司一般都会要求消息传递最大限度的不丢失，比如用户服务给代金券服务发送一个消息，如果消息丢失会造成用户未收到应得的代金券，最终用户会投诉。为避免上面类似情况的发生，除了做好补偿措施，更应该在系设计的时候充分考虑各种异常，设计一个稳定、高可用的消息系统。认识 Kafka看一下维基百科的定义Kafka 是分布式发布-订阅消息系统。它最初由 LinkedIn 公司开发，之后成为 Apache 项目的一部分。Kafka是一个分布式的、可划分的、冗余备份的持久性的日志服务。它主要用于处理活跃的流式数据。Kafka 架构Kafka 的整体架构非常简单，是显式分布式架构，主要由 Producer、Broker（Kafka） 和 Consumer 组成。Kafka架构（精简版）Producer（生...阅读全文
## SpringCloudAlibaba高并发仿斗鱼直播平台实战 download：https://www.zxit666.com/6371/ Dubbo服务调用原理剖析 段落一：简介 Dubbo是一款高性能、轻量级的分布式服务框架，主要用于解决分布式应用中的服务调用和管理问题。它提供了多种通信协议和负载均衡策略，支持服务的注册与发现、远程调用和容错处理等功能。 段落二：服务注册与发现 在Dubbo中，服务注册与发现是实现服务调用的基础。当服务提供者启动时，它会将自己的地址信息注册到注册中心。而服务消费者则从注册中心获取提供者的地址，并建立与提供者的连接。Dubbo支持多种注册中心，如Zookeeper、Consul等，通过注册中心的协调，实现了服务的动态发现和路由。 段落三：远程调用 D...阅读全文
今天，经过近一年的研发工作，很高兴和大家同步：HoloInsight 项目正式开源了代码主仓库的 GitHub 地址为：1.HoloInsight 介绍HoloInsight 是一款云原生时代的轻量化、全功能的智能可观测性技术平台。它是蚂蚁集团内部研发了近 10 年的观测平台 AntMonitor 的开源版本。经过多年大型互联网公司内部复杂场景的驱动，AntMonitor 在可观测领域沉淀了很多独特经验，是蚂蚁集团研发、测试、SRE 等人员进行故障应急处理和日常问题分析的重要平台。我们非常希望能将这些经验和业界进行共同探讨与共同演进，为此我们开源了 HoloInsight。HoloInsight 设计上是作为集数据采集、洞察分析、智能告警的一站式可观测综合解决方案，以帮助用户清晰观测整个软件...阅读全文
图灵-Java互联网架构师六期｜视频+资料获课：itazs.fun/4860/获取ZY↑↑方打开链接↑↑互联网架构师在现代信息技术领域扮演着至关重要的角色，他们是连接业务需求与技术实现之间的桥梁，负责设计和构建能够满足复杂业务要求的软件系统。以下是对互联网架构师这一职业角色的深入探讨：1. 角色定义互联网架构师是整个互联网平台的核心框架设计者他们不仅需要理解业务逻辑，还要具备深厚的技术背景，以确保所设计的系统既符合业务目标又能应对技术挑战。架构师的工作涵盖了从概念阶段到最终部署的所有环节，包括但不限于系统架构设计、技术选型和技术决策等。2. 主要职责系统架构设计架构师需要设计整个系统的架构方案，这涉及到系统的功能分解、模块划分、数据流程设计以及接口设计等方面一个好的架构应该考虑到系统的可扩...阅读全文
系统玩转OpenGL+AI，实现各种酷炫视频特效 视频课程分享——系统玩转OpenGL+AI，实现各种酷炫视频特效，附源码。大家下载学习。 OpenGL（英语：Open Graphics Library，译名：开放图形库或者“开放式图形库”）是用于渲染2D、3D矢量图形的跨语言、跨平台的应用程序编程接口（API）。这个接口由近350个不同的函数调用组成，用来从简单的图形比特绘制复杂的三维景象。而另一种程序接口系统是仅用于Microsoft Windows上的Direct3D。OpenGL常用于CAD、虚拟实境、科学可视化程序和电子游戏开发。 作为独立于操作系统的开放的三维图形的软件开发包，在其基础上开发的应用程序能够简单方便的移植于各种平台。其具有七大功能： 1. 建立3D模型：OpenGL...阅读全文
Redis是高性能的分布式内存数据库，对于内存数据库经常会出现下面几种情况，也经常会出现在Redis面试题中：缓存穿透、缓存击穿、缓存雪崩、缓存预热、缓存更新、缓存降级。本篇分别介绍这些概念以及对应的解决方案。目录缓存穿透缓存击穿缓存雪崩缓存预热缓存更新缓存降级缓存穿透当查询Redis中没有的数据时，该查询会下沉到数据库层，同时数据库层也没有该数据，当这种情况大量出现或被恶意攻击时，接口的访问全部透过Redis访问数据库，而数据库中也没有这些数据，我们称这种现象为"缓存穿透"。缓存穿透会穿透Redis的保护，提升底层数据库的负载压力，同时这类穿透查询没有数据返回也造成了网络和计算资源的浪费。解决方案：在接口访问层对用户做校验，如接口传参、登陆状态、n秒内访问接口的次数；利用布隆过滤器，将数据...阅读全文
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容...阅读全文
Seata 分布式事务 XA 与 AT 全面解析 2021-04-23 FUNKYE Seata Seata 目录 1.XA模式是什么？ 1.1什么是XA 1.2什么是Seata的事务模式？ 2那么什么是Seata XA 模式？ 2.1什么是Seata AT(TXC) 模式？ 2.2AT 模式如何做到对业务的无侵入 ？ AT模式一阶段 2.3 AT 模式如何保证隔离性 AT 模式二阶段提交 AT 模式二阶段回滚 3.为什么支持XA？ 4.为什么Seata要支持XA模式？ AT与XA的关系 Seata AT与XA的优劣 总结 Seata 是一款开源的分布式事务解决方案，star高达17300+，社区活跃度极高，致力于在微服务架构下提供高性能和简单易用的分布式事务服务。 注：本期分享借鉴于Sea...阅读全文
公司其他组有个公共的maven依赖包中的序列化与反序列化采用了kryo,所以我在新代码中也测试了下kryo，测试的时候有几个问题记录如下: 1.kryo反序列化时是通过反射默认调用类的无参构造函数，如果类或者类的对象属性没有无参构造构造函数，则会抛出反序列化失败的异常，解决方法可以写一个继承kryo类的子类，重新实现通过反射去获取实例的方法，参考博客:https://vyloy.iteye.com/blog/1483029 2.kryo在序列化和反序列化ArrayList和HashMap时需注册ArrayList.class和HashMap.class的序列化类，才可序列化和反序列化成功 MapSerializer serializer = new MapSerializer(); seri...阅读全文
2024爆火AI最火Agent实战(打造你代理) 分享课程——2024爆火AI最火Agent实战(打造你代理)，附源码+文档。 Agent，对于大多数人来说可能还不太熟悉。在大模型的语境下，Agent可以被理解为具备自主理解、规划和执行复杂任务能力的系统。 与AutoGPT、BabyAGI等技术演示项目相比，Agent的应用离真正商业化还有一段路要走。 然而，最近Agent的发展似乎迎来了第二轮爆发，尤其是在编程开发行业。一些热门的开源项目，比如Sweep，已经开始将Agent技术应用到实际场景中，实现自动化的bug报告和功能请求清扫。创业公司也在这一领域积极探索，例如OpenAI支持的Cursor代码编辑器，它能够生成整个项目框架的代码，让开发变得更加高效。 Agent的应用不仅局限于编程...阅读全文
饿了么技术团队花了1年多的时间，实现了业务的整体异地多活，能够灵活的在多个异地机房之间调度用户，实现了自由扩容和多机房容灾的目标。本文介绍这个项目的整体结构，还简要介绍实现多活的5大核心基础组件，为读者建立基本的概念模型，后续会有系列文章陆续介绍每个组件的实现细节。读者能够从中了解到做异地多活的大方向，为实现自己的异地多活，或者是容灾备份提供参考。背景：为什么要做异地多活？饿了么要做多活，是受业务发展的驱动，经过几年的高速发展，我们的业务已经扩大到单个数据中心撑不住了，主要机房已经不能再加机器，业务却不断的要求加扩容，所以我们需要一个方案能够把服务器部署到多个机房。另外一个更重要的原因是，整个机房级别的故障时有发生，每次都会带来严重的后果，我们需要在发生故障时，能够把一个机房的业务全部迁移到...阅读全文
 深入学习小程序框架底层原理，培养双线程思维——前端高手特训 从0到1带你手写一个微信小程序底层框架！ 无论你是一位新手，还是一位有经验的开发者，能够自研一套小程序底层框架，都是你突破技术瓶颈有效途径。我将通过本篇文章带领大家从架构设计 ，原理剖析，再到源码的实现，一步步地实战构建一个完整的微信小程序底层框架，让大家深度掌握小程序双线程原理，助力大家具备把握最佳机会的能力和提升获取心仪Offer的成功率，成为一个真正有实力的技术人才！！ 一、首先，我们先来认识小程序，那么什么是小程序呢？ 小程序是一种不需要下载安装即可使用...阅读全文
获课：yinheit.xyz14842慕课 WeNet 语音识别实战指南：从数据处理到工业落地全流程解析在智能语音技术爆发式发展的今天，端到端语音识别（E2E ASR）已成为工业界主流方案。WeNet 作为由西北工业大学与出门问问联合开发的开源工具包，凭借高效的模型架构与完善的工程化支持，成为开发者构建语音识别系统的首选方案。本文将结合慕课网《WeNet 语音识别实战》课程内容，系统解析从数据预处理到模型部署的全流程技术要点。一、技术选型与架构设计（一）核心技术栈解析1. 模型架构U2++ 框架：采用双通道联合 CTC/AED 架构，通过动态块训练技术实现流式与非流式识别的统一。共享编码器支持 Conformer 或 Transformer 结构，结合双向注意力解码器引入未来上下文信息，在 ...阅读全文
AI人人必修-提示词工程+大模型多场景实战（丰富资料) 分享一套课程——AI人人必修-提示词工程+大模型多场景实战（丰富资料)，课程包更新。 大模型是指具有大规模参数和复杂计算结构的机器学习模型。这些模型通常由深度神经网络构建而成，拥有数十亿甚至数千亿个参数。大模型的设计目的是为了提高模型的表达能力和预测性能，能够处理更加复杂的任务和数据。大模型在各种领域都有广泛的应用，包括自然语言处理、计算机视觉、语音识别和推荐系统等。大模型通过训练海量数据来学习复杂的模式和特征，具有更强大的泛化能力，可以对未见过的数据做出准确的预测。 ChatGPT对大模型的解释更为通俗易懂，也更体现出类似人类的归纳和思考能力：大模型本质上是一个使用海量数据训练而成的深度神经网络模型，其巨大的数据和参数规模，实现了智能...阅读全文
前面我们有讲过如何进行API的安全控制，其中包括数据加密，接口签名等内容。详细可以参考我下面两篇文章：-《前后端API交互如何保证数据安全性》请添加链接描述-《再谈前后端API签名安全？》请添加链接描述在签名部分，通过时间戳的方式来判断当前请求是否有效，目的是为了防止接口被多次使用。但是这样并不能保证每次请求都是一次性的，今天给大家介绍下如何保证请求一次性？首先我们来回顾一些时间戳判断的原理：客户端每次请求时，都需要进行签名操作，签名中会加上signTime参数(当前请求时间戳)。HTTP请求从发出到达服务器的正常时间不会很长，当服务器收到HTTP请求之后，首先进行签名检查，通过之后判断时间戳与当前时间相比较，是否超过了一定的时间，这个时间我们可以自行决定要多长，比如1分钟，2分钟都可以，时...阅读全文
Widows 分析dump文件的工具太多了，而且都是傻瓜式的点点就好了。但是生产上分析dump文件的话，还是linux工具比较方便，因为生产上的dump文件一般都至少是GB级别的，这么大的文件拷贝到本机要耗费很长时间，特别是遇到生产事故的时候，时间=金钱。 更不允许我们把宝贵的拍错时间浪费到网络传输上面。 那么linux有什么好的解析dump工具呢? 如何解析 java dump的文件? 这里比较推荐IBM的eclipse的MAT工具。运行环境要求linux操作系统JDK8 以上下载MAT的linux版本Eclipse的MAT工具下载链接 MAT支持各种操作系统，找到Linux版本下载下来# 运行uname -m 看一下linux是 x86_64还是 x86的帮助你选择下载那个版本。 una...阅读全文
1、实战开发遇到聚合问题 请教一个问题，ES 在聚合的时候发生了一个奇怪的现象聚合的语句里面size设置为10和大于10导致聚合的数量不一致，这个size不就是返回的条数吗？会影响统计结果吗？dsl语句摘要（手机敲不方便，双引号就不写了）： aggs:{topcount:{terms:{field:xx,size:10}}} 就是这个size，设置10和大于10将会导致聚合结果不一样，难道是es5.x的bug吗？ 以上是实战中的真实问题，基于这个问题，有了本篇文章。 本文探讨的聚合主要指：terms 分桶聚合。下图为分桶 terms 聚合示意图。 从一堆多分类的产品中聚合出 TOP 3 的产品分类和数量。TOP3 结果： 产品 Y：4 产品 X：3 产品 Z：2 2、前提认知：Elastic...阅读全文
ChatGPT+AI技术项目实战，打造多端智能虚拟数字人 分享课程——ChatGPT+AI技术项目实战，打造多端智能虚拟数字人，附源码。 ChatGPT全称为Chat Generative Pre-trained Transformer，一个基于深度学习的大型语言模型，其模型结构使用了Transformer网络 。这个网络可以从输入的文本中学习语言的规律和模式，并用这些规律和模式来预测下一个单词或字符。 在chatGPT的训练过程中，chatGPT接受了海量的文本数据，这些数据包括各种来源，例如维基百科、新闻文章、小说、网页等等。这些庞大的数据集被用来形成一个模仿人脑的深度学习神经网络，在学习过程中，chatGPT试图学习这些数据中的语言规则和模式，预测文本序列中的下一个单词或字符，以提高自...阅读全文
综述字节跳动在发展过程中，逐渐形成了十分复杂的超大规模微服务体系，对后端整体的可观测性解决方案提出了极高的要求。为了解决这个问题，基础架构智能运维团队自研链路追踪系统，将海量 Metrics/Trace/Log 数据进行整合与统一，并在此基础上实现了新一代的一站式全链路观测诊断平台，帮助业务解决监控排障、链路梳理、性能分析等问题。本文将会介绍字节跳动链路追踪系统的整体功能和技术架构，以及实践过程中我们的思考与总结。什么是分布式链路追踪(Trace) ？M T L 的关系可观测性的三大基础数据是 Metrics / Log / Trace。说到这三大件，可能大家会想到当需要监控变化趋势和配置告警时就去用 Metrics；当需要细查问题时去查 log；对于微服务数量较多的系统，还得有 Trace...阅读全文
 大家好，很高兴今天又可以给大家做分享，我将在本文给大家讲解C#的串口编程、网络编程、PLC通讯开发和架构设计，彻底搞定下位机通讯编程。 本文通过C#、欧姆龙PLC、HostLink通讯协议 TCP通讯 ● 串口通讯等要素，并通过C#相关技术如数据类型 抽象 继承 事件event 函数 修饰符（public private internal）泛型 Action委托 IPAddress 多态函数 socket编程（tcpclient）SerialPort串口多线程 -> 子线程 异步，开发一套具有通用性、扩展性的PLC通讯框架...阅读全文
# HELP jvm_gc_collection_seconds Time spent in a given JVM garbage collector in seconds.# TYPE jvm_gc_collection_seconds summary#这是一个Summary指标，与Histogram类似，可以对指标数据进行采样 # 并发收集器 CMS(Concurrent Mark-Sweep) 以牺牲吞吐量为代价来获得最短回收停顿时间的垃圾回收器对于要求服务器响应速度的应用上，这种垃圾回收器非常适合。CMS是用于对tenured generation的回收，也就是年老代的回收，目标是尽量减少应用的暂停时间，减少full gc发生的几率，利用和应用程序线程并发的垃圾回收线程来标记清除年...阅读全文
 java中常用的分布式方法有哪些呢？ 分布式系统分布式存储:GFS,HDFS(HBase) 分布式计算系统: MapReduce 消息中间件: Kafka 分布式处理管理器: Zookeeper RocketMQ ： 负载均衡技术 分布式缓存技术: Redis 分布式锁 分布式系统设计 分布式优化策略 众所周知，随着互联网数据井喷式的发展，分布式技术应运而生。分布式因其高性能、高可用、高扩展的特点，成为微服务项目的基石。本篇文章将针对分布式六大主流问题进行多方案对比解析，多场景实战讲解，让大家深度掌握分布式原理和实战。我将...阅读全文
1.创建服务器证书密钥文件 server.key： openssl genrsa -des3 -out server.key 2048 输入密码，确认密码，自己随便定义，但是要记住，后面会用到。 2.创建服务器证书的申请文件 server.csr openssl req -new -key server.key -out server.csr 输出内容为： Enter pass phrase for root.key: ← 输入前面创建的密码 Country Name (2 letter code) [AU]:CN ← 国家代号，中国输入CN State or Province Name (full name) [Some-State]:BeiJing ← 省的全名，拼音 Locality ...阅读全文
 SpringBoot+Vue3 项目实战，打造企业级在线办公系统，2023新版16章，附电子书！ 未来，在线协同办公将成为企业常态化的工作方式。本文选用市面上少有的，界面美观，功能模块齐全的大型在线办公系统。项目采用了当下最流行的前后端分离架构及技术（ Java、SSM、Vue3.0、工作流 ），文章作为全面提升前后端技术水平的不二选择，也很适合作为简历的加分项。 项目以业务为基础，贯穿前后端技术栈，获得企业级项目开发经验 1、在实战中掌握，前后端主流技术点 聚焦Vue3、SSM、ElementUI等主流技术栈 提升前端实...阅读全文
先看看io模型 先介绍两种高性能服务器模型Reactor、Proactor Reactor模型： 1 向事件分发器注册事件回调 2 事件发生 4 事件分发器调用之前注册的函数 4 在回调函数中读取数据，对数据进行后续处理 Reactor模型实例：libevent，Redis、ACE Proactor模型： 1 向事件分发器注册事件回调 2 事件发生 3 操作系统读取数据，并放入应用缓冲区，然后通知事件分发器 4 事件分发器调用之前注册的函数 5 在回调函数中对数据进行后续处理 Preactor模型实例：ASIO reactor和proactor的主要区别： 主动和被动 以主动写为例： Reactor将handle放到select()，等待可写就绪，然后调用write()写入数据；写完处理后续...阅读全文
一站式通关CKA证书（23年新课，基于k8s1.27版本） 分享一套CKA课程——一站式通关CKA证书，23年新课，基于k8s1.27版本，完整版10章，附源码+PDF课件。 CKA认证考试是由Linux基金会和云原生计算基金会(CNCF)创建的，以促进Kubernetes生态系统的持续发展。该考试是一种远程在线、有监考、基于实操的认证考试，需要在运行Kubernetes的命令行中解决多个任务。CKA认证考试是专为Kubernetes管理员、云管理员和其他管理Kubernetes实例的IT专业人员而设的。 已获得认证的K8s管理员具备了进行基本安装以及配置和管理生产级Kubernetes集群的能力。他们将了解Kubernetes网络、存储、安全、维护、日志记录和监控、应用生命周期、故障排除、...阅读全文
 一个完整的在线办公系统具备哪些功能： 1、线下会议管理功能 2、审批会议申请功能 3、 TRTC在线视频会议功能 4、罚款模块 5、请假管理 6、报销管理 那么，如何去开发这样一个在线办公的系统，这样的系统用到哪些技术才能实现？接下来，我将带着大家一步步来开发这样的办公系统。 这个项目我用的技术有：SpringBoot 2.4.1，SpringMVC 5.3.1，MyBatis 3.5.7，VUE 3.0.3，ElementUI plus 1.0.2。 第一步，环境搭建 数据库mysql我用的是8.0版本，使用Navica...阅读全文
Consul-Template简介Consul-Template是基于Consul的自动替换配置文件的应用。在Consul-Template没出现之前，大家构建服务发现系统大多采用的是Zookeeper、Etcd+Confd这样类似的系统。Consul官方推出了自己的模板系统Consul-Template后，动态的配置系统可以分化为Etcd+Confd和Consul+Consul-Template两大阵营。Consul-Template的定位和Confd差不多，Confd的后端可以是Etcd或者Consul。Consul-Template提供了一个便捷的方式从Consul中获取存储的值，Consul-Template守护进程会查询Consul实例来更新系统上指定的任何模板。当更新完成后，模板...阅读全文
[完结14章]Flink 从0到1实战实时风控系统 网盘地址：https://pan.baidu.com/s/1gHz7xsniPotnoL6oVFyGmA 提取码：hf2e 腾讯微云下载地址：https://share.weiyun.com/zUoCBRio 密码：dc5hxc 对于程序化交易用户而言，无论是证券还是期货市场，每一个交易指令都需要进行充分的业务检查，通过后才能进入交易所的订单队列进行匹配成交。 在程序化交易中，除了验资、验持仓等基础的风控检查外，符合交易所异常交易管理办法规定的监管标准，杜绝和防范异常交易行为也是程序化交易风控的重中之重，比如是否存在自成交、日内过度交易、频繁报撤单、大额报撤单、报单流速控制等情况。 事前风控是指在交易指令发送到交易所前，对交易指令进行风险检...阅读全文
