引言 ECHO（Echo Protocol，回绕协议，应答协议，如linux中的echo命令），用于查错及测量应答时间（运行在TCP和UDP协议上）本文示例为echo协议，服务器只需把收到的客户端的请求数据发给这个客户端即可，其它什么功能都不做。 tcp/ip是一个协议簇（族），TCP（传输控制协议）和IP（网际协议）是此协议簇的核心。七层OSI模型中，tcp/udp在传输层，而ip在网络层。 OSI七层协议由上到下分别是：应用层（http,https），表示层（简单地说不同计算机通信会话进行表示转化，使系统能够识别，把数据转换为能与接收者的系统格式兼容并适合传输的格式。），会话层（设置和维护电脑之间通信连接，ssh），传输层（TCP/UDP），网络层（网际协议IP），数据链路层（表头和表尾...阅读全文
一、Spark中的基本概念 （1）Application：表示你的应用程序 （2）Driver：表示main()函数，创建SparkContext。由SparkContext负责与ClusterManager通信，进行资源的申请，任务的分配和监控等。程序执行完毕后关闭SparkContext （3）Executor：某个Application运行在Worker节点上的一个进程，该进程负责运行某些task，并且负责将数据存在内存或者磁盘上。在Spark on Yarn模式下，其进程名称为 CoarseGrainedExecutor Backend，一个CoarseGrainedExecutor Backend进程有且仅有一个executor对象，它负责将Task包装成taskRunner，并从...阅读全文
前言 本文是在本人查阅部分资料，并综合了众多博客分析后，于此阐述的个人理解。若有错误，欢迎指正。 基本概念 用户空间和内核空间 操作系统核心-内核负责处理用户程序和硬件之间的驱动交互。内核是在用户程序（进程）和硬件之间一个中枢。目地：专门负责用户进程和硬件之间的交互，用户程序必须使用内核才能和计算机底层硬件进行交流。为了保证内核的安全，于是将内存划分开，比如针对linux 4G的内存空间，将最高的1G字节（从虚拟地址0xC0000000到0xFFFFFFFF），供内核使用，称为内核空间，而将较低的3G字节（从虚拟地址0x00000000到0xBFFFFFFF），供各个进程使用，称为用户空间。 进程切换 内核操作CPU上运行的进程，比如把正在CPU上运行的A进程切换为B进程，让另外一个进程等待...阅读全文
前言 事先说明这是鄙人看了一点入门文章总结的粗浅的知识， 并不保证理解完全正确，用来给自己知识梳理用。 websocket连接过程概述 WebSocket 建立连接需要先通过一个 http 请求进行和服务端握手。握手通过后连接就建立并保持了。浏览器先发送请求： GET / HTTP/1.1 Host: localhost:8080 Origin: [url=http://127.0.0.1:3000]http://127.0.0.1:3000[/url] Connection: Upgrade Upgrade: WebSocket Sec-WebSocket-Version: 13 Sec-WebSocket-Key: w4v7O6xFTi36lq3RNcgctw== 服务端返回一个请求： ...阅读全文
前言碎语 JVM内存模型，java GC垃圾内存回收，Jvm性能调优等等是个老生常谈的话题，故将官方JVM参数详情直译（Google翻译）记录在此，以备做jvm参数调优之时方便查询，同时给大家提供便利 jvm1.8参数详情： -Xcomp 在第一次调用时强制编译方法。默认情况下，客户端VM（-client）执行1,000个已解释的方法调用，Server VM（-server）执行10,000个已解释的方法调用以收集有效编译的信息。指定该-Xcomp选项会禁用已解释的方法调用，从而以牺牲效率为代价来提高编译性能。 您还可以使用该-XX:CompileThreshold选项在编译之前更改已解释的方法调用的数量。 -Xloggc：filename 设置应将重定向的GC事件信息重定向到的文件以进行日...阅读全文
1.X 就是 X Window System ，1984年由MIT研发，它的设计哲学之一是：提供机制，而非策略。 主要特点：1，Server/Client网络模型。2，通过扩展使它保持”与时俱进”。 Linux内核是没有GUI图形显示的，X Window的目标就是提供GUI的显示。 为啥要命名为X呢，因为英文字母X就在W(indow)后面，戏称为下一版的新视窗之意。XFree86 『 X + Free software + x86硬件 』 @在 Unix Like 上面的圖形使用者介面 (GUI) 被稱為 X 或 X11； @X11 是一個『軟體』而不是一個作業系統； @X11 是利用网络架构来进行图形界面的执行与绘制； @較著名的 X 版本為 X11R6 這一版，目前大部分的 X 都是這一...阅读全文
Full GC Full GC 就是收集整个堆，包括新生代，老年代，永久代(在JDK 1.8及以后，永久代会被移除，换为metaspace)等收集所有部分的模式 RednaxelaFX大在Major GC和Full GC的区别是什么？触发条件呢？- 知乎这个问题有关于 GC分类的回答： 针对 HotSpot VM的实现，它里面的GC其实准确分类有两种: Partial GC(局部 GC): 并不收集整个 GC 堆的模式 Young GC: 只收集young gen的GC，Young GC还有种说法就叫做 "Minor GC" Old GC: 只收集old gen的GC。只有垃圾收集器CMS的concurrent collection 是这个模式 Mixed GC: 收集整个young gen...阅读全文
1、概述 首先要看TCP/IP协议，涉及到四层：链路层，网络层，传输层，应用层。 其中以太网（Ethernet）的数据帧在链路层 IP包在网络层 TCP或UDP包在传输层 TCP或UDP中的数据（Data)在应用层 它们的关系是 数据帧｛IP包｛TCP或UDP包｛Data｝｝｝ 不同的协议层对数据包有不同的称谓，在传输层叫做段(segment)，在网络层叫做数据报(datagram)，在链路层叫做帧(frame)。数据封装成帧后发到传输介质上，到达目的主机后每层协议再剥掉相应的首部，最后将应用层数据交给应用程序处理。 在应用程序中我们用到的Data的长度最大是多少，直接取决于底层的限制。 我们从下到上分析一下： 1.在链路层，由以太网的物理特性决定了数据帧的长度为(46＋18)－(1500＋...阅读全文
目录 MQTT、CoAP、HTTP区别 1. 协议栈： 2. 请求方式 3. 通讯消息格式： 4. 使用特点与使用场景 5.客户端平台差异 6.防火墙容错 MQTT、CoAP、HTTP介绍 CoAP协议 简介 CoAP与MQTT的区别： HTTP协议 简介 HTTP与CoAP的区别 MQTT协议 简介 特性 对于传统的HTTP和MQ协议，MQTT的优势在哪里呢？ MQTT协议的缺陷以及MQTT+概念的提出 MQTT、CoAP、HTTP区别 从这几个层面进行比较与描述： 1. 协议栈： MQTT： TCP 长链接， CoAP： UDP 低功耗短连接， HTTP： TCP 2. 请求方式 MQTT： 发布订阅， CoAP： request/ response， HTTP： request/ re...阅读全文
我在尝试运行连接到Elasticsearch的应用程序时收到此错误消息。An attempt was made to call the method org.elasticsearch.client.RestHighLevelClient.
前言 前一篇「硬不硬你说了算！近 40 张图解被问千百遍的 TCP 三次握手和四次挥手面试题」得到了很多读者的认可，在此特别感谢你们的认可，大家都暖暖的。 来了，今天又来图解 TCP 了，小林可能会迟到，但不会缺席。 迟到的原因，主要是 TCP 巨复杂，它为了保证可靠性，用了巨多的机制来保证，真是个「伟大」的协议，写着写着发现这水太深了。。。 本文的全部图片都是小林绘画的，非常的辛苦且累，不废话了，直接进入正文，Go！ 正文 相信大家都知道 TCP 是一个可靠传输的协议，那它是如何保证可靠的呢？ 为了实现可靠性传输，需要考虑很多事情，例如数据的破坏、丢包、重复以及分片顺序混乱等问题。如不能解决这些问题，也就无从谈起可靠传输。 那么，TCP 是通过序列号、确认应答、重发控制、连接管理以及窗口控...阅读全文
在进入正题前先来谈谈操作系统内存管理机制的发展历程，了解这些有利于我们更好的理解目前操作系统的内存管理机制。 一 早期的内存分配机制 在早期的计算机中，要运行一个程序，会把这些程序全都装入内存，程序都是直接运行在内存上的，也就是说程序中访问的内存地址都是实际的物理内存地址。当计算机同时运行多个程序时，必须保证这些程序用到的内存总量要小于计算机实际物理内存的大小。那当程序同时运行多个程序时，操作系统是如何为这些程序分配内存的呢？下面通过实例来说明当时的内存分配方法： 某台计算机总的内存大小是128M，现在同时运行两个程序A和B，A需占用内存10M，B需占用内存110。计算机在给程序分配内存时会采取这样的方法：先将内存中的前10M分配给程序A，接着再从内存中剩余的118M中划分出110M分配给程...阅读全文
随着新一轮SaaS风潮的到来，企业对SaaS软件的接受度不断提高。 根据国际咨询公司Gartner的研究报告显示，2020年有36%的企业将使用云技术来支持超过企业一半的交易。 你是否正在考虑将企业业务迁移到云端，是否正在为寻找合适的SaaS软件而烦恼？ 接下来，与CORNERSTONE一起探讨企业该如何选择合适的SaaS软件。 一、什么是SaaS？ 。这就是一般意义上的短连接，短连接的好...阅读全文
回顾本系列的第一部分，重点讲述了操作系统调度器的各个方面，这些知识对于理解和分析 Go 调度器的语义是非常重要的。在本文中，我将从语义层面解析 Go 调度器是如何工作的，并重点介绍其高级特性。Go 调度器是一个非常复杂的系统，我们不会过分关注一些细节，而是侧重于剖析它的设计模型和工作方式。我们通过学习它的优点以便够做出更好的工程决策。 开始 当 Go 程序启动时，它会为主机上标识的每个虚拟核心提供一个逻辑处理器（P）。如果处理器每个物理核心可以提供多个硬件线程（超线程），那么每个硬件线程都将作为虚拟核心呈现给 Go 程序。为了更好地理解这一点，下面实验都基于如下配置的 MacBook Pro 的系统。 可以看到它是一个 4 核 8 线程的处理器。这将告诉 Go 程序有 8 个虚拟核心可用于并...阅读全文
最近一段时间CPU漏洞的新闻可谓让人惊诧不已，一个最不可能、最不能被允许的关键设备竟然有硬件漏洞！这几天PC厂商最忙的事情就是推出补丁，用软件方式弥补硬件漏洞的错误。而且，这些措施还会导致CPU性能下降。但是这个漏洞究竟影响什么？你真需要为此而担忧吗？ 漏洞是真但不必害怕 漏洞存在这是千真万确的事情，但是你也不需要为此而担心——这个被证实影响了十几年来几乎大部分CPU的硬件缺陷确实存在，只是这个漏洞的技术细节没有（也不可能）公之于众。 事情要从去年说起，谷歌旗下的Project Zero团队发现了一些由CPU“预测执行”（Speculative Execution）引发的芯片级漏洞，“Spectre”（变体1和变体2：CVE-2017-5753和CVE-2017-5715）和“Meltdow...阅读全文
@Around是一种建议类型，可确保方法执行前后的通知可以运行。 以下是@Around通知的语法： 语法 @Pointcut("execution(* com.yiibai.Student.getAge(..))") private void selectGetName(){} @Around("selectGetAge()") public void aroundAdvice(ProceedingJoinPoint proceedingJoinPoint){ System.out.println("[aroundAdvice] Around advice"); Object[] args=jp.getArgs(); if(args.length>0){ System.out.print("...阅读全文
自1970年以来，关系数据库用于数据存储和维护有关问题的解决方案。大数据的出现后，好多公司实现处理大数据并从中受益，并开始选择像 Hadoop 的解决方案。 Hadoop使用分布式文件系统，用于存储大数据，并使用MapReduce来处理。Hadoop擅长于存储各种格式的庞大的数据，任意的格式甚至非结构化的处理。 Hadoop的限制 Hadoop只能执行批量处理，并且只以顺序方式访问数据。这意味着必须搜索整个数据集，即使是最简单的搜索工作。 当处理结果在另一个庞大的数据集，也是按顺序处理一个巨大的数据集。在这一点上，一个新的解决方案，需要访问数据中的任何点（随机访问）单元。 Hadoop随机存取数据库 应用程序，如HBase, Cassandra, couchDB, Dynamo 和 Mong...阅读全文
1 Spring 版本 5.1.4.RELEASE 2 基本使用 2.1 开启对异步任务的支持 @EnableAsync和@Configuration类一起使用，如下所示，为整个Spring应用程序上下文启用注释驱动的异步处理 @Configuration @EnableAsync public class AppConfig { } 复制代码2.2 编写异步任务 @Component public class EmailService { @Async //无返回类型 public void send(String from, String to, String subject, String text) { //do send } @Async //有返回类型 public Future...阅读全文
在Spring中，可以方便地集成JMX。 那么第一个问题来了：什么是JMX？ JMX是Java Management Extensions，它是一个Java平台的管理和监控接口。为什么要搞JMX呢？因为在所有的应用程序中，对运行中的程序进行监控都是非常重要的，Java应用程序也不例外。我们肯定希望知道Java应用程序当前的状态，例如，占用了多少内存，分配了多少内存，当前有多少活动线程，有多少休眠线程等等。如何获取这些信息呢？ 为了标准化管理和监控，Java平台使用JMX作为管理和监控的标准接口，任何程序，只要按JMX规范访问这个接口，就可以获取所有管理与监控信息。 实际上，常用的运维监控如Zabbix、Nagios等工具对JVM本身的监控都是通过JMX获取的信息。 因为JMX是一个标准接口，...阅读全文
用户在使用mac系统安装或下载一些软件应用时，偶尔会出现“XXX软件已损坏”的情况，下面就来教大家遇到这种情况怎么解决： 1、MacOS 10.15及以上新系统出现应用提示损坏打不开的解决方法： 打开终端(屏幕下方Dock栏中的的小火箭图标“启动台”——“其他”——打开“终端”)，在终端中粘贴下面命令： sudo xattr -r -d com.apple.quarantine (* quarantine 后面有个空格) 打开屏幕下方的“访达(笑脸图标)”—选择左侧边栏的“应用程序”，再找到你需要处理的软件拖拽到命令后面，按回车后输入密码执行，举个例子，比如需要打开sketch应用的命令是： sudo xattr -r -d com.apple.quarantine /Application...阅读全文
事情从一个健身教练提及吧。程序员 李东，自称亚健康终结者，尝试使用互联网+的模式拓展本身的业务。在某款新开发的聊天软件琛琛上发布广告。golang 键盘说来就来。疯狂发送"李东"，回车发送！，"亚健康终结者"，再回车发送！面试 还记得四层网络协议长什么样子吗？算法 四层网络模型每层各司其职，消息在进入每一层时都会多加一个报头，每多一个报头能够理解为数据报多戴一顶帽子。这个报头上面记录着消息从哪来，到哪去，以及消息多长等信息。好比，mac头部记录的是硬件的惟一地址，IP头记录的是从哪来和到哪去，传输层头记录到是到达目的主机后具体去哪一个进程。网络 在从消息发到网络的时候给消息带上报头，消息和纷繁复杂的网络中经过这些信息在路由器间流转，最后到达目的机器上，接受者再经过这些报头，一步一步还原出发送...阅读全文
1.关于MTU MTU最大传输单元，这个最大传输单元实际上和链路层协议有着密切的关系，EthernetII帧的结构DMAC+SMAC+Type+Data+CRC由于以太网传输电气方面的限制，每个以太网帧都有最小的大小64Bytes最大不能超过1518Bytes，对于小于或者大于这个限制的以太网帧我们都可以视之为错误的数据帧，一般的以太网转发设备会丢弃这些数据帧。 由于以太网EthernetII最大的数据帧是1518Bytes这样，刨去以太网帧的帧头（DMAC目的MAC地址48bits=6Bytes + SMAC源MAC地址48bits=6Bytes + Type域2Bytes）14Bytes和帧尾CRC校验部分4Bytes那么剩下承载上层协议的地方也就是Data域最大就只能有1500Byte...阅读全文
author：skatetime：2009/12/09 linux删除文件后没有释放空间 今天发现一台服务器的home空间满了，于是要清空无用的文件，当我删除文件后，发现可用空间没有变化 os：centos4.7 现象： 发现当前磁盘空间使用情况： [root@ticketb ~]# df -hFilesystem Size Used Avail Use% Mounted on/dev/sda1 981M 203M 729M 22% /none 16G 0 16G 0% /dev/shm/dev/sda9 2.9G 37M 2.7G 2% /tmp/dev/sda7 4.9G 1.9G 2.7G 42% /usr/dev/sda8 2.9G 145M 2.6G 6% /var/dev/map...阅读全文
当今互联网到处存在着一些中间件(Middle Boxes),如NAT和防火墙,导致两个(不在同一内网)中的客户端无法直接通信. 这些问题即便是到了IPV6时代也会存在,因为即使不需要NAT,但还有其他中间件如防火墙阻挡了链接的建立. 目前部署的中间件多都是在C/S架构上设计的,其中相对隐匿的客户机主动向周知的服务端(拥有静态IP地址和DNS名称)发起链接请求. 大多数中间件实现了一种非对称的通讯模型,即内网中的主机可以初始化对外的链接,而外网的主机却不能初始化对内网的链接, 除非经过中间件管理员特殊配置. 前言 在中间件为常见的NAPT的情况下（也是本文主要讨论的）,内网中的客户端没有单独的公网IP地址, 而是通过NAPT转换,和其他同一内网用户共享一个公网IP. 这种内网主机隐藏在中间件后...阅读全文
free命令中的buffer和cached的比较最近在搞监控，突然看到我系统的内存要用完了，赶紧登录服务器看看，~]# dstat -m 16G内存就剩1G了。怎么回事，然后用free命令看了下~]# free -m 原来是cached占用较多，真正用的只有6773M，空闲是9307M。但是还是对cached占用这么多比较担心，所以就查了下，下面文章转载至http://blog.csdn.net/beacherlu/article/details/45871489经常遇到一些刚接触Linux的新手会问内存占用怎么那么多？ 在Linux中经常发现空闲内存很少，似乎所有的内存都被系统占用了，表面感觉是内存不够用了，其实不然。这是linux内存管理的一个优秀特性，在这方面，区别于Windows的内...阅读全文
1. 线程管理 （1）线程，有时被称为轻量级进程，是程序执行流的最小单元。一个标准的线程由线程ID，当前指令指针，寄存器集合和堆栈组成。另外，线程是进程中的一个实体，是被系统独立调度和分派的基本单位，线程自己不拥有系统资源，只拥有一点在运行中必不可少的资源，但它可与同属一个进程的其它线程共享进程所拥有的全部资源。 （2）进程（Process）定义了一个执行环境，包括它自己私有的地址空间、一个句柄表，以及一个安全环境；线程（thread）则是一个控制流，有自己的调用栈（call stack），记录了执行的历史。每个进程都包含一个或多个线程，当进程被初始化创建时系统为该进程创建第一个线程；当最后一个线程结束时，进程也随之结束。 说道这里就需要说到线程的工作模式： 进程中的线程既可以在用户模式下运...阅读全文
此文完全来自http://www.52z.com/info/html/26120.html，我没有进行任何修改！现对作者表示深切谢意！ 启动X主要有两种方法：一是Display Manager，如XDM、GDM、KDM，此种方法通过图形界面登录;另一种是通过xinit，此种方法适用于字符界面登录。我们常用于登录X的startx命令也是通过传递参数给xinit来启动X的，也就是说，最终启动X的是xinit。startx只是一个bash脚本。下面主要分析xinit一下初始化X的过程： 首先来看一看xinit命令的用法： xinit [[client] options ] [-- [server] [display] options] 可以看出，xinit初始化X是通过两个层面来进行的，即X cl...阅读全文
背景 又是一年一度的秋季校招开始了，以往的校招各个公司都会在公司现场或者学校现场安排学生进行现场面试？但是今年由于疫情的原因，不允许让同学在现场进行一个面试，所以今年的面试形式就从线下转到了线上，面试形式的转变，但是我们考核学生的方式依旧没有转变。校招的同学和社招的同学有很大的不同，他们没有丰富的工作经验，没有太多的项目经历，那么我们如何去衡量一个校招的同学呢？那就是基础和潜力，怎么去理解基础呢？俗话说不积跬步,无以至千里,不积小流,无以成江海，如果没有一个好的基础那么怎么才能成为一个优秀的工程师呢。如何去考察一个学生基础的好坏呢？我觉得有三个方面比较重要，计算机网络，操作系统以及算法和数据结构，通常来说计网考察得特别多，常见的一些问题：网络模型分层TCP和UDP的区别TCP三次握手和四次挥...阅读全文
文章目录 同步与异步 半同步/半异步模式 变体：半同步/半反应堆模式 改进：更高效的半同步/半异步模式 领导者/追随者模式 组件 ：句柄集、线程集、事件处理器 并发模式是指I/O处理单元和多个逻辑单元之间协调完成任务的方法。服务器主要有两种并发编程模式：半同步/半异步模式（half-sync/half-async）模式和领导者/追随者（Leader/Followers）模式 同步与异步 首先在这里要指出，这里的"同步"和“异步”与I/O模型中的”同步I/O“与“异步I/O”是两个完全不同的概念，不能将其混淆。 在I/O模型中，”同步I/O“和”异步I/O“主要的区别就是内核向应用程序通知的是哪种I/O事件（就绪事件/完成事件），以及由谁来完成I/O的读写操作（应用程序/内核）。 同步I/O：...阅读全文
学习地址1：https://pan.baidu.com/s/1OWDu5fNq_BXRUbLGrxzpJw 提取码：tjty 学习地址2：https://share.weiyun.com/Tp6ewDIJ 密码：6crcwd 今天跟大家交流一下关于开发一款数据库系统的相关事宜，从零开始，手把手带着大家一步步去实现这个功能，希望对大家有所帮助。 数据库系统是为适应数据处理的需要而发展起来的一种较为理想的数据处理系统，也是一个为实际可运行的存储、维护和应用系统提供数据的软件系统，是存储介质 、处理对象和管理系统的集合体。 数据库系统DBS（Data Base System，简称DBS）通常由软件、数据库和数据管理员组成。其软件主要包括操作系统、各种宿主语言、实用程序以及数据库管理系统。数据库由数...阅读全文
## SpringCloudAlibaba高并发仿斗鱼直播平台实战 download：https://www.zxit666.com/6371/ Dubbo服务调用原理剖析 段落一：简介 Dubbo是一款高性能、轻量级的分布式服务框架，主要用于解决分布式应用中的服务调用和管理问题。它提供了多种通信协议和负载均衡策略，支持服务的注册与发现、远程调用和容错处理等功能。 段落二：服务注册与发现 在Dubbo中，服务注册与发现是实现服务调用的基础。当服务提供者启动时，它会将自己的地址信息注册到注册中心。而服务消费者则从注册中心获取提供者的地址，并建立与提供者的连接。Dubbo支持多种注册中心，如Zookeeper、Consul等，通过注册中心的协调，实现了服务的动态发现和路由。 段落三：远程调用 D...阅读全文
Presentify Mac 破解版是mac上一款实用的屏幕绘制标注和鼠标高亮工具，可让您注释任何屏幕，突出显示光标等等，从而帮助您提供更好的演示。Presentify破解版是视频录制、教学视频的最佳工具。 [Presentify 在Mac App Store售价 30.00 元] Presentify 4.1.5 Mac 破解版 介绍 Presentify 是一个macOS菜单栏应用程序，可让您注释任何屏幕，突出显示光标等等，从而帮助您提供更好的演示，在线课程或视频教程。您可以在屏幕上注释任何内容，例如图像，视频，pdf，代码等。Presentify对于在线教学，录制视频教程，进行演示，远程工作等非常有用。 画在任何地方任何时候 您可以在任何屏幕上绘制或注释您希望。只需从菜单栏中选择“注释...阅读全文
系统玩转OpenGL+AI，实现各种酷炫视频特效 视频课程分享——系统玩转OpenGL+AI，实现各种酷炫视频特效，附源码。大家下载学习。 OpenGL（英语：Open Graphics Library，译名：开放图形库或者“开放式图形库”）是用于渲染2D、3D矢量图形的跨语言、跨平台的应用程序编程接口（API）。这个接口由近350个不同的函数调用组成，用来从简单的图形比特绘制复杂的三维景象。而另一种程序接口系统是仅用于Microsoft Windows上的Direct3D。OpenGL常用于CAD、虚拟实境、科学可视化程序和电子游戏开发。 作为独立于操作系统的开放的三维图形的软件开发包，在其基础上开发的应用程序能够简单方便的移植于各种平台。其具有七大功能： 1. 建立3D模型：OpenGL...阅读全文
一、美团数仓架构图如上图，是美团最新的数仓架构图。整个架构图分为三层，从下往上看，最下面一层是数据安全，包括受限域认证系统、加工层权限系统，应用层权限系统，安全审计系统，来保证最上层数据集成与处理的安全；中间一层是统一的元数据中心和全链路血缘，覆盖了全链路的加工过程；最上层根据数据的流向，分成数据集成，数据处理，数据消费，数据应用，四个阶段；在数据集成阶段，对于不同的数据来源（包括用户行为数据，日志数据，DB 数据，文件数据），都有相对应的数据集成系统，把数据收集到统一的存储之中，包括 Kafka 和 Hive 等。在数据处理阶段，有一个面向用户的数据开发平台（万象平台），可以使用两条数据处理链路来加工数据，一个是流式处理链路，一个是离线处理链路。数据加工好了之后，使用内部自研的 Delta...阅读全文
-javaagent 是 JVM 的一个命令行参数，用于指定一个或多个 Java 代理（Java Agent）JAR 文件，这些代理可以在 JVM 启动时或运行时动态地插入到应用程序中，以监控或修改其行为。Java Agent 的基本概念Java Agent 是一种特殊的 Java 程序，它利用 JVM 提供的 Instrumentation API 进行字节码操作，可以在以下方面发挥作用：性能监控：通过插桩监控代码执行的性能。AOP（面向切面编程）：动态地修改类的字节码，添加横切关注点。调试和分析：在运行时收集和分析应用数据。安全管理：增加 Java 安全管理功能。使用 -javaagent 参数-javaagent 允许你在 JVM 启动时加载一个或多个 Java Agent。它的基本语...阅读全文
 今天给大家讲讲关于Prometheus的知识，我们先来看看Prometheus的基本概念。 一、那么什么是Prometheus呢？ Prometheus 是一个开源的服务监控系统和时序数据库，其提供了通用的数据模型和快捷数据采集、存储和查询接口。它的核心组件Prometheus server会定期从静态配置的监控目标或者基于服务发现自动配置的自标中进行拉取数据，当新拉取到的数据大于配置的内存缓存区时，数据就会持久化到存储设备当中。 1.每个被监控的主机都可以通过专用的exporter 程序提供输出监控数据的接口，它会在目标...阅读全文
# HELP jvm_gc_collection_seconds Time spent in a given JVM garbage collector in seconds.# TYPE jvm_gc_collection_seconds summary#这是一个Summary指标，与Histogram类似，可以对指标数据进行采样 # 并发收集器 CMS(Concurrent Mark-Sweep) 以牺牲吞吐量为代价来获得最短回收停顿时间的垃圾回收器对于要求服务器响应速度的应用上，这种垃圾回收器非常适合。CMS是用于对tenured generation的回收，也就是年老代的回收，目标是尽量减少应用的暂停时间，减少full gc发生的几率，利用和应用程序线程并发的垃圾回收线程来标记清除年...阅读全文
 WPF（Windows Presentation Foundation）是微软推出的基于Windows 的用户界面框架，属于.NET Framework 3.0的一部分。它提供了统一的编程模型、语言和框架，真正做到了分离界面设计人员与开发人员的工作；同时它提供了全新的多媒体交互用户图形界面。 WPF（Windows Presentation Foundation）是由微软开发的桌面应用程序框架，用于创建现代化、高度交互和具有视觉吸引力的用户界面。它是 .NET Framework 的一部分，提供了一种基于 XAML（Ext...阅读全文
作者：Carlos Arilla翻译：bot（才云）校对：星空下的文仔（才云）在生产环境中，如何设置 Kubernetes 的 Limit 和 Request 对于优化应用程序和集群性能至关重要。矛盾的是，分布式系统旨在解决应用程序之间的资源共享问题（例如 Kubernetes），但它们面临的挑战之一却是如何正确共享资源。在以前，应用程序通常被设计为独立运行，并可以使用现有的所有资源。但随着企业应用程序数量的急剧增长和对系统稳定、弹性要求的提升，新格局下，应用程序之间需要共享相同的资源，这使得资源合理配置成了一个硬性要求。命名空间配额众所周知，Kubernetes 是允许管理员在命名空间中指定资源 Request 和 Limit 的，这一特性对于资源管理限制非常有用。但它目前还存在一定局限：...阅读全文
 WPF概念： WPF即Windows Presentation Foundation，翻译为中文“Windows呈现基础”，是微软推出的基于Windows Vista的用户界面框架，属于.NET Framework 3.0的一部分。它提供了统一的编程模型、语言和框架，真正做到了分离界面设计人员与开发人员的工作；同时它提供了全新的多媒体交互用户图形界面。 WPF特点 1、统一的编程模型 WPF提供的编程模型统一普通控件、语音、视频、文档3D等技术，这些媒体类型能够统一协调工作，降低了我们的学习成本。 2、与分辨率无关 WPF...阅读全文
 Qt向开发人员提供了可以轻松设计现代GUI和开发应用程序所必需的多种API。Qt可用于开发C++应用程序，也可使用Qt Quick进行开发。Qt Quick使用QML语言。QML是解释型语言，开发人员即使不熟悉C++知识，也可以用QML设计GUI。 Qt 版本说明 Qt 按照不同的版本发行，分为商业版和开源版 。 Qt 商业版为商业软件提供开发环境，它们提供传统商业软件发行版，并且提供在协议有效期内的免费升级和技术支待服务。而 Qt 开源版是为了开发自由而设计的开放源代码软件，它提供了和商业版本同样的功能，在 GNU 通用...阅读全文
 是否具备高并发、高性能、分布式、事件驱动框架设计能力，是优秀C++中高级工程师的分水岭，我将通过本文带领大家纯手写一个Reactor服务器，让大家可以高效掌握三高框架设计思维，同时让你对C++网络编程、线程、智能指针、C++11标准高阶技术等运用自如。 Reactor是一种事件驱动机制，和普通函数调用的不同之处在于：应用程序不是主动的调用某个API完成处理，而是恰恰相反，Reactor逆置了事件处理流程，应用程序需要提供相应的接口并注册到Reactor上，如果相应的事件发生，Reactor将主动调用应用程序注册的接口，这些...阅读全文
本文分享自天翼云开发者社区《将个人PC转变为高效的云电脑:理论、实践与优化》,作者:不知不觉在数字化时代的今天，我们越来越依赖互联网和计算机技术进行工作和生活。然而，传统的个人电脑（PC）在使用过程中存在一些限制，例如硬件资源的利用率不高、数据安全难以保障等。为了解决这些问题，我们可以将个人PC转变为高效的云电脑，通过远程访问和共享的方式来提高资源利用率和数据安全性。本文将详细探讨这一主题，包括理论、实践和优化的方法。一、理解个人PC与云电脑个人PC是一种独立的计算机设备，通常由用户自行购买和维护。而云电脑是一种基于云计算技术的虚拟化平台，用户可以通过网络远程访问云服务器上的计算、存储等资源。通过将个人PC转变为云电脑，我们可以充分利用云计算的优势，提高资源利用率和数据安全性。二、个人PC变...阅读全文
1、前言 随着互联网的发展，面对海量用户高并发业务，传统的阻塞式的服务端架构模式已经无能为力。本文旨在为大家提供有用的高性能网络编程的I/O模型概览以及网络服务进程模型的比较，以揭开设计和实现高性能网络架构的神秘面纱。 2、关于作者 陈彩华（caison）：主要从事服务端开发、需求分析、系统设计、优化重构工作，主要开发语言是 Java。 3、线程模型 上篇《高性能网络编程(五)：一文读懂高性能网络编程中的I/O模型》介绍完服务器如何基于 I/O 模型管理连接，获取输入数据，下面将介绍基于进程/线程模型，服务器如何处理请求。 值得说明的是，具体选择线程还是进程，更多是与平台及编程语言相关。 例如 C 语言使用线程和进程都可以(例如 Nginx 使用进程，Memcached 使用线程)，Java...阅读全文
【2024】kubernetes+DevOps云原生运维开发全栈架构师技术实战课程 给大家分享一套课程——【2024】kubernetes+DevOps云原生运维开发全栈架构师技术实战课程，附代码+PDF文档+软件下载。 Kubernetes是Google开源的一个容器编排引擎，它支持自动化部署、大规模可伸缩、应用容器化管理。在生产环境中部署一个应用程序时，通常要部署该应用的多个实例以便对应用请求进行负载均衡。 在Kubernetes中，我们可以创建多个容器，每个容器里面运行一个应用实例，然后通过内置的负载均衡策略，实现对这一组应用实例的管理、发现、访问，而这些细节都不需要运维人员去进行复杂的手工配置和处理。 kubelet是主要的节点代理，它会监视已分配给节点的pod，具体功能： 安装Po...阅读全文
【完结10章】高性能GO企业级APM监控系统实战 概述 ARM(Application Performance Monitoring)监控系统是一种用于监控和管理应用程序性能的工具。它通过收集应用程序运行时的各种指标数据，并将数据进行分析和可视化展示，帮助开发人员和运维人员找到应用程序中的性能瓶颈和问题。 APM监控系统具有以下功能特点: 1.实时监控:ARM监控系统可以实时地收集和分析应用程序的性能数据，包括但不限于CPU使用率、内存占用、网络延迟、数据库查询时间等。通过实时监控，可以快速发现和解决性能问题，避免对用户体验造成负面影响。 2.性能分析:ARM监控系统可以对应用程序的性能数据进行深入分析，帮助开发人员和运维人员找到性能瓶颈和问题的根本原因。通过性能分析，可以优化代码和配置提升...阅读全文
本文分享自天翼云开发者社区《HPC云化部署的优势和挑战》 作者:土豆炒肉丝HPC云化部署指的是将高性能计算（HPC）工作负载部署在云计算平台上，这种方式带来了一些明显的优势，但同时也面临一些挑战。以下是HPC云化部署的主要优势和挑战： 优势：1.灵活性和弹性：云计算平台提供灵活的资源调度和弹性伸缩功能，可以根据需要动态分配计算资源。这使得HPC应用能够更加高效地利用计算资源，根据实际需求进行资源扩展或收缩，从而降低成本。2.成本效益：传统HPC集群的建设和维护需要昂贵的硬件设备和专业技术团队。通过在云平台上进行部署，用户无需投资大量资金购买硬件设备，而是按需付费，只支付实际使用的资源，节省了大量成本。3.全球可访问性：云计算平台的服务通常分布在多个地理位置，用户可以从世界各地的终端设备访问这...阅读全文
本文分享自天翼云开发者社区《NUMA架构介绍及优缺点分析》，作者:郁****航什么是NUMA架构1、概念NUMA（Non-Uniform Memory Access，非统一内存访问）架构是一种针对多处理器系统的内存组织方式。在这种架构中，处理器被分配到不同的节点，每个节点拥有自己的本地内存。处理器可以访问本地内存和其他节点的内存，但访问本地内存的速度要快于访问其他节点的内存。 2、设计原理NUMA架构的设计原理主要是为了解决多处理器系统中的内存访问瓶颈问题。随着处理器数量的增加，内存带宽需求也会相应提高。然而，在传统的统一内存访问（UMA）架构中，所有处理器共享同一块内存，导致内存访问延迟增加、内存带宽成为系统性能的瓶颈。NUMA架构通过将内存分配到各个节点，使处理器优先访问本地内存，降低内...阅读全文
WPF框架系列课程（小白进阶选择） 参考资料下载地址1：https://pan.baidu.com/s/1RzeBXGIRPbsAJcScF8xvVQ 提取码：rbp8 参考资料下载地址2：https://share.weiyun.com/VAU3sFU2 密码：9cqtcj 本文将从零基础开始讲解WPF控件、数据绑定、模板样式、资源字典、命令系统、依赖属性、路由事件、动画行为等一系列的知识，内容包含WPF的数据绑定、MVVM概念与实操、样式、模板、命令、依赖属性、路由事件、行为、自定义控件、3D、动画等高级知识，想学习wpf的小伙伴可以认真阅读本文，希望我的文章对大家有所帮助。 首先，我们先来认识wpf，那么什么是wpf呢？ WPF（Windows Presentation Foundat...阅读全文
