通过云服务器 CVM 连接云数据库 MongoDB 可以进行数据导入和导出，请注意使用最新版本的 MongoDB 客户端套件，具体操作可参见 连接实例。注意local 数据库主要存储副本集的配置信息、oplog 等元数据；admin 数据库则主要存储用户、角色等信息。为了防止数据错乱、鉴权失败等现象发生，云数据库 MongoDB 禁止将 local 和 admin 数据库导入实例。导出导入命令MongoDB 官方提供了两套数据导入导出工具：mongodump 和 mongorestore mongoexport 和 mongoimportmongodump 和 mongorestore进行整库导出导入时，通常使用 mongodump 和 mongorestore，这一对组合操作的数据是 BS...阅读全文
饿了么技术团队花了1年多的时间，实现了业务的整体异地多活，能够灵活的在多个异地机房之间调度用户，实现了自由扩容和多机房容灾的目标。本文介绍这个项目的整体结构，还简要介绍实现多活的5大核心基础组件，为读者建立基本的概念模型，后续会有系列文章陆续介绍每个组件的实现细节。读者能够从中了解到做异地多活的大方向，为实现自己的异地多活，或者是容灾备份提供参考。背景：为什么要做异地多活？饿了么要做多活，是受业务发展的驱动，经过几年的高速发展，我们的业务已经扩大到单个数据中心撑不住了，主要机房已经不能再加机器，业务却不断的要求加扩容，所以我们需要一个方案能够把服务器部署到多个机房。另外一个更重要的原因是，整个机房级别的故障时有发生，每次都会带来严重的后果，我们需要在发生故障时，能够把一个机房的业务全部迁移到...阅读全文
代码编译的结果从本地机器码转变为字节码，是存储格式发展的一小步，却是编程语言发展的一大步。 概述 栈帧（Stack Frame）是用于支持虚拟机进行方法调用和方法执行的数据结构。它是虚拟机运行时数据区中的虚拟机栈的栈元素。 栈帧存储了方法的局部变量表、操作数栈、动态连接和方法返回地址等信息。 每一个方法从调用开始至执行完成的过程，都对应着一个栈帧在虚拟机里面从入栈到出栈的过程。 在编译程序代码的时候，栈帧中需要多大的局部变量表，多深的操作数栈都已经完全确定了。 因此一个栈帧需要分配多少内存，不会受到程序运行期变量数据的影响，而仅仅取决于具体的虚拟机实现。 在活动线程中，只有位于栈顶的栈帧才是有效的，称为当前栈帧，与这个栈帧相关联的方法称为当前方法。 局部变量表 我们在Java内存区域中在虚拟...阅读全文
ElasticSearch学习笔记之九 复杂数据类型和嵌套对象 复杂数据类型空域数组域多层级对象内部对象的映射内部对象的索引内部对象数组 嵌套对象嵌套对象映射 复杂数据类型 除了前面说到的简单数据类型，Elasticsearch还支持JSON 的null ，数组，和对象. 空域 字段取值可以为空，当然，数组也可以为空。 然而，在 Lucene 中是不能存储 null 值的，所以我们认为存在 null 值的域为空域。 下面三种域被认为是空的，它们将不会被索引： "null_value": null, "empty_array": [], "array_with_null_value": [ null ] 数组域 很多时候，我们希望 tag 域 包含多个标签。我们可以以数组的形式索引标签： { ...阅读全文
1、arthas操作class、classloader的常用命令 （1）classloader - 查看 classloader 的继承树，urls，类加载信息，使用 classloader 去 getResource （2）dump - dump 已加载类的 byte code 到特定目录 （3）jad - 反编译指定已加载类的源码 （4）mc - 内存编译器，内存编译.java文件为.class文件 （5）redefine - 加载外部的.class文件，redefine 到 JVM 里 （6）retransform - 加载外部的.class文件，retransform 到 JVM 里 （7）sc - 查看 JVM 已加载的类信息 （8）sm - 查看已加载类的方法信息 2、替换cal...阅读全文
ES系列之原来查看文档数量有这么多姿势犀牛饲养员发布于 2020-04-03 1、引言 有人可能觉得，查看文档数量不是很简单吗？直接 GET /_cat/count/index_name?v 不就可以了吗。 事实上远不止这么简单，比如嵌套文档的情况等。相信你看了我这篇文章之后你会感叹原来统计文档有这么多讲究啊。 2、正文 cat/count 首先是最常用的的方式，也是一种快速查询文档的优先推荐方式，cat count api我们使用kibana自带的电商索引来实验。 GET _cat/count/kibana_sample_data_ecommerce?v 返回， epoch timestamp count 1585910697 10:44:57 4675 cat count api的方式能...阅读全文
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录 一、现象二、解决方法1.问题进一步描述2. 解决方法 总结 一、现象 IDEA启动springboot项目，提示java: java.lang.IllegalArgumentException，没有多余的信息，百度之后都是让修改idea的Java compiler，但是我全都设置的Java8，所以没头绪。 二、解决方法 1.问题进一步描述 谷歌搜了一下，发现Jetbrains的官网有人提这个问题，大致浏览了下，描述和我的问题一致。再看描述产生这个问题的条件：简单描述下，就是IDEA 2020.3版本会复现这个问题，如果升级到2020.4就没有该问题，而且后面的添加提问是说2020.3.1.RC版本也会有这个问题。 链...阅读全文
学习地址1：https://pan.baidu.com/s/14sTSypnp6u4RSYLLkGJiLg 提取码: jn7s 学习地址2：https://share.weiyun.com/SNltUNLW 密码：zi3dc7 我们今天讲的实际上是一个工作在 HTTP 七层协议的网关，它主要做的有几件事情： 第一，公网入口。它作为我们公有云服务的一个入口，可以把公有云过来的请求定向到用户的资源上面去。 第二，对接后端资源。我们云开发有很多内部的资源，像云函数、容器引擎这样的资源，便可以把请求对接到这样的云资源上面去。 第三，身份鉴权。云开发有自己的一套账号身份体系，请求里如果是带有身份信息的，那么网关会对身份进行鉴权。 那么该如何操作呢？非常简单，只需要三个步骤。 第一步，把function...阅读全文
目录一、概述二、Grafana Alerting 模块介绍三、配置图表四、告警告警规则五、配置告警通道（Contact points）1）Email1、配置smtp（grafana.ini）2、配置消息模板3、配置告警通道2）WebHook1、编写webhook api服务2、在grafana页面上配置3）Alertmanager 一、概述 在版本4.0+ grafana中增加了Alerting 告警模块，丰富了grafana功能，以前告警需要借助AlertManager，但是有grafana告警模块之后就可以不使用AlertManager告警了，但是grafana也支持对接AlertManager，所以还是非常方面，又可以省区一个组件的维护和资源开销。 下图概述了 Grafana 告警的工...阅读全文
 一个完整的在线办公系统具备哪些功能： 1、线下会议管理功能 2、审批会议申请功能 3、 TRTC在线视频会议功能 4、罚款模块 5、请假管理 6、报销管理 那么，如何去开发这样一个在线办公的系统，这样的系统用到哪些技术才能实现？接下来，我将带着大家一步步来开发这样的办公系统。 这个项目我用的技术有：SpringBoot 2.4.1，SpringMVC 5.3.1，MyBatis 3.5.7，VUE 3.0.3，ElementUI plus 1.0.2。 第一步，环境搭建 数据库mysql我用的是8.0版本，使用Navica...阅读全文
 在现如今的信息化时代，相信各位读者对于“操作系统”这四个字并不陌生。例如我们常常使用的Windows、安卓、IOS、MacOS以及Linux等，都属于操作系统。操作系统，是现如今信息化时代中不可或缺的一种软件。 Linux操作系统是一种开源的、基于Unix的操作系统。它最初由芬兰计算机科学家Linus Torvalds在1991年开发，并得到了全球范围内广泛的应用和支持。 Linux操作系统具有稳定性、安全性、可靠性和灵活性等特点，广泛应用于服务器领域，也被许多个人用户选择作为他们的主要操作系统。Linux提供了丰富的命令...阅读全文
 一、什么是系统架构设计师 系统架构设计师，属于计算机技术与软件（高级）专业技术资格。考试合格人员能够根据系统需求规格说明书，结合应用领域和技术发展的实际情况，考虑有关约束条件，设计正确、合理的软件架构，确保系统架构具有良好的特性；能够对项目的系统架构进行描述、分析、设计与评估；能够按照相关标准编写相应的设计文档；能够与系统分析师、项目管理师相互协作、配合工作；具有高级工程师的实际工作能力和业务水平。 二、系统架构的概述 自1946年世界上第一台计算机诞生，对人类的计算工具产生了革命性变革。冯诺依曼提出了计算机由运算器，控制...阅读全文
HBase启用压缩 HBase 创建表时默认压缩为 NONE ，即没有压缩，除非指定。 目前 HBase 主要支持 4 种压缩方式：GZ（GZIP），SNAPPY，LZO，LZ4。 1. 压缩算法的比较 算法压缩比压缩解压GZIP13.4%21MB/s118MB/sLZO20.5%135MB/s410MB/sSnappy/Zippy22.2%172MB/s409MB/s 总结： GZIP的压缩率最高，但它是CPU密集型的，对CPU的消耗较多，压缩和解压速度也慢；LZO的压缩率居中，比GZIP要低一些，但是压缩和解压速度明显要比GZIP快很多，其中解压速度快的更多；Zippy/Snappy的压缩率最低，而压缩和解压速度要稍微比LZO要快一些 所以，一般情况下，推荐使用Snappy和Zippy压...阅读全文
 给大家整理了一些关于C++大厂面试2024最新真题，希望能够帮助到大家的面试： 1、synchronized 关键字和 volatile 关键字的区别 synchronized 关键字和 volatile 关键字是两个互补的存在，而不是对立的存在！ volatile 关键字是线程同步的轻量级实现，所以volatile 性能肯定比synchronized关键字要好。但是volatile 关键字只能用于变量而 synchronized 关键字可以修饰方法以及代码块 volatile 关键字能保证数据的可见性，但不能保证数据的原...阅读全文
-javaagent 是 JVM 的一个命令行参数，用于指定一个或多个 Java 代理（Java Agent）JAR 文件，这些代理可以在 JVM 启动时或运行时动态地插入到应用程序中，以监控或修改其行为。Java Agent 的基本概念Java Agent 是一种特殊的 Java 程序，它利用 JVM 提供的 Instrumentation API 进行字节码操作，可以在以下方面发挥作用：性能监控：通过插桩监控代码执行的性能。AOP（面向切面编程）：动态地修改类的字节码，添加横切关注点。调试和分析：在运行时收集和分析应用数据。安全管理：增加 Java 安全管理功能。使用 -javaagent 参数-javaagent 允许你在 JVM 启动时加载一个或多个 Java Agent。它的基本语...阅读全文
学习资料地址1：https://pan.baidu.com/s/1mpYHRFi68lzNuA8neYI15w 提取码：pwjd 学习资料地址2：https://share.weiyun.com/tnVNHGMD 密码：3fj7iy 自动驾驶是高安全型应用，需要高性能和高可靠的深度学习模型，Vision Transformer是理想的选摔。现在主流的自动驾驶感知算法基本都使用了Vision Transformer相关技术，比如分割、2D/3D检测，以及最近大火的大模型 (如SAM)，Vision Transformer在自动驾驶领域的落地方面遍地开花。5一方面，在自动驾驶或图像处理相关算法岗位的面试题中，Vision Transformer是必考题，需要对其理论知识有深入理解，并且在项目中真...阅读全文
 今天给大家讲讲关于Prometheus的知识，我们先来看看Prometheus的基本概念。 一、那么什么是Prometheus呢？ Prometheus 是一个开源的服务监控系统和时序数据库，其提供了通用的数据模型和快捷数据采集、存储和查询接口。它的核心组件Prometheus server会定期从静态配置的监控目标或者基于服务发现自动配置的自标中进行拉取数据，当新拉取到的数据大于配置的内存缓存区时，数据就会持久化到存储设备当中。 1.每个被监控的主机都可以通过专用的exporter 程序提供输出监控数据的接口，它会在目标...阅读全文
 《从0到1训练私有大模型 ，企业急迫需求，抢占市场先机》完结11章，深入企业需求，从Chat背后原理、技术、不同大模型知识开始，带你从0到1训练出一个大模型，运用PEFT技巧微调大模型解决场景需求，最后用LangChain+训练的大模型搭建知识库问答。让你掌握大模型LLM构建的原理、技术、流程与实战，超越大多数竞争者，抢占先机，脱颖而出。 第1章 课程介绍 第2章训练模型与开发平台环境 第3章 chatGPT初始技术词向量原理剖析与实战 第4章 chatGPT基石模型基于Transformer架构的语言模型 第5章基于T...阅读全文
java的项目环境 javaweb项目环境配置 JavaWeb系统开发环境配置开发环境的配置是学习一门技术的首要任务，下面是我对JavaWeb系统开发环境配置的过程进行了记录，希望能对你我有益。目录配置JDK环境配置Tomcat输出第一个网站内容一、配置JDK环境直接在百度中搜索JDK，在官网中下载你所需要的JDK到本地，接着点击安装后就需要在自己的电脑中配置系统环境了，具体步骤是：打开你的电脑查看属性，找到高级系统设置打开环境变量配置。开始环 java的项目环境 java jdk web服务器 JAV...阅读全文
 一、什么是系统架构设计师 系统架构设计师(System Architecture Designer）是项目开发活动中的关键角色之一。系统架构是系统的一种整体的高层次的结构表示，是系统的骨架和根基，其决定了系统的健壮性和生命周期的长短。 系统架构设计师(系统架构设计器)是项目开发活动中的关键角色之一。系统架构是系统的一种整体的高层次的结构表示，是系统的骨架和根基，其决定了系统的健壮性和生命周期的长短.本章首先从架构定义、发展历程、典型架构和未来发展等方面概要说明，给读者建立一个架构的整体概念；然后对系统架构设计师的定义、职责...阅读全文
9月27日，以“国云筑基 智算引擎——人工智能大模型 推动贵州数字经济新跨越”为主题的天翼云中国行·贵州站活动顺利召开。会上举行了天翼云算力创新服务及天翼云政务大模型“慧泽”发布暨中国电信天翼云大模型训练中心揭牌、人工智能大模型应用推广行动启动仪式。天翼云科技有限公司党委书记、董事长、总经理胡志强出席仪式并发表演讲，分享了天翼云在算力、平台、安全三方面的智算能力升级，以及基于国云底座构建繁荣的大模型生态的构想和做法，并发布天翼云政务大模型“慧泽” 。国云三大升级构建AI时代强大基石大模型的出现标志着人工智能生产范式的变革，也带来了经济社会发展效率的显著提升。随着大模型应用的逐渐深入，面向垂直行业的场景化需求尤为迫切，大模型训练和应用走向行业深度定制成为重要趋势。但大模型从通用走向行业深度定...阅读全文
学习地址1：https://pan.baidu.com/s/1ZRXwqCAftn58QFequHD4jA 提取码：xs2i 学习地址2：https://share.weiyun.com/2pn97By4 密码：c58ghh 一站式通关CKA证书-Kubernetes管理员认证（CKA）。今天给大家讲讲关于Kubernetes 认证管理员（CKA）考试的相关知识，其中包含最新考纲、考试报名注意事项、真题实战演练、高频考点提炼、备考冲刺答疑等等，旨在帮助大家快速通过CKA认证考试。 我在本文将以k8s1.27版本跟大家讲解，这个版本也是2023年比较新的一个版本，带领大家一站式通关CKA证书！ 首先，我们先来了解什么是CKA？拿到这个证书后，对我们找工作又有哪些帮助？以及相关的薪资待遇如何？ ...阅读全文
 大厂偏爱的Agent技术究竟是个啥，今天就跟大家聊聊。 Agent技术是在「客户端」机器上部署一个Agent进程，「客户端」与「服务端」的交互通过这个Agent进行代理，其中Agent与Client通常在同一主机，即可通过「localhost」进行访问。 Agent关键技术和缺点 Agent关键技术有很多，看起来不难，但要做好，确实得下很多功夫： 资源隔离，这点通常使用cgroups技术 Agent生命周期管理，包括Agent的上线、升级、灰度、下线等等的管理，需要有统一的管控平台，否则Agent的管理将会非常头疼 进程间...阅读全文
目录 1、根节点包含的属性 2、根节点的子节点 2.1、设置上下文名称： 2.2、设置loger、root 正文 回到顶部 1、根节点
 音视频技术涉及广泛。包括语音信号处理、数字图像处理、信息论、封装格式、编解码、流媒体协议、网络传输、渲染、算法等方面。在现实生活中，音视频也扮演着越来越重要的角色，比如 视频会议、直播、短视频、播放器、语音聊天 等。接下来将从几个维度进行介绍：简单理解音视频原理、音视频理论基础、音视频学习路线、媒体协议和音视频发展方向。 一、C++音视频需要掌握哪些技术 1、搞音视频必须有扎实的C/C++开发语言基础、 JNI基础，学会如何交叉编译 FFmpeg 等 C/C++库； 2、其次，我们需要阅读大量的音视频规范/协议文档（如H2...阅读全文
## 引言 在 Java 应用中，尤其是在使用本地库（如通过 JNI 接口调用）的场景下，崩溃和 core dump（核心转储）的问题时有发生。这样的崩溃不仅会中断应用的正常运行，还会带来大量调试和排查的工作。本文将介绍如何使用 dmesg 和 gdb 工具分析和诊断 Java 应用的 core dump 问题，特别是在使用 Snappy 库时遇到的问题。 ## 使用 dmesg 检查 core dump 信息 当一个应用崩溃时，首先应该查看内核消息日志。dmesg 命令可以帮助我们快速获取内核日志并查看崩溃的详细信息。 示例 运行 dmesg 命令来查看最新的内核消息： dmesg | grep -i "segfault" 输出中可能包含类似以下信息： 123456.789012] mya...阅读全文
Springboot+ChatGLM 实战AI数字人面试官系统【14章】 ChatGLM 模型概述 ChatGLM 是一类基于自回归语言模型的生成式预训练模型，专门设计用于处理对话系统中的自然语言生成任务。ChatGLM 模型依托于 Transformer 架构，具备高度并行化的计算能力，并能够捕捉长距离的语言依赖关系。在预训练过程中，ChatGLM 通过海量的无监督语料进行学习，能够生成流畅、连贯的自然语言文本，适用于智能对话、自动应答和内容生成等场景。 ChatGLM 模型的优势体现在其专注于对话任务的优化上，能够根据上下文生成具有逻辑性和一致性的回答。此外，通过对大规模数据进行预训练，ChatGLM 可以处理开放式问答、任务型对话等多种对话需求，表现出强大的多样性和灵活性。 ChatG...阅读全文
HBase 参数设置参考 前言HBase 配置参数极其繁多，参数配置可能会影响到 HBase 性能问题，因此得好好总结下。 HBase 调优是个技术活。得结合多年生产经验加测试环境下性能测试得出。 JVM垃圾回收优化 本地 memstore 分配缓存优化 Region 拆分优化 Region 合并优化 Region 预先加载优化 负载均衡优化 启用压缩，推荐snappy 进行预分区，从而避免自动 split，提高 HBase 响应速度 避免出现 region 热点现象，启动按照 table 级别进行 balance GCHBase CMS GC 配置参考 RS 参数hbase.server.thread.wakefrequency 该值默认是 10 秒，它影响着 Flush 和 Compac...阅读全文
使用 下面介绍了Java客户端连接Hbase的使用，1.2.0版本和2.3.4版本亲测下面使用的API都是一致的。（也猜测1.x版本 和2.x版本的应该基本一致）。Java连接Hbase也很简单，Maven中导入对应的 `hbase-client` 依赖即可。 1.pom配置
有幸在2019KubeCon上海站听到Steve Flanders关于OpenTelemetry的演讲，之前Ops领域两个网红项目OpenTracing和OpenCensus终于走到了一起，可观察性统一的标准化已经扬帆起航。这篇文章旨在抛砖引玉，希望能够和更多的同学一起交流可观察性相关的内容。前世OpenTracingOpenTracing制定了一套平台无关、厂商无关的Trace协议，使得开发人员能够方便的添加或更换分布式追踪系统的实现。在2016年11月的时候CNCF技术委员会投票接受OpenTracing作为Hosted项目，这是CNCF的第三个项目，第一个是Kubernetes，第二个是Prometheus，可见CNCF对OpenTracing背后可观察性的重视。比如大名鼎鼎的Zipk...阅读全文
ValueError: 无法识别的配置类
LLM大语言模型算法特训，带你转型AI大语言模型算法工程师 给大家分享一套课程——LLM大语言模型算法特训，带你转型AI大语言模型算法工程师，源码+PDF课件下载。 大语言模型（LLM）是基于海量文本数据训练的深度学习模型。它不仅能够生成自然语言文本，还能够深入理解文本含义，处理各种自然语言任务，如文本摘要、问答、翻译等。 训练语言模型需要向其提供大量的文本数据，模型利用这些数据来学习人类语言的结构、语法和语义。这个过程通常是通过无监督学习完成的，使用一种叫做自我监督学习的技术。在自我监督学习中，模型通过预测序列中的下一个词或标记，为输入的数据生成自己的标签，并给出之前的词。 训练过程包括两个主要步骤：预训练（pre-training）和微调（fine-tuning）： 在预训练阶段，模型从...阅读全文
本篇文章使用的是 Prometheus v2.40 源码 转载请声明出处哦~，本篇文章发布于luozhiyun的博客：https://www.luozhiyun.com/archives/725 本篇文章主要是整理一下 Prometheus 的时序数据库是怎么存储以及管理数据的，希望这篇文章能给大家带来一定的启发。 概述 我们先来看看 Prometheus 的整个架构图： 对于 Prometheus Server 来说，整个数据处理流程分为三部分：Exporter 指标的收集、Scraper 数据的抓取、TSDB 数据的存储及查询；Exporter 其实不同的服务有不同的收集实现，类似 Mysqld-exporter、node exporter 等我们这里不做过多的解读，大家基本只需要知道它...阅读全文
Consul是由HashiCorp开发的一个支持多数据中心的分布式服务发现和键值对存储服务的开源软件，被大量应用于基于微服务的软件架构当中。Consul初体验用户可以通过Consul官网https://www.consul.io/downloads.html下载对应操作系统版本的软件包。Consul与Prometheus同样使用Go语言进行开发，因此安装和部署的方式也极为简单，解压并将命令行工具放到系统PATH路径下即可。在本地可以使用开发者模式在本地快速启动一个单节点的Consul环境：$ consul agent -dev==> Starting Consul agent...==> Consul agent running! Version: 'v1.0.7' Node ID: 'd7...阅读全文
Spring Security 跨站请求伪造保护 1. 前言 很多小伙伴在开发 Spring Security 项目时候，本地测试都没有问题，一放到生产环境后，就会遇到「Invalid CSRF Token」问题，这其实是 Spring Security 防止服务免受「跨站请求伪造」攻击攻击的防护行为。 跨站请求伪造（Cross Site Request Forgery），简写成「CSRF」或者「XSRF」，是一种挟持用户所用浏览器，执行非法操作的攻击方法，也就是说，攻击者利用「CSRF」漏洞伪造用户操作，可实现例如购物、注销等效果，还可以利用该漏洞配合产生其他多种攻击方式。 针对「CSRF」攻击最经济的解决方式是增加「Referer」头或者增加校验「Token」。 Spring Secur...阅读全文
介绍tsar 是淘宝自己开发的一个监控工具，可用于收集和汇总系统信息，例如CPU，负载，IO和应用程序信息，例如nginx，HAProxy，Squid等。结果可以存储在本地磁盘或发送到Nagios。tsar 可以通过自己开发模块轻松扩展，这使得它成为一个强大的监控工具。 总体架构Tsar是基于模块化设计的程序，程序有两部分组成：框架和模块。框架程序源代码主要在src目录，而模块源代码主要在modules目录中。框架提供对配置文件的解析，模块的加载，命令行参数的解析，应用模块的接口对模块原始数据的解析与输出。 模块提供接口给框架调用。tsar依赖与cron每分钟执行采集数据，因此它需要系统安装并启用crond，安装后，tsar每分钟会执行tsar –cron来定时采集信息，并且记录到原始日志文...阅读全文
split hbase是通过regionServer管理table的，一个table对应一个或多个region，hmaster将这些region根据集群负载分配给regionServer进行管理。若一个table没有进行预分区，那么只有一个region，初始化表时数据的读写都命中同一个regionServer，会造成热点问题，且region进行split时集群是不可用的，频繁的split也会造成大量的集群I/O，性能很低。 1、pre-splitting 在创建table时指定pre-splitting，预先生成多个region，结合合适的rowkey，这样可以很大程度上避免读写热点，每个region内部再按照一定的split-policy进行自动切分。 hbase提供了两种pre-spli...阅读全文
 flink实时规则营销系统（39期，2023版）——简单来说，本系统核心是一个基于事件驱动且可进行动态规则计算的实时系统，在技术上它是通用的；本套架构及系统内核，不仅可以用于“实时运营”，也可以用于“实时风控”，“实时推荐”，“实时交通监控”等场景。运营场景举例：下单促付款，新品发布信息精准送达。 本系统，在核心规则引擎之外，也集成了大量metric及跟踪数据输出，能在系统中及系统外进行多维度数据分析，以深度掌握各类市场运营活动的效果，以及系统运行的各类状态 什么是flink? flink是一个分布式，高性能，随时可用的以...阅读全文
网络视频（Web 视频）是指利用 HTML5 技术在浏览器中播放的视频，这类视频资源通常可以被随意下载，某些行业（比如教培行业）如果希望保护自己的视频资源不被下载，就需要对视频做防盗链处理。 防盗链需要着重加强两个方面的安全性：网络传输和客户端。 网络传输安全网络传输层面能做的不多，HTTPS是必要的，除此之外的防护措施效果也有限。 验证 Referer防盗链最常规的手段是验证Referer，而伪造Referer几乎零成本，所以它只防君子不防小人，没用。 请求防重放盗链可以理解成一种对静态资源的“重放攻击”，所以可以用应对重放攻击的思路来改造静态资源请求，通过一个动态接口返回静态资源，并且加入变量让动态请求短时间内失效，比如随机数、时间戳、流水号等等。 这种方式可以做到让链接地址没有复用价值...阅读全文
 为什么我们还要学C++ 因为在贴近底层、追求性能、降低功耗方面，C++几乎没有敌手，小到嵌入式、大到分布式，C++都是解决问题的利器，面向物联网的“嵌入式”开发和面向大型化的“分布式”开发都离不开它5G即来，C++在起势，你不抓住吗？ 一、选择编译器 在C++编程中，我们需要选择一个合适的编译器来将我们编写的源代码转换为可执行的二进制文件。目前常用的C++编译器有GCC、Clang和Microsoft Visual C++等。这里我们选择GCC作为示例。 二、安装GCC编译器 GCC编译器是一个开源的跨平台工具链，可以在多...阅读全文
前言本文会系统讲解链路传递一些基本概念，同时结合案例讲解链路传递的过程。Context、Propagator 的概念我们先看一张在 HTTP 通信下，进行链路传播的例子。图中是一个 Client 请求 Server 通信，同时 Client 把自己的链路信息传递给 Server 的过程可以看到，链路信息通过一个叫 TraceContext 对象封装起来，通过 Http Headers来存取这个对象，最后达到传播的效果，这里面 TraceContext 就是一个 Context 上下文对象。Context 是一种传播机制，它跨越 API 边界，在逻辑执行单元间传递执行范围的值。链路追踪系统在系统进程内部，进程间通过共享进程的 Context 上下文 对象传递链路信息。刚才 Http Heade...阅读全文
ChatGPT，作为当前技术革新的杰出产物，已经深刻改变了我们处理文本的方式。这个智能工具擅长多种任务，包括但不限于写作辅助、语言翻译、编程和创造性文案生成。通过简化繁琐的流程，ChatGPT极大地提高了我们日常工作和生活的效率。作为一款先进的文本生成器，用户只需向ChatGPT输入一段文字描述，它便能依据提供的信息生成一段回复。虽然不能完全保证每次生成的内容都能满足用户的具体要求，但ChatGPT具备学习优化的能力。通过用户不断地精炼问题和指令，ChatGPT可以更精确地调整其回应以满足用户需求。经验表明，当用户提供清晰、明确且详尽的指令时，ChatGPT更有可能输出符合期望的答案。在日常应用中，ChatGPT提升工作效率的优势尤为明显，它能迅速完成任务，同时降低成本。这个工具能够轻松处理...阅读全文
LLM应用开发平台特训营（20周） 什么是大语言模型（LLM） 通过海量文本训练的、能识别人类语言、执行语言类任务、拥有大量参数的模型，称之为大语言模型。GPT、LLaMA、Mistral、BERT等都是LLM，LLM是对训练文本信息的压缩，同时拥有了泛化能力，不同于数据库和搜索引擎，LLM能创造性地生成历史上没有出现过的文本内容。 LLM能做什么 总体可以概括为：创作内容、处理和分析数据、自动化任务、智能客服 • 写作：写邮件、计划书、宣传文案、简单的故事等，可以模仿小红书风格、指定作家风格，尤其适合写长篇套话，但目前要写出完整且有趣的小说还比较难。 • 润色：提供大纲或已有文本，由LLM来扩写、改写，适用于洗稿、避免被查重等场景。 • 总结：提供会议记录、文章，由LLM自动总结要点和待办...阅读全文
kafka 重试机制 kafka 消息的重试机制作为kafka 生产者端的数据不丢失的重要保障，对我们学习和理解kafka 大有裨益，前面我们学习kafka 生产者的时候，了解了kafka 异步生产者的Callback 机制，合理使用Callback机制也可以保证我们生产者端的数据不丢失，但是Callback我们往往是在重试机制之后使用的，也会是说重试之后依然失败的情况下，可以作为我们生产者端最后的保障。 重试源码 首先我们从KafkaProducer的send 方法入手我们看到其实客户端是不会直接发送数据的，而是将其加入到了一个缓存队列里面去，实例化KafkaProducer会实例RecordAccumulator，RecordAccumulator维护了一个Map，key为不同的主题和p...阅读全文
本文分享自天翼云开发者社区《虚拟化技术 - CPU虚拟化》，作者:谢****悦物理机器是由CPU，内存和I/O设备等一组资源构成的实体。虚拟机也一样，由虚拟CPU，虚拟内存和虚拟I/O设备等组成。VMM(VM Monitor)按照与传统OS并发执行用户进程的相似方式，仲裁对所有共享资源的访问。本文将分别讨论CPU虚拟化、内存虚拟化和I/O虚拟化技术的原理和实现。在虚拟化的平台上，虚拟机（guest VM）所使用的多个虚拟CPU（以下称vCPU）可能是共享同一个物理CPU（以下称pCPU）的。VMM负责vCPU的调度，当一个vCPU被调度到获得pCPU的使用权后，基于该vCPU运行的guest OS又可以调度OS中的各个线程/进程了。也就是说，guest OS中的各个线程/进程分时复用了vCP...阅读全文
Region自动切分是HBase能够拥有良好扩张性的最重要因素之一，也必然是所有分布式系统追求无限扩展性的一副良药。HBase系统中Region自动切分是如何实现的？这里面涉及很多知识点，比如Region切分的触发条件是什么？Region切分的切分点在哪里？如何切分才能最大的保证Region的可用性？如何做好切分过程中的异常处理？切分过程中要不要将数据移动？等等，这篇文章将会对这些细节进行基本的说明，一方面可以让大家对HBase中Region自动切分有更加深入的理解，另一方面如果想实现类似的功能也可以参考HBase的实现方案。 Region切分触发策略 在最新稳定版（1.2.6）中，HBase已经有多达6种切分触发策略。当然，每种触发策略都有各自的适用场景，用户可以根据业务在表级别选择不同的...阅读全文
prometheus的step，durations，rate interval，scrape interval对数据查询结果的影响 1、场景：在查询prometheus数据时出现很多诡异的现象 1、为什么同样的查询语句在不同的时间点查询，对过去某一时刻的数据展示却不一样 2、为什么有时候峰值在使用不同step，不同duration查询时，会不一样，甚至消失 3、为什么scrape interval变化了，会使某些规则的结果不准确 等等疑问 2、原理剖析：rate与irate，step，datapoint，scape_internal，instant vector selector，range vector selector 2-1、rate与irate的查询原理见之前博文：【博客486】pr...阅读全文
一、Spring Security简介 Spring Security是为基于Spring的应用程序提供声明式安全保护的安全性框架，它提供了完整的安全性解决方案，能够在web请求级别和方法调用级别处理身份证验证和授权。因为基于Spring框架，所以Spring Security充分利用了依赖注入和面向切面的技术。 Spring Security主要是从两个方面解决安全性问题： web请求级别：使用Servlet规范中的过滤器（Filter）保护Web请求并限制URL级别的访问。 方法调用级别：使用Spring AOP保护方法调用，确保具有适当权限的用户才能访问安全保护的方法。 想深入了解Spring Security的相关概念与实现原理，可点击传送门 ==》 Spring Security的...阅读全文
导读腾讯云 Elasticsearch Service（ES）是基于开源搜索引擎 Elasticsearch 打造的高可用、可伸缩的云端全托管的 Elasticsearch 服务，包含 Kibana 及常用插件，并集成了安全、SQL、机器学习、告警、监控等高级特性（X-Pack）。本文描述在实际使用中，经常会遇到的ES集群负载不均的问题，并结合多种场景进行分析、解决，以及如何避免。作者简介岳涛腾云忆想大数据产品架构师，多年分布式、高并发大数据系统的研发、系统架构设计经验，擅长主流大数据架构技术平台的落地和实施。目前专注于大数据架构相关组件的研究推广和最佳实践的沉淀，致力于帮助企业完成数字化转型。一、背景ES集群在某些情况下会出现CPU使用率高的现象，具体有两种表现：1. 个别节点CPU使用率...阅读全文
