通过云服务器 CVM 连接云数据库 MongoDB 可以进行数据导入和导出，请注意使用最新版本的 MongoDB 客户端套件，具体操作可参见 连接实例。注意local 数据库主要存储副本集的配置信息、oplog 等元数据；admin 数据库则主要存储用户、角色等信息。为了防止数据错乱、鉴权失败等现象发生，云数据库 MongoDB 禁止将 local 和 admin 数据库导入实例。导出导入命令MongoDB 官方提供了两套数据导入导出工具：mongodump 和 mongorestore mongoexport 和 mongoimportmongodump 和 mongorestore进行整库导出导入时，通常使用 mongodump 和 mongorestore，这一对组合操作的数据是 BS...阅读全文
代码编译的结果从本地机器码转变为字节码，是存储格式发展的一小步，却是编程语言发展的一大步。 概述 栈帧（Stack Frame）是用于支持虚拟机进行方法调用和方法执行的数据结构。它是虚拟机运行时数据区中的虚拟机栈的栈元素。 栈帧存储了方法的局部变量表、操作数栈、动态连接和方法返回地址等信息。 每一个方法从调用开始至执行完成的过程，都对应着一个栈帧在虚拟机里面从入栈到出栈的过程。 在编译程序代码的时候，栈帧中需要多大的局部变量表，多深的操作数栈都已经完全确定了。 因此一个栈帧需要分配多少内存，不会受到程序运行期变量数据的影响，而仅仅取决于具体的虚拟机实现。 在活动线程中，只有位于栈顶的栈帧才是有效的，称为当前栈帧，与这个栈帧相关联的方法称为当前方法。 局部变量表 我们在Java内存区域中在虚拟...阅读全文
ES系列之原来查看文档数量有这么多姿势犀牛饲养员发布于 2020-04-03 1、引言 有人可能觉得，查看文档数量不是很简单吗？直接 GET /_cat/count/index_name?v 不就可以了吗。 事实上远不止这么简单，比如嵌套文档的情况等。相信你看了我这篇文章之后你会感叹原来统计文档有这么多讲究啊。 2、正文 cat/count 首先是最常用的的方式，也是一种快速查询文档的优先推荐方式，cat count api我们使用kibana自带的电商索引来实验。 GET _cat/count/kibana_sample_data_ecommerce?v 返回， epoch timestamp count 1585910697 10:44:57 4675 cat count api的方式能...阅读全文
1、arthas操作class、classloader的常用命令 （1）classloader - 查看 classloader 的继承树，urls，类加载信息，使用 classloader 去 getResource （2）dump - dump 已加载类的 byte code 到特定目录 （3）jad - 反编译指定已加载类的源码 （4）mc - 内存编译器，内存编译.java文件为.class文件 （5）redefine - 加载外部的.class文件，redefine 到 JVM 里 （6）retransform - 加载外部的.class文件，retransform 到 JVM 里 （7）sc - 查看 JVM 已加载的类信息 （8）sm - 查看已加载类的方法信息 2、替换cal...阅读全文
今天给大家分享一下关于SpringBoot开发双11商品服务系统的整个流程，我将深度还原大厂实习期技术成长全流程，让你收获大厂项目开发全流程与实战经验，具备应对大流量场景问题的解决能力，全面助力提升实习/转正/跳槽表现力与成功率。 以下是参考资料下载： 网盘地址：https://pan.baidu.com/s/1QNf3FbzlswJd_DU3FC64nw 提取码：q61x 腾讯微云下载地址：https://share.weiyun.com/o6TKslZV 密码：qn8bim Spring Boot是由Pivotal团队提供的全新框架，其设计目的是用来简化新Spring应用的初始搭建以及开发过程。该框架使用了特定的方式来进行配置，从而使开发人员不再需要定义样板化的配置。通过这种方式，Spr...阅读全文
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录 一、现象二、解决方法1.问题进一步描述2. 解决方法 总结 一、现象 IDEA启动springboot项目，提示java: java.lang.IllegalArgumentException，没有多余的信息，百度之后都是让修改idea的Java compiler，但是我全都设置的Java8，所以没头绪。 二、解决方法 1.问题进一步描述 谷歌搜了一下，发现Jetbrains的官网有人提这个问题，大致浏览了下，描述和我的问题一致。再看描述产生这个问题的条件：简单描述下，就是IDEA 2020.3版本会复现这个问题，如果升级到2020.4就没有该问题，而且后面的添加提问是说2020.3.1.RC版本也会有这个问题。 链...阅读全文
目录一、概述二、Grafana Alerting 模块介绍三、配置图表四、告警告警规则五、配置告警通道（Contact points）1）Email1、配置smtp（grafana.ini）2、配置消息模板3、配置告警通道2）WebHook1、编写webhook api服务2、在grafana页面上配置3）Alertmanager 一、概述 在版本4.0+ grafana中增加了Alerting 告警模块，丰富了grafana功能，以前告警需要借助AlertManager，但是有grafana告警模块之后就可以不使用AlertManager告警了，但是grafana也支持对接AlertManager，所以还是非常方面，又可以省区一个组件的维护和资源开销。 下图概述了 Grafana 告警的工...阅读全文
java的项目环境 javaweb项目环境配置 JavaWeb系统开发环境配置开发环境的配置是学习一门技术的首要任务，下面是我对JavaWeb系统开发环境配置的过程进行了记录，希望能对你我有益。目录配置JDK环境配置Tomcat输出第一个网站内容一、配置JDK环境直接在百度中搜索JDK，在官网中下载你所需要的JDK到本地，接着点击安装后就需要在自己的电脑中配置系统环境了，具体步骤是：打开你的电脑查看属性，找到高级系统设置打开环境变量配置。开始环 java的项目环境 java jdk web服务器 JAV...阅读全文
HBase启用压缩 HBase 创建表时默认压缩为 NONE ，即没有压缩，除非指定。 目前 HBase 主要支持 4 种压缩方式：GZ（GZIP），SNAPPY，LZO，LZ4。 1. 压缩算法的比较 算法压缩比压缩解压GZIP13.4%21MB/s118MB/sLZO20.5%135MB/s410MB/sSnappy/Zippy22.2%172MB/s409MB/s 总结： GZIP的压缩率最高，但它是CPU密集型的，对CPU的消耗较多，压缩和解压速度也慢；LZO的压缩率居中，比GZIP要低一些，但是压缩和解压速度明显要比GZIP快很多，其中解压速度快的更多；Zippy/Snappy的压缩率最低，而压缩和解压速度要稍微比LZO要快一些 所以，一般情况下，推荐使用Snappy和Zippy压...阅读全文
 在现如今的信息化时代，相信各位读者对于“操作系统”这四个字并不陌生。例如我们常常使用的Windows、安卓、IOS、MacOS以及Linux等，都属于操作系统。操作系统，是现如今信息化时代中不可或缺的一种软件。 Linux操作系统是一种开源的、基于Unix的操作系统。它最初由芬兰计算机科学家Linus Torvalds在1991年开发，并得到了全球范围内广泛的应用和支持。 Linux操作系统具有稳定性、安全性、可靠性和灵活性等特点，广泛应用于服务器领域，也被许多个人用户选择作为他们的主要操作系统。Linux提供了丰富的命令...阅读全文
 一、什么是系统架构设计师 系统架构设计师，属于计算机技术与软件（高级）专业技术资格。考试合格人员能够根据系统需求规格说明书，结合应用领域和技术发展的实际情况，考虑有关约束条件，设计正确、合理的软件架构，确保系统架构具有良好的特性；能够对项目的系统架构进行描述、分析、设计与评估；能够按照相关标准编写相应的设计文档；能够与系统分析师、项目管理师相互协作、配合工作；具有高级工程师的实际工作能力和业务水平。 二、系统架构的概述 自1946年世界上第一台计算机诞生，对人类的计算工具产生了革命性变革。冯诺依曼提出了计算机由运算器，控制...阅读全文
 今天给大家讲讲关于Prometheus的知识，我们先来看看Prometheus的基本概念。 一、那么什么是Prometheus呢？ Prometheus 是一个开源的服务监控系统和时序数据库，其提供了通用的数据模型和快捷数据采集、存储和查询接口。它的核心组件Prometheus server会定期从静态配置的监控目标或者基于服务发现自动配置的自标中进行拉取数据，当新拉取到的数据大于配置的内存缓存区时，数据就会持久化到存储设备当中。 1.每个被监控的主机都可以通过专用的exporter 程序提供输出监控数据的接口，它会在目标...阅读全文
目录 1、根节点包含的属性 2、根节点的子节点 2.1、设置上下文名称： 2.2、设置loger、root 正文 回到顶部 1、根节点
 一、什么是软考 软考，全称计算机技术与软件专业技术资格（水平）考试，是一项由国家人力资源和社会保障部（原人事部）、工业和信息化部（原信息产业部）领导的国家级考试。该考试的目的是对全国计算机与软件专业技术人员进行职业资格、专业技术资格认定和专业技术水平测试。软考是人社部《国家职业资格名 录》中唯一与程序员有关的考试 ，报考不受限制，可帮你积分落户、评职称、个税抵扣等。 二、软考分类 软考既是职业资格考试，又是职称资格考试。考试分为初级、中级和高级三个级别，涵盖软件、网络、应用技术、信息系统、信息网络等多个专业领域。通过相应等...阅读全文
9月27日，以“国云筑基 智算引擎——人工智能大模型 推动贵州数字经济新跨越”为主题的天翼云中国行·贵州站活动顺利召开。会上举行了天翼云算力创新服务及天翼云政务大模型“慧泽”发布暨中国电信天翼云大模型训练中心揭牌、人工智能大模型应用推广行动启动仪式。天翼云科技有限公司党委书记、董事长、总经理胡志强出席仪式并发表演讲，分享了天翼云在算力、平台、安全三方面的智算能力升级，以及基于国云底座构建繁荣的大模型生态的构想和做法，并发布天翼云政务大模型“慧泽” 。国云三大升级构建AI时代强大基石大模型的出现标志着人工智能生产范式的变革，也带来了经济社会发展效率的显著提升。随着大模型应用的逐渐深入，面向垂直行业的场景化需求尤为迫切，大模型训练和应用走向行业深度定制成为重要趋势。但大模型从通用走向行业深度定...阅读全文
学习地址1：https://pan.baidu.com/s/1ZRXwqCAftn58QFequHD4jA 提取码：xs2i 学习地址2：https://share.weiyun.com/2pn97By4 密码：c58ghh 一站式通关CKA证书-Kubernetes管理员认证（CKA）。今天给大家讲讲关于Kubernetes 认证管理员（CKA）考试的相关知识，其中包含最新考纲、考试报名注意事项、真题实战演练、高频考点提炼、备考冲刺答疑等等，旨在帮助大家快速通过CKA认证考试。 我在本文将以k8s1.27版本跟大家讲解，这个版本也是2023年比较新的一个版本，带领大家一站式通关CKA证书！ 首先，我们先来了解什么是CKA？拿到这个证书后，对我们找工作又有哪些帮助？以及相关的薪资待遇如何？ ...阅读全文
 给大家整理了一些关于C++大厂面试2024最新真题，希望能够帮助到大家的面试： 1、synchronized 关键字和 volatile 关键字的区别 synchronized 关键字和 volatile 关键字是两个互补的存在，而不是对立的存在！ volatile 关键字是线程同步的轻量级实现，所以volatile 性能肯定比synchronized关键字要好。但是volatile 关键字只能用于变量而 synchronized 关键字可以修饰方法以及代码块 volatile 关键字能保证数据的可见性，但不能保证数据的原...阅读全文
学习资料地址1：https://pan.baidu.com/s/1mpYHRFi68lzNuA8neYI15w 提取码：pwjd 学习资料地址2：https://share.weiyun.com/tnVNHGMD 密码：3fj7iy 自动驾驶是高安全型应用，需要高性能和高可靠的深度学习模型，Vision Transformer是理想的选摔。现在主流的自动驾驶感知算法基本都使用了Vision Transformer相关技术，比如分割、2D/3D检测，以及最近大火的大模型 (如SAM)，Vision Transformer在自动驾驶领域的落地方面遍地开花。5一方面，在自动驾驶或图像处理相关算法岗位的面试题中，Vision Transformer是必考题，需要对其理论知识有深入理解，并且在项目中真...阅读全文
 音视频技术涉及广泛。包括语音信号处理、数字图像处理、信息论、封装格式、编解码、流媒体协议、网络传输、渲染、算法等方面。在现实生活中，音视频也扮演着越来越重要的角色，比如 视频会议、直播、短视频、播放器、语音聊天 等。接下来将从几个维度进行介绍：简单理解音视频原理、音视频理论基础、音视频学习路线、媒体协议和音视频发展方向。 一、C++音视频需要掌握哪些技术 1、搞音视频必须有扎实的C/C++开发语言基础、 JNI基础，学会如何交叉编译 FFmpeg 等 C/C++库； 2、其次，我们需要阅读大量的音视频规范/协议文档（如H2...阅读全文
ValueError: 无法识别的配置类
 《从0到1训练私有大模型 ，企业急迫需求，抢占市场先机》完结11章，深入企业需求，从Chat背后原理、技术、不同大模型知识开始，带你从0到1训练出一个大模型，运用PEFT技巧微调大模型解决场景需求，最后用LangChain+训练的大模型搭建知识库问答。让你掌握大模型LLM构建的原理、技术、流程与实战，超越大多数竞争者，抢占先机，脱颖而出。 第1章 课程介绍 第2章训练模型与开发平台环境 第3章 chatGPT初始技术词向量原理剖析与实战 第4章 chatGPT基石模型基于Transformer架构的语言模型 第5章基于T...阅读全文
有幸在2019KubeCon上海站听到Steve Flanders关于OpenTelemetry的演讲，之前Ops领域两个网红项目OpenTracing和OpenCensus终于走到了一起，可观察性统一的标准化已经扬帆起航。这篇文章旨在抛砖引玉，希望能够和更多的同学一起交流可观察性相关的内容。前世OpenTracingOpenTracing制定了一套平台无关、厂商无关的Trace协议，使得开发人员能够方便的添加或更换分布式追踪系统的实现。在2016年11月的时候CNCF技术委员会投票接受OpenTracing作为Hosted项目，这是CNCF的第三个项目，第一个是Kubernetes，第二个是Prometheus，可见CNCF对OpenTracing背后可观察性的重视。比如大名鼎鼎的Zipk...阅读全文
前言本文会系统讲解链路传递一些基本概念，同时结合案例讲解链路传递的过程。Context、Propagator 的概念我们先看一张在 HTTP 通信下，进行链路传播的例子。图中是一个 Client 请求 Server 通信，同时 Client 把自己的链路信息传递给 Server 的过程可以看到，链路信息通过一个叫 TraceContext 对象封装起来，通过 Http Headers来存取这个对象，最后达到传播的效果，这里面 TraceContext 就是一个 Context 上下文对象。Context 是一种传播机制，它跨越 API 边界，在逻辑执行单元间传递执行范围的值。链路追踪系统在系统进程内部，进程间通过共享进程的 Context 上下文 对象传递链路信息。刚才 Http Heade...阅读全文
本篇文章使用的是 Prometheus v2.40 源码 转载请声明出处哦~，本篇文章发布于luozhiyun的博客：https://www.luozhiyun.com/archives/725 本篇文章主要是整理一下 Prometheus 的时序数据库是怎么存储以及管理数据的，希望这篇文章能给大家带来一定的启发。 概述 我们先来看看 Prometheus 的整个架构图： 对于 Prometheus Server 来说，整个数据处理流程分为三部分：Exporter 指标的收集、Scraper 数据的抓取、TSDB 数据的存储及查询；Exporter 其实不同的服务有不同的收集实现，类似 Mysqld-exporter、node exporter 等我们这里不做过多的解读，大家基本只需要知道它...阅读全文
使用 下面介绍了Java客户端连接Hbase的使用，1.2.0版本和2.3.4版本亲测下面使用的API都是一致的。（也猜测1.x版本 和2.x版本的应该基本一致）。Java连接Hbase也很简单，Maven中导入对应的 `hbase-client` 依赖即可。 1.pom配置
 大厂偏爱的Agent技术究竟是个啥，今天就跟大家聊聊。 Agent技术是在「客户端」机器上部署一个Agent进程，「客户端」与「服务端」的交互通过这个Agent进行代理，其中Agent与Client通常在同一主机，即可通过「localhost」进行访问。 Agent关键技术和缺点 Agent关键技术有很多，看起来不难，但要做好，确实得下很多功夫： 资源隔离，这点通常使用cgroups技术 Agent生命周期管理，包括Agent的上线、升级、灰度、下线等等的管理，需要有统一的管控平台，否则Agent的管理将会非常头疼 进程间...阅读全文
 一、什么是系统架构设计师 系统架构设计师(System Architecture Designer）是项目开发活动中的关键角色之一。系统架构是系统的一种整体的高层次的结构表示，是系统的骨架和根基，其决定了系统的健壮性和生命周期的长短。 系统架构设计师(系统架构设计器)是项目开发活动中的关键角色之一。系统架构是系统的一种整体的高层次的结构表示，是系统的骨架和根基，其决定了系统的健壮性和生命周期的长短.本章首先从架构定义、发展历程、典型架构和未来发展等方面概要说明，给读者建立一个架构的整体概念；然后对系统架构设计师的定义、职责...阅读全文
介绍tsar 是淘宝自己开发的一个监控工具，可用于收集和汇总系统信息，例如CPU，负载，IO和应用程序信息，例如nginx，HAProxy，Squid等。结果可以存储在本地磁盘或发送到Nagios。tsar 可以通过自己开发模块轻松扩展，这使得它成为一个强大的监控工具。 总体架构Tsar是基于模块化设计的程序，程序有两部分组成：框架和模块。框架程序源代码主要在src目录，而模块源代码主要在modules目录中。框架提供对配置文件的解析，模块的加载，命令行参数的解析，应用模块的接口对模块原始数据的解析与输出。 模块提供接口给框架调用。tsar依赖与cron每分钟执行采集数据，因此它需要系统安装并启用crond，安装后，tsar每分钟会执行tsar –cron来定时采集信息，并且记录到原始日志文...阅读全文
Consul是由HashiCorp开发的一个支持多数据中心的分布式服务发现和键值对存储服务的开源软件，被大量应用于基于微服务的软件架构当中。Consul初体验用户可以通过Consul官网https://www.consul.io/downloads.html下载对应操作系统版本的软件包。Consul与Prometheus同样使用Go语言进行开发，因此安装和部署的方式也极为简单，解压并将命令行工具放到系统PATH路径下即可。在本地可以使用开发者模式在本地快速启动一个单节点的Consul环境：$ consul agent -dev==> Starting Consul agent...==> Consul agent running! Version: 'v1.0.7' Node ID: 'd7...阅读全文
-javaagent 是 JVM 的一个命令行参数，用于指定一个或多个 Java 代理（Java Agent）JAR 文件，这些代理可以在 JVM 启动时或运行时动态地插入到应用程序中，以监控或修改其行为。Java Agent 的基本概念Java Agent 是一种特殊的 Java 程序，它利用 JVM 提供的 Instrumentation API 进行字节码操作，可以在以下方面发挥作用：性能监控：通过插桩监控代码执行的性能。AOP（面向切面编程）：动态地修改类的字节码，添加横切关注点。调试和分析：在运行时收集和分析应用数据。安全管理：增加 Java 安全管理功能。使用 -javaagent 参数-javaagent 允许你在 JVM 启动时加载一个或多个 Java Agent。它的基本语...阅读全文
学习地址1：https://pan.baidu.com/s/14sTSypnp6u4RSYLLkGJiLg 提取码: jn7s 学习地址2：https://share.weiyun.com/SNltUNLW 密码：zi3dc7 我们今天讲的实际上是一个工作在 HTTP 七层协议的网关，它主要做的有几件事情： 第一，公网入口。它作为我们公有云服务的一个入口，可以把公有云过来的请求定向到用户的资源上面去。 第二，对接后端资源。我们云开发有很多内部的资源，像云函数、容器引擎这样的资源，便可以把请求对接到这样的云资源上面去。 第三，身份鉴权。云开发有自己的一套账号身份体系，请求里如果是带有身份信息的，那么网关会对身份进行鉴权。 那么该如何操作呢？非常简单，只需要三个步骤。 第一步，把function...阅读全文
本文分享自天翼云开发者社区《虚拟化技术 - CPU虚拟化》，作者:谢****悦物理机器是由CPU，内存和I/O设备等一组资源构成的实体。虚拟机也一样，由虚拟CPU，虚拟内存和虚拟I/O设备等组成。VMM(VM Monitor)按照与传统OS并发执行用户进程的相似方式，仲裁对所有共享资源的访问。本文将分别讨论CPU虚拟化、内存虚拟化和I/O虚拟化技术的原理和实现。在虚拟化的平台上，虚拟机（guest VM）所使用的多个虚拟CPU（以下称vCPU）可能是共享同一个物理CPU（以下称pCPU）的。VMM负责vCPU的调度，当一个vCPU被调度到获得pCPU的使用权后，基于该vCPU运行的guest OS又可以调度OS中的各个线程/进程了。也就是说，guest OS中的各个线程/进程分时复用了vCP...阅读全文
本文分享自天翼云开发者社区《一种基于Nginx的热点数据调度处理方法》,作者:康****彬一、应用场景基于Nginx的热点数据调度处理，热点节点数据负载均衡处理，减少热点节点压力，提高处理和访问效率；每一个节点的nginx服务接收大量的访问，但是每个节点处理请求都有一个峰值，当请求数达到峰值时，后续请求的处理效率就会有一定的下降，为了保证请求能及时处理，热点节点会触发请求调度策略，转发请求到非热点节点进行处理，若无非热点节点，则触发分布式节点策略，备机节点会启动Nginx服务处理，并接收热点节点转发过来的请求，从而提升访问及处理效率。二、解决的问题解决大量http请求同一个Nginx节点繁忙的问题，做到快速响应。 解决Nginx集群每个节点超负荷接收请求的问题，自动触发分布式策略处理。 解决...阅读全文
Spring Security 跨站请求伪造保护 1. 前言 很多小伙伴在开发 Spring Security 项目时候，本地测试都没有问题，一放到生产环境后，就会遇到「Invalid CSRF Token」问题，这其实是 Spring Security 防止服务免受「跨站请求伪造」攻击攻击的防护行为。 跨站请求伪造（Cross Site Request Forgery），简写成「CSRF」或者「XSRF」，是一种挟持用户所用浏览器，执行非法操作的攻击方法，也就是说，攻击者利用「CSRF」漏洞伪造用户操作，可实现例如购物、注销等效果，还可以利用该漏洞配合产生其他多种攻击方式。 针对「CSRF」攻击最经济的解决方式是增加「Referer」头或者增加校验「Token」。 Spring Secur...阅读全文
Region自动切分是HBase能够拥有良好扩张性的最重要因素之一，也必然是所有分布式系统追求无限扩展性的一副良药。HBase系统中Region自动切分是如何实现的？这里面涉及很多知识点，比如Region切分的触发条件是什么？Region切分的切分点在哪里？如何切分才能最大的保证Region的可用性？如何做好切分过程中的异常处理？切分过程中要不要将数据移动？等等，这篇文章将会对这些细节进行基本的说明，一方面可以让大家对HBase中Region自动切分有更加深入的理解，另一方面如果想实现类似的功能也可以参考HBase的实现方案。 Region切分触发策略 在最新稳定版（1.2.6）中，HBase已经有多达6种切分触发策略。当然，每种触发策略都有各自的适用场景，用户可以根据业务在表级别选择不同的...阅读全文
kafka 重试机制 kafka 消息的重试机制作为kafka 生产者端的数据不丢失的重要保障，对我们学习和理解kafka 大有裨益，前面我们学习kafka 生产者的时候，了解了kafka 异步生产者的Callback 机制，合理使用Callback机制也可以保证我们生产者端的数据不丢失，但是Callback我们往往是在重试机制之后使用的，也会是说重试之后依然失败的情况下，可以作为我们生产者端最后的保障。 重试源码 首先我们从KafkaProducer的send 方法入手我们看到其实客户端是不会直接发送数据的，而是将其加入到了一个缓存队列里面去，实例化KafkaProducer会实例RecordAccumulator，RecordAccumulator维护了一个Map，key为不同的主题和p...阅读全文
split hbase是通过regionServer管理table的，一个table对应一个或多个region，hmaster将这些region根据集群负载分配给regionServer进行管理。若一个table没有进行预分区，那么只有一个region，初始化表时数据的读写都命中同一个regionServer，会造成热点问题，且region进行split时集群是不可用的，频繁的split也会造成大量的集群I/O，性能很低。 1、pre-splitting 在创建table时指定pre-splitting，预先生成多个region，结合合适的rowkey，这样可以很大程度上避免读写热点，每个region内部再按照一定的split-policy进行自动切分。 hbase提供了两种pre-spli...阅读全文
prometheus的step，durations，rate interval，scrape interval对数据查询结果的影响 1、场景：在查询prometheus数据时出现很多诡异的现象 1、为什么同样的查询语句在不同的时间点查询，对过去某一时刻的数据展示却不一样 2、为什么有时候峰值在使用不同step，不同duration查询时，会不一样，甚至消失 3、为什么scrape interval变化了，会使某些规则的结果不准确 等等疑问 2、原理剖析：rate与irate，step，datapoint，scape_internal，instant vector selector，range vector selector 2-1、rate与irate的查询原理见之前博文：【博客486】pr...阅读全文
ChatGPT，作为当前技术革新的杰出产物，已经深刻改变了我们处理文本的方式。这个智能工具擅长多种任务，包括但不限于写作辅助、语言翻译、编程和创造性文案生成。通过简化繁琐的流程，ChatGPT极大地提高了我们日常工作和生活的效率。作为一款先进的文本生成器，用户只需向ChatGPT输入一段文字描述，它便能依据提供的信息生成一段回复。虽然不能完全保证每次生成的内容都能满足用户的具体要求，但ChatGPT具备学习优化的能力。通过用户不断地精炼问题和指令，ChatGPT可以更精确地调整其回应以满足用户需求。经验表明，当用户提供清晰、明确且详尽的指令时，ChatGPT更有可能输出符合期望的答案。在日常应用中，ChatGPT提升工作效率的优势尤为明显，它能迅速完成任务，同时降低成本。这个工具能够轻松处理...阅读全文
一、Spring Security简介 Spring Security是为基于Spring的应用程序提供声明式安全保护的安全性框架，它提供了完整的安全性解决方案，能够在web请求级别和方法调用级别处理身份证验证和授权。因为基于Spring框架，所以Spring Security充分利用了依赖注入和面向切面的技术。 Spring Security主要是从两个方面解决安全性问题： web请求级别：使用Servlet规范中的过滤器（Filter）保护Web请求并限制URL级别的访问。 方法调用级别：使用Spring AOP保护方法调用，确保具有适当权限的用户才能访问安全保护的方法。 想深入了解Spring Security的相关概念与实现原理，可点击传送门 ==》 Spring Security的...阅读全文
互联网基础资源作为互联网的基石和枢纽，是新一轮信息技术革命的重要根基。随着我国互联网在应用模式、技术水平、行业规模上的发展，网络基础资源在应用支持、安全保障等方面的作用愈发突出。网络强国大步向前的背景下，如何审视互联网基础资源的数字化治理成效，成为全面透视网络强国建设成就与经验的重要“窗口”。今天我们一起走进中国互联网络信息中心，看互联网基础资源领域的“国家队”如何“化云为雨，泽被万物”。保障关键信息基础设施安全的“国家队”中国互联网络信息中心（CNNIC）作为中国信息社会重要的基础设施建设者、运行者和管理者，积极推进网络基础资源各项工作开展。中国互联网络信息中心运行管理部主任冷峰介绍，中国互联网络信息中心行使国家互联网络信息中心职责，负责国家网络基础资源的运行管理和服务，承担国家网络基础资...阅读全文
本文分享自天翼云开发者社区《云存储环境下的容灾关键技术》，作者:王兆龙云存储的出现解决了现有容灾系统的几个显著问题：一是面对大量的备份数据，管理系统不够完善的问题；二是面对大规模的数据容灾灵活性和效率不高的问题；三是在数据加密保护方面依然存在的安全隐患问题。那么，云存储解决这些问题主要依靠的技术原理和机制是什么呢，云环境下的容灾关键技术都有哪些，本文接下来将对此进行简单的介绍和分析。映射技术映射技术是实现信息存储的核心技术。追踪映射技术十分关键，在通常情况下，云存储环境下的处理程序和管理设备程序之间会形成映射关系，这种管理能够直接的影响到容灾系统的应用。一是数据自动迁移，这种方法的应用是一种事件触发的，并且触发事件还包括了磁盘容量的扩展、缩小，磁盘的损坏、维修，磁盘的饱和、填充等一系列事件，...阅读全文
本文分享自天翼云开发者社区《服务器主机：复杂理论的视角与SEO策略》,作者:不知不觉在数字世界的演变中，服务器主机在信息存储和数据处理方面发挥着核心作用。本文将带你重新认识服务器主机的价值，并通过复杂理论解释其重要性和必要性，同时结合SEO关键字布局来指导你如何优化内容。一、服务器主机的概述服务器主机是一种专门用于提供互联网服务的计算机设备。它具有高性能的处理器、海量的存储空间和稳定的网络连接，旨在处理和传输大量的数据信息。服务器主机通常用于企业级应用、网站托管、数据库存储等场景，为企业和个人提供稳定、高效的服务。二、服务器主机的特点高性能：服务器主机通常采用最/先进的处理器和内存技术，能够处理大量的数据请求和计算任务。稳定性：服务器主机经过专门设计和优化，具备高度的可靠性和稳定性，以保证服...阅读全文
LLM大语言模型算法特训，带你转型AI大语言模型算法工程师 给大家分享一套课程——LLM大语言模型算法特训，带你转型AI大语言模型算法工程师，源码+PDF课件下载。 大语言模型（LLM）是基于海量文本数据训练的深度学习模型。它不仅能够生成自然语言文本，还能够深入理解文本含义，处理各种自然语言任务，如文本摘要、问答、翻译等。 训练语言模型需要向其提供大量的文本数据，模型利用这些数据来学习人类语言的结构、语法和语义。这个过程通常是通过无监督学习完成的，使用一种叫做自我监督学习的技术。在自我监督学习中，模型通过预测序列中的下一个词或标记，为输入的数据生成自己的标签，并给出之前的词。 训练过程包括两个主要步骤：预训练（pre-training）和微调（fine-tuning）： 在预训练阶段，模型从...阅读全文
本文将介绍HBase的客户端连接实现，并说明如何正确管理HBase的连接。最近在搭建一个HBase的可视化管理平台，搭建完成后发现不管什么查询都很慢，甚至于使用api去listTable都要好几秒。经过一番排查发现，是每次请求的时候，都去临时创建了一个connection，而创建connection非常耗时导致整体的rt上升。因此，就深入了解了下如何正确管理HBase的connection，同时，也在优化过程中有些小细节的总结。本文基于hbase 2.0.0版本的源码，github上3.0版本的源码已经有很大差异了，但是思想还是差不多的1.HBase-client和HBase是如何连接的？这个问题实际上在我之前的文章 深入HBase读写 中介绍过。当HBase-client第一次请求读写的时...阅读全文
本文分享自天翼云开发者社区《天翼云GPU云主机：共享信息技术与虚拟机的完美融合》，作者：不知不觉在云计算领域，GPU云主机已经成为了一个备受瞩目的焦点。它的出现改变了传统IT架构的方式，为各行各业带来了无限的的可能性。在这篇文章中，我们将重点探讨天翼云GPU云主机，深入剖析它如何通过共享信息技术和虚拟化技术，为用户提供卓越的计算服务。一、走进GPU云主机的世界GPU云主机是一种基于云计算技术的虚拟化服务器。它通过虚拟化技术将一台或多台物理服务器资源进行整合，形成一个共享资源池，从而提供弹性的云计算环境。在这个环境下，每个虚拟主机都可以独立运行，拥有自己的操作系统、存储空间和网络资源。与传统的云主机相比，GPU云主机最大的特点在于其配备了高性能的GPU计算卡，使得在进行大规模数据处理和复杂计算...阅读全文
8月25日，由中国信通院、中国通信标准化协会主办的“2023首届SecGo云和软件安全大会”在北京召开。会上公布了2023年度可信安全最新评估结果，中国电信天翼云顺利通过首批云堡垒机能力评估，云安全能力再获认可。天翼云科技有限公司云网安全事业部产品总监宋志明参会发表演讲，介绍了天翼云在一体化云原生安全防护体系方面的思考与实践。近年来，云原生技术逐渐成为企业上云的重要发展方向，云原生安全作为新的安全理念被频频提出，成为安全领域的重要赛道。越来越多企业以原生思维推进云上安全建设、部署与应用，以应对日趋复杂且多元化的安全管理挑战。作为云服务国家队，天翼云肩负维护网信安全的重要责任和使命。为满足各行业客户安全合规需求，天翼云不断完善自身安全产品体系和能力优势，创新突破云原生安全关键技术，打造了国云...阅读全文
10月10日，以“算”汇三江水，“云”聚八境台为主题的天翼云中国行·赣州站活动成功举办，赣州市有关领导，以及客户、合作伙伴等众多企业代表共同出席。会上举行了天翼云4.0暨赣州算力集群落成发布仪式，通过进一步完善云资源部署，天翼云助力赣州政府与各行各业实现上云用数赋智的转型升级，打造强劲发展“新动能”。夯实数字经济底座助推数字赣州高质量发展信息化为工业化插上腾飞翅膀，工业化为信息化提供广阔舞台。赣州市委常委、市政府副市长何琦在致辞中表示，近年来，赣州乘“云”而上、顺“数”而为，大力推进数字经济“一号发展工程”取得积极成效。希望中国电信继续发挥优势、展现特色，一如继往支持赣州发展，充分发挥天翼云“国云筑基”“安全可靠”的优势，在数据中心建设、企业数字化转型和智慧城市建设等方面持续给力，为赣州高质...阅读全文
笔者今天给大家讲一下 HBase 生产环境中的实践，包括资源隔离、参数配置、性能优化等方面，部分内容参考《HBase原理与实践》（非常建议大家好好读一读，一定会大有收获），以及笔者的实战经验。HBase 业务资源隔离1. 读写分离场景RegionServer 默认情况下只提供一个请求队列给所有业务使用，导致部分延迟较高的请求影响其他对延迟敏感的业务。针对这种情况，HBase 提供了读写队列隔离方案。我们知道，HBase 有三种典型的API操作类型，分别为 get、scan 和write，其中 get 和 scan 属于 read 类型。默认场景下，HBase 只提供一个队列，所有请求都会进入该队列进行优先级排序。在一些场景下，我们要求这三种类型的访问尽可能的互相不影响，那么就需要在线上配置读...阅读全文
