在Hbase中split是一个很重要的功能，Hbase是通过把数据分配到一定数量的region来达到负载均衡的。一个table会被分配到一个或多个region中，这些region会被分配到一个或者多个regionServer中。在自动split策略中，当一个region达到一定的大小就会自动split成两个region。table在region中是按照row key来排序的，并且一个row key所对应的行只会存储在一个region中，这一点保证了Hbase的强一致性 。 在一个region中有一个或多个stroe，每个stroe对应一个column families(列族)。一个store中包含一个memstore 和 0 或 多个store files。每个column family 是...阅读全文
通过云服务器 CVM 连接云数据库 MongoDB 可以进行数据导入和导出，请注意使用最新版本的 MongoDB 客户端套件，具体操作可参见 连接实例。注意local 数据库主要存储副本集的配置信息、oplog 等元数据；admin 数据库则主要存储用户、角色等信息。为了防止数据错乱、鉴权失败等现象发生，云数据库 MongoDB 禁止将 local 和 admin 数据库导入实例。导出导入命令MongoDB 官方提供了两套数据导入导出工具：mongodump 和 mongorestore mongoexport 和 mongoimportmongodump 和 mongorestore进行整库导出导入时，通常使用 mongodump 和 mongorestore，这一对组合操作的数据是 BS...阅读全文
ElasticSearch学习笔记之九 复杂数据类型和嵌套对象 复杂数据类型空域数组域多层级对象内部对象的映射内部对象的索引内部对象数组 嵌套对象嵌套对象映射 复杂数据类型 除了前面说到的简单数据类型，Elasticsearch还支持JSON 的null ，数组，和对象. 空域 字段取值可以为空，当然，数组也可以为空。 然而，在 Lucene 中是不能存储 null 值的，所以我们认为存在 null 值的域为空域。 下面三种域被认为是空的，它们将不会被索引： "null_value": null, "empty_array": [], "array_with_null_value": [ null ] 数组域 很多时候，我们希望 tag 域 包含多个标签。我们可以以数组的形式索引标签： { ...阅读全文
饿了么技术团队花了1年多的时间，实现了业务的整体异地多活，能够灵活的在多个异地机房之间调度用户，实现了自由扩容和多机房容灾的目标。本文介绍这个项目的整体结构，还简要介绍实现多活的5大核心基础组件，为读者建立基本的概念模型，后续会有系列文章陆续介绍每个组件的实现细节。读者能够从中了解到做异地多活的大方向，为实现自己的异地多活，或者是容灾备份提供参考。背景：为什么要做异地多活？饿了么要做多活，是受业务发展的驱动，经过几年的高速发展，我们的业务已经扩大到单个数据中心撑不住了，主要机房已经不能再加机器，业务却不断的要求加扩容，所以我们需要一个方案能够把服务器部署到多个机房。另外一个更重要的原因是，整个机房级别的故障时有发生，每次都会带来严重的后果，我们需要在发生故障时，能够把一个机房的业务全部迁移到...阅读全文
代码编译的结果从本地机器码转变为字节码，是存储格式发展的一小步，却是编程语言发展的一大步。 概述 栈帧（Stack Frame）是用于支持虚拟机进行方法调用和方法执行的数据结构。它是虚拟机运行时数据区中的虚拟机栈的栈元素。 栈帧存储了方法的局部变量表、操作数栈、动态连接和方法返回地址等信息。 每一个方法从调用开始至执行完成的过程，都对应着一个栈帧在虚拟机里面从入栈到出栈的过程。 在编译程序代码的时候，栈帧中需要多大的局部变量表，多深的操作数栈都已经完全确定了。 因此一个栈帧需要分配多少内存，不会受到程序运行期变量数据的影响，而仅仅取决于具体的虚拟机实现。 在活动线程中，只有位于栈顶的栈帧才是有效的，称为当前栈帧，与这个栈帧相关联的方法称为当前方法。 局部变量表 我们在Java内存区域中在虚拟...阅读全文
 一、什么是系统架构设计师 系统架构设计师，属于计算机技术与软件（高级）专业技术资格。考试合格人员能够根据系统需求规格说明书，结合应用领域和技术发展的实际情况，考虑有关约束条件，设计正确、合理的软件架构，确保系统架构具有良好的特性；能够对项目的系统架构进行描述、分析、设计与评估；能够按照相关标准编写相应的设计文档；能够与系统分析师、项目管理师相互协作、配合工作；具有高级工程师的实际工作能力和业务水平。 二、系统架构的概述 自1946年世界上第一台计算机诞生，对人类的计算工具产生了革命性变革。冯诺依曼提出了计算机由运算器，控制...阅读全文
Springboot+ChatGLM 实战AI数字人面试官系统【14章】 ChatGLM 模型概述 ChatGLM 是一类基于自回归语言模型的生成式预训练模型，专门设计用于处理对话系统中的自然语言生成任务。ChatGLM 模型依托于 Transformer 架构，具备高度并行化的计算能力，并能够捕捉长距离的语言依赖关系。在预训练过程中，ChatGLM 通过海量的无监督语料进行学习，能够生成流畅、连贯的自然语言文本，适用于智能对话、自动应答和内容生成等场景。 ChatGLM 模型的优势体现在其专注于对话任务的优化上，能够根据上下文生成具有逻辑性和一致性的回答。此外，通过对大规模数据进行预训练，ChatGLM 可以处理开放式问答、任务型对话等多种对话需求，表现出强大的多样性和灵活性。 ChatG...阅读全文
学习地址1：https://pan.baidu.com/s/14sTSypnp6u4RSYLLkGJiLg 提取码: jn7s 学习地址2：https://share.weiyun.com/SNltUNLW 密码：zi3dc7 我们今天讲的实际上是一个工作在 HTTP 七层协议的网关，它主要做的有几件事情： 第一，公网入口。它作为我们公有云服务的一个入口，可以把公有云过来的请求定向到用户的资源上面去。 第二，对接后端资源。我们云开发有很多内部的资源，像云函数、容器引擎这样的资源，便可以把请求对接到这样的云资源上面去。 第三，身份鉴权。云开发有自己的一套账号身份体系，请求里如果是带有身份信息的，那么网关会对身份进行鉴权。 那么该如何操作呢？非常简单，只需要三个步骤。 第一步，把function...阅读全文
-javaagent 是 JVM 的一个命令行参数，用于指定一个或多个 Java 代理（Java Agent）JAR 文件，这些代理可以在 JVM 启动时或运行时动态地插入到应用程序中，以监控或修改其行为。Java Agent 的基本概念Java Agent 是一种特殊的 Java 程序，它利用 JVM 提供的 Instrumentation API 进行字节码操作，可以在以下方面发挥作用：性能监控：通过插桩监控代码执行的性能。AOP（面向切面编程）：动态地修改类的字节码，添加横切关注点。调试和分析：在运行时收集和分析应用数据。安全管理：增加 Java 安全管理功能。使用 -javaagent 参数-javaagent 允许你在 JVM 启动时加载一个或多个 Java Agent。它的基本语...阅读全文
ES系列之原来查看文档数量有这么多姿势犀牛饲养员发布于 2020-04-03 1、引言 有人可能觉得，查看文档数量不是很简单吗？直接 GET /_cat/count/index_name?v 不就可以了吗。 事实上远不止这么简单，比如嵌套文档的情况等。相信你看了我这篇文章之后你会感叹原来统计文档有这么多讲究啊。 2、正文 cat/count 首先是最常用的的方式，也是一种快速查询文档的优先推荐方式，cat count api我们使用kibana自带的电商索引来实验。 GET _cat/count/kibana_sample_data_ecommerce?v 返回， epoch timestamp count 1585910697 10:44:57 4675 cat count api的方式能...阅读全文
 在现如今的信息化时代，相信各位读者对于“操作系统”这四个字并不陌生。例如我们常常使用的Windows、安卓、IOS、MacOS以及Linux等，都属于操作系统。操作系统，是现如今信息化时代中不可或缺的一种软件。 Linux操作系统是一种开源的、基于Unix的操作系统。它最初由芬兰计算机科学家Linus Torvalds在1991年开发，并得到了全球范围内广泛的应用和支持。 Linux操作系统具有稳定性、安全性、可靠性和灵活性等特点，广泛应用于服务器领域，也被许多个人用户选择作为他们的主要操作系统。Linux提供了丰富的命令...阅读全文
 一个完整的在线办公系统具备哪些功能： 1、线下会议管理功能 2、审批会议申请功能 3、 TRTC在线视频会议功能 4、罚款模块 5、请假管理 6、报销管理 那么，如何去开发这样一个在线办公的系统，这样的系统用到哪些技术才能实现？接下来，我将带着大家一步步来开发这样的办公系统。 这个项目我用的技术有：SpringBoot 2.4.1，SpringMVC 5.3.1，MyBatis 3.5.7，VUE 3.0.3，ElementUI plus 1.0.2。 第一步，环境搭建 数据库mysql我用的是8.0版本，使用Navica...阅读全文
学习地址1：https://pan.baidu.com/s/1ZRXwqCAftn58QFequHD4jA 提取码：xs2i 学习地址2：https://share.weiyun.com/2pn97By4 密码：c58ghh 一站式通关CKA证书-Kubernetes管理员认证（CKA）。今天给大家讲讲关于Kubernetes 认证管理员（CKA）考试的相关知识，其中包含最新考纲、考试报名注意事项、真题实战演练、高频考点提炼、备考冲刺答疑等等，旨在帮助大家快速通过CKA认证考试。 我在本文将以k8s1.27版本跟大家讲解，这个版本也是2023年比较新的一个版本，带领大家一站式通关CKA证书！ 首先，我们先来了解什么是CKA？拿到这个证书后，对我们找工作又有哪些帮助？以及相关的薪资待遇如何？ ...阅读全文
网络视频（Web 视频）是指利用 HTML5 技术在浏览器中播放的视频，这类视频资源通常可以被随意下载，某些行业（比如教培行业）如果希望保护自己的视频资源不被下载，就需要对视频做防盗链处理。 防盗链需要着重加强两个方面的安全性：网络传输和客户端。 网络传输安全网络传输层面能做的不多，HTTPS是必要的，除此之外的防护措施效果也有限。 验证 Referer防盗链最常规的手段是验证Referer，而伪造Referer几乎零成本，所以它只防君子不防小人，没用。 请求防重放盗链可以理解成一种对静态资源的“重放攻击”，所以可以用应对重放攻击的思路来改造静态资源请求，通过一个动态接口返回静态资源，并且加入变量让动态请求短时间内失效，比如随机数、时间戳、流水号等等。 这种方式可以做到让链接地址没有复用价值...阅读全文
 一、什么是系统架构设计师 系统架构设计师(System Architecture Designer）是项目开发活动中的关键角色之一。系统架构是系统的一种整体的高层次的结构表示，是系统的骨架和根基，其决定了系统的健壮性和生命周期的长短。 系统架构设计师(系统架构设计器)是项目开发活动中的关键角色之一。系统架构是系统的一种整体的高层次的结构表示，是系统的骨架和根基，其决定了系统的健壮性和生命周期的长短.本章首先从架构定义、发展历程、典型架构和未来发展等方面概要说明，给读者建立一个架构的整体概念；然后对系统架构设计师的定义、职责...阅读全文
 给大家整理了一些关于C++大厂面试2024最新真题，希望能够帮助到大家的面试： 1、synchronized 关键字和 volatile 关键字的区别 synchronized 关键字和 volatile 关键字是两个互补的存在，而不是对立的存在！ volatile 关键字是线程同步的轻量级实现，所以volatile 性能肯定比synchronized关键字要好。但是volatile 关键字只能用于变量而 synchronized 关键字可以修饰方法以及代码块 volatile 关键字能保证数据的可见性，但不能保证数据的原...阅读全文
 音视频技术涉及广泛。包括语音信号处理、数字图像处理、信息论、封装格式、编解码、流媒体协议、网络传输、渲染、算法等方面。在现实生活中，音视频也扮演着越来越重要的角色，比如 视频会议、直播、短视频、播放器、语音聊天 等。接下来将从几个维度进行介绍：简单理解音视频原理、音视频理论基础、音视频学习路线、媒体协议和音视频发展方向。 一、C++音视频需要掌握哪些技术 1、搞音视频必须有扎实的C/C++开发语言基础、 JNI基础，学会如何交叉编译 FFmpeg 等 C/C++库； 2、其次，我们需要阅读大量的音视频规范/协议文档（如H2...阅读全文
 《从0到1训练私有大模型 ，企业急迫需求，抢占市场先机》完结11章，深入企业需求，从Chat背后原理、技术、不同大模型知识开始，带你从0到1训练出一个大模型，运用PEFT技巧微调大模型解决场景需求，最后用LangChain+训练的大模型搭建知识库问答。让你掌握大模型LLM构建的原理、技术、流程与实战，超越大多数竞争者，抢占先机，脱颖而出。 第1章 课程介绍 第2章训练模型与开发平台环境 第3章 chatGPT初始技术词向量原理剖析与实战 第4章 chatGPT基石模型基于Transformer架构的语言模型 第5章基于T...阅读全文
 今天给大家讲讲关于Prometheus的知识，我们先来看看Prometheus的基本概念。 一、那么什么是Prometheus呢？ Prometheus 是一个开源的服务监控系统和时序数据库，其提供了通用的数据模型和快捷数据采集、存储和查询接口。它的核心组件Prometheus server会定期从静态配置的监控目标或者基于服务发现自动配置的自标中进行拉取数据，当新拉取到的数据大于配置的内存缓存区时，数据就会持久化到存储设备当中。 1.每个被监控的主机都可以通过专用的exporter 程序提供输出监控数据的接口，它会在目标...阅读全文
HBase启用压缩 HBase 创建表时默认压缩为 NONE ，即没有压缩，除非指定。 目前 HBase 主要支持 4 种压缩方式：GZ（GZIP），SNAPPY，LZO，LZ4。 1. 压缩算法的比较 算法压缩比压缩解压GZIP13.4%21MB/s118MB/sLZO20.5%135MB/s410MB/sSnappy/Zippy22.2%172MB/s409MB/s 总结： GZIP的压缩率最高，但它是CPU密集型的，对CPU的消耗较多，压缩和解压速度也慢；LZO的压缩率居中，比GZIP要低一些，但是压缩和解压速度明显要比GZIP快很多，其中解压速度快的更多；Zippy/Snappy的压缩率最低，而压缩和解压速度要稍微比LZO要快一些 所以，一般情况下，推荐使用Snappy和Zippy压...阅读全文
LLM大语言模型算法特训，带你转型AI大语言模型算法工程师 给大家分享一套课程——LLM大语言模型算法特训，带你转型AI大语言模型算法工程师，源码+PDF课件下载。 大语言模型（LLM）是基于海量文本数据训练的深度学习模型。它不仅能够生成自然语言文本，还能够深入理解文本含义，处理各种自然语言任务，如文本摘要、问答、翻译等。 训练语言模型需要向其提供大量的文本数据，模型利用这些数据来学习人类语言的结构、语法和语义。这个过程通常是通过无监督学习完成的，使用一种叫做自我监督学习的技术。在自我监督学习中，模型通过预测序列中的下一个词或标记，为输入的数据生成自己的标签，并给出之前的词。 训练过程包括两个主要步骤：预训练（pre-training）和微调（fine-tuning）： 在预训练阶段，模型从...阅读全文
 大厂偏爱的Agent技术究竟是个啥，今天就跟大家聊聊。 Agent技术是在「客户端」机器上部署一个Agent进程，「客户端」与「服务端」的交互通过这个Agent进行代理，其中Agent与Client通常在同一主机，即可通过「localhost」进行访问。 Agent关键技术和缺点 Agent关键技术有很多，看起来不难，但要做好，确实得下很多功夫： 资源隔离，这点通常使用cgroups技术 Agent生命周期管理，包括Agent的上线、升级、灰度、下线等等的管理，需要有统一的管控平台，否则Agent的管理将会非常头疼 进程间...阅读全文
学习资料地址1：https://pan.baidu.com/s/1mpYHRFi68lzNuA8neYI15w 提取码：pwjd 学习资料地址2：https://share.weiyun.com/tnVNHGMD 密码：3fj7iy 自动驾驶是高安全型应用，需要高性能和高可靠的深度学习模型，Vision Transformer是理想的选摔。现在主流的自动驾驶感知算法基本都使用了Vision Transformer相关技术，比如分割、2D/3D检测，以及最近大火的大模型 (如SAM)，Vision Transformer在自动驾驶领域的落地方面遍地开花。5一方面，在自动驾驶或图像处理相关算法岗位的面试题中，Vision Transformer是必考题，需要对其理论知识有深入理解，并且在项目中真...阅读全文
## 引言 在 Java 应用中，尤其是在使用本地库（如通过 JNI 接口调用）的场景下，崩溃和 core dump（核心转储）的问题时有发生。这样的崩溃不仅会中断应用的正常运行，还会带来大量调试和排查的工作。本文将介绍如何使用 dmesg 和 gdb 工具分析和诊断 Java 应用的 core dump 问题，特别是在使用 Snappy 库时遇到的问题。 ## 使用 dmesg 检查 core dump 信息 当一个应用崩溃时，首先应该查看内核消息日志。dmesg 命令可以帮助我们快速获取内核日志并查看崩溃的详细信息。 示例 运行 dmesg 命令来查看最新的内核消息： dmesg | grep -i "segfault" 输出中可能包含类似以下信息： 123456.789012] mya...阅读全文
深入LLM与RAG 原理、实现与应用 一、什么是 RAG？ RAG 全称 Retrieval-Augmented Generation，翻译成中文是检索增强生成。检索指的是检索外部知识库，增强生成指的是将检索到的知识送给大语言模型以此来优化大模型的生成结果，使得大模型在生成更精确、更贴合上下文答案的同时，也能有效减少产生误导性信息的可能。 二、RAG 的流程 RAG 的中文名称是检索增强生成，从字面意思来理解，包含三个检索、增强和生成三个过程。 检索： 根据用户的查询内容，从外挂知识库获取相关信息。具体来说，就是将用户的查询通过嵌入模型转换成向量，以便与向量数据库中存储的知识相关的向量进行比对。通过相似性搜索，从向量数据库中找出最匹配的前 K 个数据。 增强： 将用户的查询内容和检索到的相关...阅读全文
获课：666it.top/14683/ 备考信息系统项目管理师（高级）考试，不仅是对专业知识的检验，更是对备考策略与方法的考验。为了帮助广大考生高效备考，避免陷入备考误区，本文总结了26章高频考点及易错题陷阱，旨在为考生提供一份详尽的备考避坑指南。 一、高频考点概览 信息系统项目管理师考试内容涵盖项目管理的十大知识领域，包括项目整合管理、范围管理、时间管理、成本管理、质量管理、人力资源管理、沟通管理、风险管理、采购管理以及干系人管理。此外，还涉及信息系统的基础知识、项目管理工具与技术、以及相关法律法规与标准。以下是部分高频考点概览： 项目整合管理：掌握PDCA循环、变更控制流程等。 范围管理：区分WBS分解颗粒度、产品范围与项目范围。 时间管理：关键路径法、项目时间估算与进度控制。 成本管理...阅读全文
LLM应用开发平台特训营（20周） 什么是大语言模型（LLM） 通过海量文本训练的、能识别人类语言、执行语言类任务、拥有大量参数的模型，称之为大语言模型。GPT、LLaMA、Mistral、BERT等都是LLM，LLM是对训练文本信息的压缩，同时拥有了泛化能力，不同于数据库和搜索引擎，LLM能创造性地生成历史上没有出现过的文本内容。 LLM能做什么 总体可以概括为：创作内容、处理和分析数据、自动化任务、智能客服 • 写作：写邮件、计划书、宣传文案、简单的故事等，可以模仿小红书风格、指定作家风格，尤其适合写长篇套话，但目前要写出完整且有趣的小说还比较难。 • 润色：提供大纲或已有文本，由LLM来扩写、改写，适用于洗稿、避免被查重等场景。 • 总结：提供会议记录、文章，由LLM自动总结要点和待办...阅读全文
java的项目环境 javaweb项目环境配置 JavaWeb系统开发环境配置开发环境的配置是学习一门技术的首要任务，下面是我对JavaWeb系统开发环境配置的过程进行了记录，希望能对你我有益。目录配置JDK环境配置Tomcat输出第一个网站内容一、配置JDK环境直接在百度中搜索JDK，在官网中下载你所需要的JDK到本地，接着点击安装后就需要在自己的电脑中配置系统环境了，具体步骤是：打开你的电脑查看属性，找到高级系统设置打开环境变量配置。开始环 java的项目环境 java jdk web服务器 JAV...阅读全文
使用 下面介绍了Java客户端连接Hbase的使用，1.2.0版本和2.3.4版本亲测下面使用的API都是一致的。（也猜测1.x版本 和2.x版本的应该基本一致）。Java连接Hbase也很简单，Maven中导入对应的 `hbase-client` 依赖即可。 1.pom配置
9月27日，以“国云筑基 智算引擎——人工智能大模型 推动贵州数字经济新跨越”为主题的天翼云中国行·贵州站活动顺利召开。会上举行了天翼云算力创新服务及天翼云政务大模型“慧泽”发布暨中国电信天翼云大模型训练中心揭牌、人工智能大模型应用推广行动启动仪式。天翼云科技有限公司党委书记、董事长、总经理胡志强出席仪式并发表演讲，分享了天翼云在算力、平台、安全三方面的智算能力升级，以及基于国云底座构建繁荣的大模型生态的构想和做法，并发布天翼云政务大模型“慧泽” 。国云三大升级构建AI时代强大基石大模型的出现标志着人工智能生产范式的变革，也带来了经济社会发展效率的显著提升。随着大模型应用的逐渐深入，面向垂直行业的场景化需求尤为迫切，大模型训练和应用走向行业深度定制成为重要趋势。但大模型从通用走向行业深度定...阅读全文
Spring Security 跨站请求伪造保护 1. 前言 很多小伙伴在开发 Spring Security 项目时候，本地测试都没有问题，一放到生产环境后，就会遇到「Invalid CSRF Token」问题，这其实是 Spring Security 防止服务免受「跨站请求伪造」攻击攻击的防护行为。 跨站请求伪造（Cross Site Request Forgery），简写成「CSRF」或者「XSRF」，是一种挟持用户所用浏览器，执行非法操作的攻击方法，也就是说，攻击者利用「CSRF」漏洞伪造用户操作，可实现例如购物、注销等效果，还可以利用该漏洞配合产生其他多种攻击方式。 针对「CSRF」攻击最经济的解决方式是增加「Referer」头或者增加校验「Token」。 Spring Secur...阅读全文
近日，中国电信辽宁公司“智算引领 AI启航”新质生产力赋能辽宁新时代“六地”建设大会在沈阳圆满落幕。辽宁省工业和信息化厅，省国资委，省数据局，省农业农村厅，沈阳市人民政府，抚顺市人民政府，朝阳市人民政府等有关领导出席会议。大会全方位展现中国电信科技创新应用成果、先进行业发展能力，同时布置云、AI、战新业务、政企行业等多个宣传展位与参会者进行互动展示。此外，会议期间还特别举办了中国电信（辽宁）智算集群上线暨新一代绿色智算中心启动仪式和签约仪式，象征着中国电信辽宁公司与天翼云在智能技术领域迈出重要一步，将为地区经济发展注入新动力。智算引领 AI启航赋能辽宁新时代“六地”建设作为新时代东北振兴的重要一环，辽宁正以其强大的产业基础和创新能力，助推数字经济蓬勃发展。中国电信辽宁公司作为建设数字中国、网...阅读全文
ValueError: 无法识别的配置类
目录 1、根节点包含的属性 2、根节点的子节点 2.1、设置上下文名称： 2.2、设置loger、root 正文 回到顶部 1、根节点
split hbase是通过regionServer管理table的，一个table对应一个或多个region，hmaster将这些region根据集群负载分配给regionServer进行管理。若一个table没有进行预分区，那么只有一个region，初始化表时数据的读写都命中同一个regionServer，会造成热点问题，且region进行split时集群是不可用的，频繁的split也会造成大量的集群I/O，性能很低。 1、pre-splitting 在创建table时指定pre-splitting，预先生成多个region，结合合适的rowkey，这样可以很大程度上避免读写热点，每个region内部再按照一定的split-policy进行自动切分。 hbase提供了两种pre-spli...阅读全文
前言本文会系统讲解链路传递一些基本概念，同时结合案例讲解链路传递的过程。Context、Propagator 的概念我们先看一张在 HTTP 通信下，进行链路传播的例子。图中是一个 Client 请求 Server 通信，同时 Client 把自己的链路信息传递给 Server 的过程可以看到，链路信息通过一个叫 TraceContext 对象封装起来，通过 Http Headers来存取这个对象，最后达到传播的效果，这里面 TraceContext 就是一个 Context 上下文对象。Context 是一种传播机制，它跨越 API 边界，在逻辑执行单元间传递执行范围的值。链路追踪系统在系统进程内部，进程间通过共享进程的 Context 上下文 对象传递链路信息。刚才 Http Heade...阅读全文
近日，Meta公司发布了其最新研发成果——开源大模型Llama 3，共包含Llama 3 8B和Llama 3 70B两种规格，参数量级分别为80亿与700亿，并表示这是目前同体量下性能最好的开源模型。相较于前代产品Llama 2，Llama 3在预训练数据上扩大了整整7倍（达到15T tokens），并且在数据质量与训练方式上也进行了深度优化，这无疑为开源大型语言模型（LLM）领域发展再次书写了辉煌篇章。为了方便广大AI技术爱好者与从业者快速上手学习与使用大语言模型技术，天翼云基于开源的Meta-Llama-3-8B-Instruct模型以及text-generation-webui框架, 搭建了一键部署、开箱即用的云主机镜像。同时，天翼云CPU/GPU云主机近期即将上线Llama 3大模...阅读全文
 为什么我们还要学C++ 因为在贴近底层、追求性能、降低功耗方面，C++几乎没有敌手，小到嵌入式、大到分布式，C++都是解决问题的利器，面向物联网的“嵌入式”开发和面向大型化的“分布式”开发都离不开它5G即来，C++在起势，你不抓住吗？ 一、选择编译器 在C++编程中，我们需要选择一个合适的编译器来将我们编写的源代码转换为可执行的二进制文件。目前常用的C++编译器有GCC、Clang和Microsoft Visual C++等。这里我们选择GCC作为示例。 二、安装GCC编译器 GCC编译器是一个开源的跨平台工具链，可以在多...阅读全文
ChatGPT，作为当前技术革新的杰出产物，已经深刻改变了我们处理文本的方式。这个智能工具擅长多种任务，包括但不限于写作辅助、语言翻译、编程和创造性文案生成。通过简化繁琐的流程，ChatGPT极大地提高了我们日常工作和生活的效率。作为一款先进的文本生成器，用户只需向ChatGPT输入一段文字描述，它便能依据提供的信息生成一段回复。虽然不能完全保证每次生成的内容都能满足用户的具体要求，但ChatGPT具备学习优化的能力。通过用户不断地精炼问题和指令，ChatGPT可以更精确地调整其回应以满足用户需求。经验表明，当用户提供清晰、明确且详尽的指令时，ChatGPT更有可能输出符合期望的答案。在日常应用中，ChatGPT提升工作效率的优势尤为明显，它能迅速完成任务，同时降低成本。这个工具能够轻松处理...阅读全文
本文分享自天翼云开发者社区《虚拟化技术 - CPU虚拟化》，作者:谢****悦物理机器是由CPU，内存和I/O设备等一组资源构成的实体。虚拟机也一样，由虚拟CPU，虚拟内存和虚拟I/O设备等组成。VMM(VM Monitor)按照与传统OS并发执行用户进程的相似方式，仲裁对所有共享资源的访问。本文将分别讨论CPU虚拟化、内存虚拟化和I/O虚拟化技术的原理和实现。在虚拟化的平台上，虚拟机（guest VM）所使用的多个虚拟CPU（以下称vCPU）可能是共享同一个物理CPU（以下称pCPU）的。VMM负责vCPU的调度，当一个vCPU被调度到获得pCPU的使用权后，基于该vCPU运行的guest OS又可以调度OS中的各个线程/进程了。也就是说，guest OS中的各个线程/进程分时复用了vCP...阅读全文
导读腾讯云 Elasticsearch Service（ES）是基于开源搜索引擎 Elasticsearch 打造的高可用、可伸缩的云端全托管的 Elasticsearch 服务，包含 Kibana 及常用插件，并集成了安全、SQL、机器学习、告警、监控等高级特性（X-Pack）。本文描述在实际使用中，经常会遇到的ES集群负载不均的问题，并结合多种场景进行分析、解决，以及如何避免。作者简介岳涛腾云忆想大数据产品架构师，多年分布式、高并发大数据系统的研发、系统架构设计经验，擅长主流大数据架构技术平台的落地和实施。目前专注于大数据架构相关组件的研究推广和最佳实践的沉淀，致力于帮助企业完成数字化转型。一、背景ES集群在某些情况下会出现CPU使用率高的现象，具体有两种表现：1. 个别节点CPU使用率...阅读全文
 flink实时规则营销系统（39期，2023版）——简单来说，本系统核心是一个基于事件驱动且可进行动态规则计算的实时系统，在技术上它是通用的；本套架构及系统内核，不仅可以用于“实时运营”，也可以用于“实时风控”，“实时推荐”，“实时交通监控”等场景。运营场景举例：下单促付款，新品发布信息精准送达。 本系统，在核心规则引擎之外，也集成了大量metric及跟踪数据输出，能在系统中及系统外进行多维度数据分析，以深度掌握各类市场运营活动的效果，以及系统运行的各类状态 什么是flink? flink是一个分布式，高性能，随时可用的以...阅读全文
10月10日，以“算”汇三江水，“云”聚八境台为主题的天翼云中国行·赣州站活动成功举办，赣州市有关领导，以及客户、合作伙伴等众多企业代表共同出席。会上举行了天翼云4.0暨赣州算力集群落成发布仪式，通过进一步完善云资源部署，天翼云助力赣州政府与各行各业实现上云用数赋智的转型升级，打造强劲发展“新动能”。夯实数字经济底座助推数字赣州高质量发展信息化为工业化插上腾飞翅膀，工业化为信息化提供广阔舞台。赣州市委常委、市政府副市长何琦在致辞中表示，近年来，赣州乘“云”而上、顺“数”而为，大力推进数字经济“一号发展工程”取得积极成效。希望中国电信继续发挥优势、展现特色，一如继往支持赣州发展，充分发挥天翼云“国云筑基”“安全可靠”的优势，在数据中心建设、企业数字化转型和智慧城市建设等方面持续给力，为赣州高质...阅读全文
本文分享自天翼云开发者社区《NFS v3及v4协议区别》，作者:章****凯NFS v4相比v3，有部分功能的增强，如果应用需要实现如下功能，则必须使用NFS v4（建议和应用侧确实是否有NFS v4需求，一般情况下，应用侧会对是否采用NFS v4有明确需求）：ID Domain MappingNFS v4引入Domain概念，加强了权限管控的能力。访问NFS v4的卷需要授权，因此性能相比NFS v3略有下降。授权NFS V4访问，需要部署LDAP服务器做权限管控，并涉及操作系统部分配置文件修改NFS v4.x Access Control Lists (ACLs)NFS v4支持同一文件的不同用户权限控制，例如对文件1.txt，用户A是755权限，用户B是600权限，通常这类权限管控要求...阅读全文
AI大模型RAG项目实战课 RAG 综述 RAG技术在大模型（LLM, Large Language Models）中的应用非常广泛，是大模型落地最多的场景之一。通过RAG，客户可以咨询车辆功能、维护、最新技术或政策法规相关信息，从而提升客户服务与支持的效率。具体应用场景包括外部客服，结合RAG的LLM提供24/7客户服务，快速检索产品信息；文档撰写，通过RAG检索相关资料，生成高质量文档；图像生成与数据处理和分析，以及内部知识库的建立和维护。 为了解决纯参数化模型的局限，语言模型可以采取半参数化方法，将非参数化的语料库数据库与参数化模型相结合。这种方法被称为RAG（Retrieval-Augmented Generation）。 RAG通用范式 原始RAG是最早的研究范式，主要包括以下几个...阅读全文
有幸在2019KubeCon上海站听到Steve Flanders关于OpenTelemetry的演讲，之前Ops领域两个网红项目OpenTracing和OpenCensus终于走到了一起，可观察性统一的标准化已经扬帆起航。这篇文章旨在抛砖引玉，希望能够和更多的同学一起交流可观察性相关的内容。前世OpenTracingOpenTracing制定了一套平台无关、厂商无关的Trace协议，使得开发人员能够方便的添加或更换分布式追踪系统的实现。在2016年11月的时候CNCF技术委员会投票接受OpenTracing作为Hosted项目，这是CNCF的第三个项目，第一个是Kubernetes，第二个是Prometheus，可见CNCF对OpenTracing背后可观察性的重视。比如大名鼎鼎的Zipk...阅读全文
一、Spring Security简介 Spring Security是为基于Spring的应用程序提供声明式安全保护的安全性框架，它提供了完整的安全性解决方案，能够在web请求级别和方法调用级别处理身份证验证和授权。因为基于Spring框架，所以Spring Security充分利用了依赖注入和面向切面的技术。 Spring Security主要是从两个方面解决安全性问题： web请求级别：使用Servlet规范中的过滤器（Filter）保护Web请求并限制URL级别的访问。 方法调用级别：使用Spring AOP保护方法调用，确保具有适当权限的用户才能访问安全保护的方法。 想深入了解Spring Security的相关概念与实现原理，可点击传送门 ==》 Spring Security的...阅读全文
本文分享自天翼云开发者社区《服务器主机：复杂理论的视角与SEO策略》,作者:不知不觉在数字世界的演变中，服务器主机在信息存储和数据处理方面发挥着核心作用。本文将带你重新认识服务器主机的价值，并通过复杂理论解释其重要性和必要性，同时结合SEO关键字布局来指导你如何优化内容。一、服务器主机的概述服务器主机是一种专门用于提供互联网服务的计算机设备。它具有高性能的处理器、海量的存储空间和稳定的网络连接，旨在处理和传输大量的数据信息。服务器主机通常用于企业级应用、网站托管、数据库存储等场景，为企业和个人提供稳定、高效的服务。二、服务器主机的特点高性能：服务器主机通常采用最/先进的处理器和内存技术，能够处理大量的数据请求和计算任务。稳定性：服务器主机经过专门设计和优化，具备高度的可靠性和稳定性，以保证服...阅读全文
本篇文章使用的是 Prometheus v2.40 源码 转载请声明出处哦~，本篇文章发布于luozhiyun的博客：https://www.luozhiyun.com/archives/725 本篇文章主要是整理一下 Prometheus 的时序数据库是怎么存储以及管理数据的，希望这篇文章能给大家带来一定的启发。 概述 我们先来看看 Prometheus 的整个架构图： 对于 Prometheus Server 来说，整个数据处理流程分为三部分：Exporter 指标的收集、Scraper 数据的抓取、TSDB 数据的存储及查询；Exporter 其实不同的服务有不同的收集实现，类似 Mysqld-exporter、node exporter 等我们这里不做过多的解读，大家基本只需要知道它...阅读全文
