一、美团数仓架构图如上图，是美团最新的数仓架构图。整个架构图分为三层，从下往上看，最下面一层是数据安全，包括受限域认证系统、加工层权限系统，应用层权限系统，安全审计系统，来保证最上层数据集成与处理的安全；中间一层是统一的元数据中心和全链路血缘，覆盖了全链路的加工过程；最上层根据数据的流向，分成数据集成，数据处理，数据消费，数据应用，四个阶段；在数据集成阶段，对于不同的数据来源（包括用户行为数据，日志数据，DB 数据，文件数据），都有相对应的数据集成系统，把数据收集到统一的存储之中，包括 Kafka 和 Hive 等。在数据处理阶段，有一个面向用户的数据开发平台（万象平台），可以使用两条数据处理链路来加工数据，一个是流式处理链路，一个是离线处理链路。数据加工好了之后，使用内部自研的 Delta...阅读全文
一站式通关CKA证书（23年新课，基于k8s1.27版本） 分享一套CKA课程——一站式通关CKA证书，23年新课，基于k8s1.27版本，完整版10章，附源码+PDF课件。 CKA认证考试是由Linux基金会和云原生计算基金会(CNCF)创建的，以促进Kubernetes生态系统的持续发展。该考试是一种远程在线、有监考、基于实操的认证考试，需要在运行Kubernetes的命令行中解决多个任务。CKA认证考试是专为Kubernetes管理员、云管理员和其他管理Kubernetes实例的IT专业人员而设的。 已获得认证的K8s管理员具备了进行基本安装以及配置和管理生产级Kubernetes集群的能力。他们将了解Kubernetes网络、存储、安全、维护、日志记录和监控、应用生命周期、故障排除、...阅读全文
综述字节跳动在发展过程中，逐渐形成了十分复杂的超大规模微服务体系，对后端整体的可观测性解决方案提出了极高的要求。为了解决这个问题，基础架构智能运维团队自研链路追踪系统，将海量 Metrics/Trace/Log 数据进行整合与统一，并在此基础上实现了新一代的一站式全链路观测诊断平台，帮助业务解决监控排障、链路梳理、性能分析等问题。本文将会介绍字节跳动链路追踪系统的整体功能和技术架构，以及实践过程中我们的思考与总结。什么是分布式链路追踪(Trace) ？M T L 的关系可观测性的三大基础数据是 Metrics / Log / Trace。说到这三大件，可能大家会想到当需要监控变化趋势和配置告警时就去用 Metrics；当需要细查问题时去查 log；对于微服务数量较多的系统，还得有 Trace...阅读全文
 如何学好人工智能？学习人工智能需要哪些基础？人工智能薪资待遇如何？这些应该是当下很多程序员朋友最关心的问题，今天就让我们来一起探讨学习一下。 个人建议，要学好人工智能，可以按照以下步骤来进行： 第一步——数学基础知识：学习线性代数、概率统计、微积分等数学概念，这些都是人工智能领域的核心内容。 第二步——编程语言：熟练掌握至少一种编程语言，如Python，它是目前最流行的编程语言之一，拥有丰富的开源库和框架，如TensorFlow。 第三步——机器学习算法：学习常见的机器学习算法，如支持向量机、逻辑回归、决策树、朴...阅读全文
0、事出有因 您好，目前我需要将只读索引segment合并，有几个问题想要求教1、 segment是不是合并到一个最好，及max_num_segments=12、合并的时候，通过POST /my_index/_forcemerge?max_num_segments=1会不会吃光所有的机器资源，造成服务暂时不可用(optimize?max_num_segments=1就会吃光所有资源)，但是我没有从官方文档找到_forcemerger 这种方式的资源消耗。3、在es 6.7及以上中index.merge 相关参数有需要特别注意和调整的地方吗？（目前我全部使用的默认值）死磕 Elasticsearch 知识星球 http://t.cn/RmwM3N9这个涉及到基础概念，为保证说法的准确性，如下会...阅读全文
ChatGPT+AI技术项目实战，打造多端智能虚拟数字人 分享课程——ChatGPT+AI技术项目实战，打造多端智能虚拟数字人，附源码。 ChatGPT全称为Chat Generative Pre-trained Transformer，一个基于深度学习的大型语言模型，其模型结构使用了Transformer网络 。这个网络可以从输入的文本中学习语言的规律和模式，并用这些规律和模式来预测下一个单词或字符。 在chatGPT的训练过程中，chatGPT接受了海量的文本数据，这些数据包括各种来源，例如维基百科、新闻文章、小说、网页等等。这些庞大的数据集被用来形成一个模仿人脑的深度学习神经网络，在学习过程中，chatGPT试图学习这些数据中的语言规则和模式，预测文本序列中的下一个单词或字符，以提高自...阅读全文
学习资料地址1：https://pan.baidu.com/s/1mpYHRFi68lzNuA8neYI15w 提取码：pwjd 学习资料地址2：https://share.weiyun.com/tnVNHGMD 密码：3fj7iy 自动驾驶是高安全型应用，需要高性能和高可靠的深度学习模型，Vision Transformer是理想的选摔。现在主流的自动驾驶感知算法基本都使用了Vision Transformer相关技术，比如分割、2D/3D检测，以及最近大火的大模型 (如SAM)，Vision Transformer在自动驾驶领域的落地方面遍地开花。5一方面，在自动驾驶或图像处理相关算法岗位的面试题中，Vision Transformer是必考题，需要对其理论知识有深入理解，并且在项目中真...阅读全文
见字如面，我是小斐，上文介绍了关于运算、阈值、集合操作等相关操作和说明，本文将继续说明PromQL的基础，上文链接如下：排序本节我们将学习如何对查询结果进行排序，或者只选择一组序列中最大或最小的值。我们可以使用 sort()（升序） 或者 sort_desc()（降序）函数来实现对输出结果进行排序，例如，要显示按值排序的每个路径请求率，从最高到最低，我们可以用下面的语句进行查询：sort_desc(sum by(path) (rate(demo_api_request_duration_seconds_count{job="demo"}[5m])))有的时候我们并不是对所有的时间序列感兴趣，只对最大或最小的几个序列感兴趣，我们可以使用 topk() 和 bottomk() 这两个运算符来操作...阅读全文
【完结10章】高性能GO企业级APM监控系统实战 概述 ARM(Application Performance Monitoring)监控系统是一种用于监控和管理应用程序性能的工具。它通过收集应用程序运行时的各种指标数据，并将数据进行分析和可视化展示，帮助开发人员和运维人员找到应用程序中的性能瓶颈和问题。 APM监控系统具有以下功能特点: 1.实时监控:ARM监控系统可以实时地收集和分析应用程序的性能数据，包括但不限于CPU使用率、内存占用、网络延迟、数据库查询时间等。通过实时监控，可以快速发现和解决性能问题，避免对用户体验造成负面影响。 2.性能分析:ARM监控系统可以对应用程序的性能数据进行深入分析，帮助开发人员和运维人员找到性能瓶颈和问题的根本原因。通过性能分析，可以优化代码和配置提升...阅读全文
Springboot+ChatGLM 实战AI数字人面试官系统【14章】 ChatGLM 模型概述 ChatGLM 是一类基于自回归语言模型的生成式预训练模型，专门设计用于处理对话系统中的自然语言生成任务。ChatGLM 模型依托于 Transformer 架构，具备高度并行化的计算能力，并能够捕捉长距离的语言依赖关系。在预训练过程中，ChatGLM 通过海量的无监督语料进行学习，能够生成流畅、连贯的自然语言文本，适用于智能对话、自动应答和内容生成等场景。 ChatGLM 模型的优势体现在其专注于对话任务的优化上，能够根据上下文生成具有逻辑性和一致性的回答。此外，通过对大规模数据进行预训练，ChatGLM 可以处理开放式问答、任务型对话等多种对话需求，表现出强大的多样性和灵活性。 ChatG...阅读全文
【10章】SpringBoot 3 + Flutter3 实战低代码运营管理 给大家分享一套课程——SpringBoot 3 + Flutter3 实战低代码运营管理，共10章，课程包更新，附源码。 低代码（Low Code）是一种可视化的应用开发方法，用较少的代码、以较快的速度来交付应用程序，将程序员不想开发的代码做到自动化，称之为低代码。 低代码是一组数字技术工具平台，基于图形化拖拽、参数化配置等更为高效的方式，实现快速构建、数据编排、连接生态、中台服务。通过少量代码或不用代码实现数字化转型中的场景应用创新。 低代码的底层逻辑还是一个开发平台，需要对个性化的需求开放实现途径 场景构建能力：通过图形可视化，拖拉拽方式就能快速构建运营管理所需的应用场景，敏捷响应需求变更的快速迭代，做到调研即...阅读全文
 音视频技术涉及广泛。包括语音信号处理、数字图像处理、信息论、封装格式、编解码、流媒体协议、网络传输、渲染、算法等方面。在现实生活中，音视频也扮演着越来越重要的角色，比如 视频会议、直播、短视频、播放器、语音聊天 等。接下来将从几个维度进行介绍：简单理解音视频原理、音视频理论基础、音视频学习路线、媒体协议和音视频发展方向。 一、C++音视频需要掌握哪些技术 1、搞音视频必须有扎实的C/C++开发语言基础、 JNI基础，学会如何交叉编译 FFmpeg 等 C/C++库； 2、其次，我们需要阅读大量的音视频规范/协议文档（如H2...阅读全文
本文分享自天翼云开发者社区《边缘云特点、应用实践和发展趋势浅析》,作者:JinnyPeng随着物联网、人工智能和5G技术的快速发展，云计算正在迎来一场革命性的变革。在传统云计算架构中，数据和计算主要集中在大型数据中心中进行处理，这在某些场景下存在一定的局限性。为了满足实时性、低延迟和数据安全等需求，边缘云应运而生。本文将对边缘云的特点、应用实践和发展趋势进行浅析。一、边缘云的特点分布式计算：边缘云将计算资源从传统的集中式数据中心转移到网络边缘的设备和节点上。这种分布式计算的特点使得数据的处理和分析更加快速和高效。低延迟：边缘云将数据处理和分析的过程靠近数据源头，减少了数据传输的延迟。这对于实时应用场景，如自动驾驶、智能城市和工业自动化等至关重要。数据安全：边缘云可以在数据源头对数据进行处理和...阅读全文
【2024】kubernetes+DevOps云原生运维开发全栈架构师技术实战课程 给大家分享一套课程——【2024】kubernetes+DevOps云原生运维开发全栈架构师技术实战课程，附代码+PDF文档+软件下载。 Kubernetes是Google开源的一个容器编排引擎，它支持自动化部署、大规模可伸缩、应用容器化管理。在生产环境中部署一个应用程序时，通常要部署该应用的多个实例以便对应用请求进行负载均衡。 在Kubernetes中，我们可以创建多个容器，每个容器里面运行一个应用实例，然后通过内置的负载均衡策略，实现对这一组应用实例的管理、发现、访问，而这些细节都不需要运维人员去进行复杂的手工配置和处理。 kubelet是主要的节点代理，它会监视已分配给节点的pod，具体功能： 安装Po...阅读全文
download：迈向高级的Java面试突围课本课采用大厂多轮面试形式贯穿主线，内容涵盖Java中高级面试的必考点、高频点、加薪点。同时融合讲师多年阿里字节考官经验，通过真实模拟不同面试场景，将面试每个环节和应对心得逐一讲解，助你突破自身瓶颈，超常发挥，顺利通过大厂面试。技术要求Java Web1年以上实际开发经验环境参数环境参数：JDK1.8、SpringBoot2.x 开发工具：Intelij IDEA20世纪90年代，硬件范畴出现了单片式核算机系统，这种价格低廉的系统一出现就当即引起了主动控制范畴人员的留神，由于运用它能够大起伏行进消费类电子产品（如电视机顶盒、面包烤箱、移动电话等）的智能化程度。Sun公司为了抢占市场先机，在1991年景立了一个称为Green的项目小组，帕特里克、詹姆...阅读全文
参考资料地址1：https://pan.baidu.com/s/1Gml6a50F4DU8uWfoRqa--g 提取码: qczi 参考资料地址2：https://share.weiyun.com/2pn97By4 密码：c58ghh 一站式通关CKA证书-Kubernetes管理员认证（CKA）-Kubernetes管理员认证（CKA）计划的目的是提供CKA管理员具有执行Kubernetes管理员职责的技能﹑知识和能力的保证。这个CKA 证书是云原生计算基金会 CNCF 组织的，比国内的一些含水量很大的证书强太多了。 CKA 证书是云原生计算基金会 CNCF 组织的，它考察的是你是否具备足够管理 Kubernetes 集群的必备知识。考试形式是上机直接在集群上操作，限时 3 小时，非常考验...阅读全文
1.简单介绍InnoDB给MySQL提供了具有提交，回滚和崩溃恢复能力的事务安全（ACID兼容）存储引擎。InnoDB锁定在行级并且也在SELECT语句提供一个Oracle风格一致的非锁定读。这些特色增加了多用户部署和性能。没有在InnoDB中扩大锁定的需要，因为在InnoDB中行级锁定适合非常小的空间。InnoDB也支持FOREIGN KEY强制。在SQL查询中，你可以自由地将InnoDB类型的表与其它MySQL的表的类型混合起来，甚至在同一个查询中也可以混合。 2.之所以选用innodb作为存储引擎的考虑目前来说，InnoDB是为Mysql处理巨大数据量时的最大性能设计。它的CPU效率可能是任何其它基于磁盘的关系数据库引擎所不能匹敌的。在数据量大的网站或是应用中Innodb是倍受青睐的。...阅读全文
背景 项目中有时我们需要对应用进行诊断和调试，如调用某个接口进行业务验证、业务执行、数据修复、刷新缓存、查询数据、跑批量任务等等。 微服务项目 如基于Dubbo搭建的微服务，我们可使用Dubbo支持的telnet运维管理，其中invoke命令方便直接调用Dubbo接口; 也可整合swagger-dubbo，方便在网页界面上直接调用Dubbo接口。 web项目 如使用了SpringMVC、Jersey等框架，可考虑暴露一些运维相关的内部rest api，里面调用业务方法，用于某些场景下人工操作处理。 有些情况下以上条件不具备，如不能修改代码、希望不修改代码、不方便修改代码、没有源代码等原因。 Arthas Arthas 是Alibaba开源的Java诊断工具，可以用于快速诊断Java应用和定位...阅读全文
存储成本下降66%，得物云原生全链路追踪架构实践 2022-10-20 09:54 来源: dbaplus社群 发布于：广东省 原标题：存储成本下降66%，得物云原生全链路追踪架构实践 分布式链路追踪作为解决分布式应用可观测问题的重要技术，得物全链路追踪(简称Trace2.0)基于OpenTelemetry提供的可观测标准方案实现新一代的一站式全链路观测诊断平台，并通过全量采集Trace帮助业务提高故障诊断、性能优化、架构治理的效率。 全量采集Trace数据(日增数百TB 、数千亿条Span数据)并以较低的成本保证数据的实时处理与高效查询，对Trace2.0后端整体的可观测性解决方案提出了极高的要求。本文将详细介绍Trace2.0背后的架构设计、尾部采样和冷热存储方案，以及我们是如何通过自建...阅读全文
有幸在2019KubeCon上海站听到Steve Flanders关于OpenTelemetry的演讲，之前Ops领域两个网红项目OpenTracing和OpenCensus终于走到了一起，可观察性统一的标准化已经扬帆起航。这篇文章旨在抛砖引玉，希望能够和更多的同学一起交流可观察性相关的内容。前世OpenTracingOpenTracing制定了一套平台无关、厂商无关的Trace协议，使得开发人员能够方便的添加或更换分布式追踪系统的实现。在2016年11月的时候CNCF技术委员会投票接受OpenTracing作为Hosted项目，这是CNCF的第三个项目，第一个是Kubernetes，第二个是Prometheus，可见CNCF对OpenTracing背后可观察性的重视。比如大名鼎鼎的Zipk...阅读全文
9月11日至17日，以“网络安全为人民，网络安全靠人民”为主题的2023年国家网络安全宣传周在全国范围内展开。15日，在云计算服务安全分论坛上，中国电信天翼云等8家头部云计算服务商联合发起了自律公约倡议，共同起草了《云计算服务安全自律公约》。天翼云科技有限公司副总经理、首席网络安全官广小明出席仪式并签署公约。《云计算服务安全自律公约》围绕云平台所面临的普遍问题和重点问题，在法律法规框架内，针对云计算企业完善安全管理体系、规范开展安全运维流程、保障用户数据安全、维护公平竞争环境等方面提出了更高的要求。作为云服务国家队，天翼云始终把安全视为重中之重，秉持建设网络强国、数字中国和维护国家网信安全的使命责任，坚持核心技术自主攻关，走出了一条以科技创新驱动高质量发展之路。以云操作系统为核心，天翼云从...阅读全文
详解Prometheus四种指标类型，谁还不是个监控老司机了 2023-02-17 14:12 来源: dbaplus社群 原标题：详解Prometheus四种指标类型，谁还不是个监控老司机了 指标是用来衡量性能、消耗、效率和许多其他软件属性随时间的变化趋势。它们允许工程师通过警报和仪表盘来监控一系列测量值的演变（如CPU或内存使用量、请求持续时间、延迟等）。指标在IT监控领域有着悠久的历史，并被工程师广泛使用，与日志和链路追踪一起被用来检测系统是否有不符合预期的表现。 在其最基本的形式中，一个指标数据点是由以下三个部分构成： 一个指标名称 收集该数据点的时间戳 一个由数字表示的测量值 在过去的十年里，随着系统变得越来越复杂，出现了维度度量的概念，也就是说，度量还包括一组标签或标识（即维度）...阅读全文
本篇文章使用的是 Prometheus v2.40 源码 转载请声明出处哦~，本篇文章发布于luozhiyun的博客：https://www.luozhiyun.com/archives/725 本篇文章主要是整理一下 Prometheus 的时序数据库是怎么存储以及管理数据的，希望这篇文章能给大家带来一定的启发。 概述 我们先来看看 Prometheus 的整个架构图： 对于 Prometheus Server 来说，整个数据处理流程分为三部分：Exporter 指标的收集、Scraper 数据的抓取、TSDB 数据的存储及查询；Exporter 其实不同的服务有不同的收集实现，类似 Mysqld-exporter、node exporter 等我们这里不做过多的解读，大家基本只需要知道它...阅读全文
Go/Golang DevOps运维开发实战集训营（2023版） 网盘地址：https://pan.baidu.com/s/1mldouX5nPMWoFHhW5CP8OQ 提取码: kd7r 腾讯微云下载地址：https://share.weiyun.com/fOjvMvBh 密码：32sf5s 随着服务器、业务系统越来越多，已经没有办法靠人来运维整个平台和业务了。可以试想，如果都需要人工干预完成工作，那得需要投入多少人力?当业务上线时，我们需要部署环境、部署项目;当发生问题时，我们人为地去感知问题后排查问题、定位问题，这时业务可能已经挂了很长时间。所以要基于对运维的理解构建起自动化、智能化运维平台现阶段，掌握一门开发语言已经是高薪运维工程师的必备技能，不会开发，你就不能提高运维工作效率!就...阅读全文
linux 命令删除命令,Linux 命令之删除命令 weixin_33019827的博客 04-28 2778 在Linux下删除文件用rm命令，具体用法如下：rm [选项] 文件选项说明：-f -force 忽略不存在的文件，强制删除，无任何提示-i --interactive 进行交互式地删除-r | -R --recursive 递归式地删除列出的目录下的所有目录和文件-v --verbose 详细显示进行的步骤命令实例：1、常规删除a.txt文件... linux删除用户名命令,linux删除用户命令 weixin_36435442的博客 04-28 7651 Linux下删除以后的时候我们需要通过相关的命令来实现。下面由学习啦小编为大家整理linux删除用户命令的相关知识，希望对...阅读全文
先放链接为敬。从上大学开始写论文，流程图也成为不可或缺的一种论文配图，流程图除了表示算法思路，在展示技术路线、整理大纲逻辑、绘制PPT等方面简洁明了、逻辑清晰的效果实在是好，但在电脑上绘制流程图没有“利器”可不行。细数一下我曾用来画过流程图的软件：最早是在Word和PPT文档中添加图形绘制，效率是真的低，规整对齐是真难；后来Microsoft Office里增加了SmartArt功能，模板样式多样化了，但自定义修改可真够麻烦╮(╯▽╰)╭；之后在Xmind也尝试绘制流程图过，但Xmind毕竟是主打思维导图的，过不了完美主义者强迫症的关；再然后是Visio，功能强大，绝对优秀，但是占用磁盘存储也够多，一两个G轻轻松松，另外微软办公软件均默认安装C盘，看着安装后猛增的已用空间，emmmm发愁；再...阅读全文
前言本文会系统讲解链路传递一些基本概念，同时结合案例讲解链路传递的过程。Context、Propagator 的概念我们先看一张在 HTTP 通信下，进行链路传播的例子。图中是一个 Client 请求 Server 通信，同时 Client 把自己的链路信息传递给 Server 的过程可以看到，链路信息通过一个叫 TraceContext 对象封装起来，通过 Http Headers来存取这个对象，最后达到传播的效果，这里面 TraceContext 就是一个 Context 上下文对象。Context 是一种传播机制，它跨越 API 边界，在逻辑执行单元间传递执行范围的值。链路追踪系统在系统进程内部，进程间通过共享进程的 Context 上下文 对象传递链路信息。刚才 Http Heade...阅读全文
功能描述：mmap将一个文件或者其它对象映射进内存。文件被映射到多个页上，如果文件的大小不是所有页的大小之和，最后一个页不被使用的空间将会清零。munmap执行相反的操作，删除特定地址区域的对象映射。基 于文件的映射，在mmap和munmap执行过程的任何时刻，被映射文件的st_atime可能被更新。如果st_atime字段在前述的情况下没有得到 更新，首次对映射区的第一个页索引时会更新该字段的值。用PROT_WRITE 和 MAP_SHARED标志建立起来的文件映射，其st_ctime和 st_mtime在对映射区写入之后，但在msync()通过MS_SYNC 和 MS_ASYNC两个标志调用之前会被更新。用法： void *mmap(void *start, size_t length,...阅读全文
全栈工程师开发手册 （作者：栾鹏） 架构系列文章 微服务对于每个功能的开发细化了，但是对与系统的管理复杂度增强了，尤其是网络流量的管理。 试想一下：黑名单，导流，加密，访问控制，流量监控，熔断，限速，收费功能，数据流阶段延迟 这种在网络层上的功能难道要在每个应用代码中实现么？ Istio简介 Istio：一个连接，管理和保护微服务的开放平台。 按照isito文档中给出的定义: Istio提供一种简单的方式来建立已部署的服务的网络，具备负载均衡，服务到服务认证，监控等等功能，而不需要改动任何服务代码。简单的说，有了Istio，你的服务就不再需要任何微服务开发框架（典型如Spring Cloud，Dubbo），也不再需要自己手动实现各种复杂的服务治理功能（很多是Spring Cloud和Dubb...阅读全文
地址1：https://pan.baidu.com/s/1eAgrPWfwwSklX7Z12yI1qQ 提取码: drmd 地址2：https://share.weiyun.com/2pn97By4 密码：c58ghh CKA认证难吗？考试内容有哪些？这个应该是很多准备考CKA认证的学员想问的问题。那么我们今天就针对这个进行详细的讲解。 CKA认证全称是 Certificated Kubernetes Administrator，也就是官方认证的 Kubernetes 管理员，由 Kubernetes 的管理机构 CNCF 授权。 CKA认证考试的题目全部是实操题，没有任何一个选择题或者填空题之类的，而且经常听学员反馈考点设备的网络较卡，设备反应慢等问题，考试环境中需要你自己动手把所有的实操...阅读全文
SpringBoot 3 + Flutter3 实战低代码运营管理-10章 参考资料1：https://pan.baidu.com/s/1sE93jgG-x3QwuVbbKtG_vQ 提取码：2nli 参考资料2：https://pan.baidu.com/s/1xXEFkvYj_0ZX2l2zZShA7w 提取码：d2nw 技术人员唯有多领域发展，才能具备抓住最佳机会和心仪Offer的实力。《SpringBoot 3 + Flutter3 实战低代码运营管理》将带你基于全栈技术（SpringBoot 3+Flutter3），全流程打造多端低代码运营管理平台，助你急速打通“全栈+跨端“综合技能，更快胜任多领域岗位，先人一步成为企业青睐的 “驾驭全局，深广兼备，打通端到端全技能” 的全能型人才...阅读全文
【完结13章】云时代必修课-云原生CI/CD(持续集成与交付)全流程实战 CI/CD 包含了一个 CI 和两个 CD，CI全称 Continuous Integration，表示持续集成，CD包含 Continuous Delivery和 Continuous Deployment，分别是持续交付和持续部署，三者具有前后依赖关系。 CI/CD 包含几个整体流程： 持续集成： 开发人员频繁地将代码合并到主分支，所有的构建和测试都会每天自动执行，以确保主分支代码每天都是可以就绪发布的。 CI 需要具备这些： 全面的自动化测试 这是实践持续集成&持续部署的基础，同时，选择合适的 自动化测试工具也极其重要； 灵活的基础设施 容器，虚拟机的存在让开发人员和 QA 人员不必再大费周折； 版本控制工具 如...阅读全文
本文分享自天翼云开发者社区《全栈混合云综合架构方案研究和落地》，作者: y****n 链接： https://www.ctyun.cn/developer/article/354717063266373 (一)业务背景 随着云服务的便利性日益被市场接受，企业客户越来越倾向采用公有云服务补充其现有的企业内部部署的数据中心和私有云基础架构的不足。因此，混合云成为云服务市场的重要发展趋势。广义上讲，混合云的形态可以包括云与云的组合、云与传统IT系统的组合、云与虚拟化技术的组合等，它们可根据具体业务场景需求使用混合IT方式解决具体问题；狭义上讲，混合云指的是至少使用了两种不同部署模式（公有云、私有云、社区云）的云服务。当前，应用较多的混合云形式为公有云+私有云的组合。 现有混合云管理方法主要解决以下...阅读全文
首个基于Transformer的分割检测+视觉大模型视频课程（23年新课+源码+课件） 分享一套视觉大模型课程——首个基于Transformer的分割检测+视觉大模型视频课程，2023年新课，附源码+课件。 视觉分割旨在将图像、视频帧或点云分割为多个片段或组。这种技术具有许多现实世界的应用，如自动驾驶、图像编辑、机器人感知和医学分析。 最近，Transformer成为一种基于自注意力机制的神经网络，最初设计用于自然语言处理，在各种视觉处理任务中明显超越了以往的卷积或循环方法。 具体而言，视觉Transformer为各种分割任务提供了强大、统一甚至更简单的解决方案。本综述全面概述了基于Transformer的视觉分割，总结了最近的进展。 图像分割作为计算机视觉的三大任务之一，是智慧城市、工业制...阅读全文
本文首发于 vivo互联网技术 微信公众号链接： https://mp.weixin.qq.com/s/qayKiwk5QAIWI7-nyD3FVA作者：DuZhimin随着互联网、尤其是物联网的发展，我们需要把各种类型的终端实时监测、检查与分析设备所采集、产生的数据记录下来，在有时间的坐标中将这些数据连点成线，往过去看可以做成多纬度报表，揭示其趋势性、规律性、异常性;往未来看可以做大数据分析，机器学习，实现预测和预警。这些数据的典型特点是：产生频率快（每一个监测点一秒钟内可产生多条数据）、严重依赖于采集时间（每一条数据均要求对应唯一的时间）、测点多信息量大（实时监测系统均有成千上万的监测点，监测点每秒钟都产生数据，每天产生几十GB的数据量）。基于时间序列数据的特点，关系型数据库无法满足对时...阅读全文
本文分享自天翼云开发者社区《一种基于Nginx的热点数据调度处理方法》,作者:康****彬一、应用场景基于Nginx的热点数据调度处理，热点节点数据负载均衡处理，减少热点节点压力，提高处理和访问效率；每一个节点的nginx服务接收大量的访问，但是每个节点处理请求都有一个峰值，当请求数达到峰值时，后续请求的处理效率就会有一定的下降，为了保证请求能及时处理，热点节点会触发请求调度策略，转发请求到非热点节点进行处理，若无非热点节点，则触发分布式节点策略，备机节点会启动Nginx服务处理，并接收热点节点转发过来的请求，从而提升访问及处理效率。二、解决的问题解决大量http请求同一个Nginx节点繁忙的问题，做到快速响应。 解决Nginx集群每个节点超负荷接收请求的问题，自动触发分布式策略处理。 解决...阅读全文
本文分享自天翼云开发者社区《云监控的核心：确保稳定性的关键监控指标》，作者：每日知识小分享随着云计算技术的广泛应用，云监控成为了确保云服务稳定、高效运行的重要手段。在云监控中，选择合适的监控指标至关重要，它们不仅能够反映云服务的运行状态，还能帮助运维人员及时发现并解决问题。本文将详细探讨云监控所需的关键监控指标，并分析这些指标在云监控中的重要性。云监控是指对云服务进行实时监控，收集和分析各种运行数据，以便及时发现和解决潜在问题。云监控的目的是确保云服务的稳定性、可用性和性能。为了实现这一目标，需要选择一系列关键监控指标来全面反映云服务的运行状态。一、云监控的核心监控指标云监控需要关注以下核心监控指标：CPU使用率：CPU使用率反映了云服务器的计算资源利用情况。高CPU使用率可能导致服务响应延...阅读全文
PMP项目管理认证 一站式通关课程「高清FX」 获课：yinheit.xyz/15016/ PMP敏捷实践指南：混合模式下的项目生命周期与风险管理深度解析 混合项目管理模式概述 在当今复杂多变的项目环境中，传统瀑布式与敏捷方法的融合已成为项目管理的主流趋势。2025年PMP考试特别强调了对混合项目管理方法的考察，要求项目经理能够灵活运用两种方法的优势。混合模式不是简单的叠加，而是需要根据项目特性进行策略性设计，在保持敏捷响应能力的同时，兼顾传统项目管理的结构化优势。 混合项目生命周期设计 生命周期选择框架 项目生命周期选择应基于斯泰西矩阵(Stacey Matrix)，该模型通过评估需求确定性和技术确定性两个维度来指导方法论选择： 预测型生命周期：适用于需求和技术都高度确定的情况，五大项目过...阅读全文
【完结10章】SpringBoot 3 + Flutter3 实战低代码运营管理 给大家分享一套课程——SpringBoot 3 + Flutter3 实战低代码运营管理，已完结10章，附源码。 低代码开发的前景是非常乐观的，毕竟有几个因素支持着它的持续增长和发展~比如：快速开发和交付： 低代码平台能够极大地加速应用程序的开发周期，使开发团队能够更快地构建原型、迭代和交付产品。这对于敏捷开发和快速响应市场需求非常有利。技能门槛降低： 低代码开发允许那些没有深入编程知识的人也能参与应用程序开发，从而扩大了开发团队的范围。这使得业务专家、设计师和其他非技术人员能够更直接地参与开发过程。成本效益： 低代码开发可以减少开发人员编写重复性代码的工作，从而降低开发成本。此外，快速开发和交付还可以降低项目...阅读全文
1. 前言 相信你经常被 读写分离、垂直拆分、水平拆分、分库分表 这几个名词搞得很懵逼。我有时候也很懵逼，那么今天就来把这几个数据库常用术语搞清楚，同时也记录一下。 2. 读写分离 这个相对比较好理解一些，就是将数据库分为主从库，一个主库（Master）用于写数据，多个从库（Slaver）进行轮询读取数据的过程，主从库之间通过某种通讯机制进行数据的同步，是一种常见的数据库架构。下面这张图就展示了 “一主二从” 的结构： 2.1 为什么要读写分离 大多数互联网数据操作往往都是读多写少，随着数据的增长，数据库的“读”会首先成为瓶颈。如果我们希望能线性地提升数据库的读性能和写性能，就需要让读写尽可能的不相互影响，各自为政。在使用读写分离之前我们应该考虑使用缓存能不能解决问题。然后再考虑对数据库按照...阅读全文
本文分享自天翼云开发者社区《服务器主机：复杂理论的视角与SEO策略》,作者:不知不觉在数字世界的演变中，服务器主机在信息存储和数据处理方面发挥着核心作用。本文将带你重新认识服务器主机的价值，并通过复杂理论解释其重要性和必要性，同时结合SEO关键字布局来指导你如何优化内容。一、服务器主机的概述服务器主机是一种专门用于提供互联网服务的计算机设备。它具有高性能的处理器、海量的存储空间和稳定的网络连接，旨在处理和传输大量的数据信息。服务器主机通常用于企业级应用、网站托管、数据库存储等场景，为企业和个人提供稳定、高效的服务。二、服务器主机的特点高性能：服务器主机通常采用最/先进的处理器和内存技术，能够处理大量的数据请求和计算任务。稳定性：服务器主机经过专门设计和优化，具备高度的可靠性和稳定性，以保证服...阅读全文
 一、什么是Kuberentes？ kubernetes，简称K8s，是用8代替名字中间的8个字符“ubernete”而成的缩写。是一个开源的，用于管理云平台中多个主机上的容器化的应用，Kubernetes的目标是让部署容器化的应用简单并且高效（powerful）,Kubernetes提供了应用部署，规划，更新，维护的一种机制。 Kubernetes是一个轻便的和可扩展的开源平台，用于管理容器化应用和服务。通过Kubernetes能够进行应用的自动化部署和扩缩容。在Kubernetes中，会将组成应用的容器组合成一个逻辑单元...阅读全文
1. Reactive Programming 响应式编程 1.1. 什么是什么是响应式编程 维基百科的解释如下： In computing, reactive programming is an asynchronous programming paradigm concerned with data streams and the propagation of change. This means that it becomes possible to express static (e.g. arrays) or dynamic (e.g. event emitters) data streams with ease via the employed programming langu...阅读全文
11月10日，以“数字科技 焕新启航”为主题的2023数字科技生态大会在广州市举办。会上，天翼云重磅发布一站式智算服务平台“慧聚”。天翼云科技有限公司董事长、总经理胡志强对天翼云智算服务体系进行了全面解读。2023年是大模型高速发展的一年，大模型不断扩大的参数规模和快速迭代的技术路线跨越式地提升了模型的能力，但是同时也为大模型的训练和应用带来了很多挑战。比如算力利用率的瓶颈日益凸显、算力成本压力进一步增大、模型的构建难度不断提升、模型的行业落地更加复杂。胡志强表示，为顺应大模型时代对于云服务商的新要求，天翼云全面升级，构建了全栈大模型智算服务，包括打造智算数据中心AIDC、升级云智超一体化基础设施平台“云骁”、推出一站式智算服务平台“慧聚”、构建国云大模型生态，形成云智一体的智算服务体系...阅读全文
笔者今天给大家讲一下 HBase 生产环境中的实践，包括资源隔离、参数配置、性能优化等方面，部分内容参考《HBase原理与实践》（非常建议大家好好读一读，一定会大有收获），以及笔者的实战经验。HBase 业务资源隔离1. 读写分离场景RegionServer 默认情况下只提供一个请求队列给所有业务使用，导致部分延迟较高的请求影响其他对延迟敏感的业务。针对这种情况，HBase 提供了读写队列隔离方案。我们知道，HBase 有三种典型的API操作类型，分别为 get、scan 和write，其中 get 和 scan 属于 read 类型。默认场景下，HBase 只提供一个队列，所有请求都会进入该队列进行优先级排序。在一些场景下，我们要求这三种类型的访问尽可能的互相不影响，那么就需要在线上配置读...阅读全文
对话式人工智能技术无疑是近年来最引人瞩目的领域之一。这项技术的发展已经改变了人们与计算机交互的方式，为各行各业带来了前所未有的便利与效率，更是在出行、教育、医疗等领域展现出了惊人的潜力。随着不断升级和创新发展，对话式人工智能已成为科技界与社会各界热议的焦点之一。今天我们一起走进思必驰，探访大模型背后的算力“推手”。算力让AI“一路狂飙”思必驰是国内专业的对话式人工智能平台公司。以人机对话交互为核心，为智能汽车、智能家居、智慧政务等领域的客户提供软硬一体化方案，推进智能化转型升级。近年来，随着ChatGPT“一路狂飙”，思必驰推出了自研的对话式语言大模型DFM-2，并通过了《生成式人工智能服务管理暂行办法》备案，成为江苏省本土人工智能首-个通过大模型备案的企业。据了解，该模型具有通用语言计算...阅读全文
5月30日，2023数字政府高质量发展论坛在北京举办，大会聚焦业界关注的政策、技术、应用、标准、发展等议题，邀请政产学研各界共议政府数字化转型之路。现场重磅发布了由中国电信联合中国信息通信研究院云计算与大数据研究所共同撰写的《安全可信政务云一体化建设白皮书》（以下简称“白皮书”），中国信息通信研究院云计算与大数据研究所政企数字化转型部主任徐恩庆、中国电信天翼云科技有限公司政务行业中心总经理张星出席发布仪式。中国电信天翼云科技有限公司政务行业中心总经理 张星（左一）中国信息通信研究院云计算与大数据研究所政企数字化转型部主任 徐恩庆（右一）白皮书从行业政策、技术、案例、发展等角度对政务云一体化建设进行了全面解析，输出中国电信在政务云建设领域的宝贵经验及标杆案例，并对未来政务云的技术趋势进行研判...阅读全文
当今社会，人工智能技术正以前所未有的速度和深度改变着各行各业。在这不断变革的浪潮中，教育领域也被赋予了全新的可能性和挑战。随着人工智能的日益成熟和普及，其在教育中的应用正呈现出巨大的潜力，重塑着传统的教学方式和学习模式。AI为教育带来更多可能性人工智能技术在教育领域的运用正在为学生、教师和教育机构带来翻天覆地的变化。通过定制化学习路径和智能化辅助教学工具，人工智能为学生提供了更加个性化、灵活和高效的学习体验。无论是针对不同学习能力的学生定制的学习计-划，还是通过智能化的教学工具为教师提供更多教学资源和指导，人工智能的介入都为教育带来了更多可能性。知学云正是这样一家教育公司，他们专注于组织内部培训学习，为政企客户提供基于AI的数智化学习解决方案，帮助客户实现人才培养的规模化、智能化和个性化。...阅读全文
10月10日，以“算”汇三江水，“云”聚八境台为主题的天翼云中国行·赣州站活动成功举办，赣州市有关领导，以及客户、合作伙伴等众多企业代表共同出席。会上举行了天翼云4.0暨赣州算力集群落成发布仪式，通过进一步完善云资源部署，天翼云助力赣州政府与各行各业实现上云用数赋智的转型升级，打造强劲发展“新动能”。夯实数字经济底座助推数字赣州高质量发展信息化为工业化插上腾飞翅膀，工业化为信息化提供广阔舞台。赣州市委常委、市政府副市长何琦在致辞中表示，近年来，赣州乘“云”而上、顺“数”而为，大力推进数字经济“一号发展工程”取得积极成效。希望中国电信继续发挥优势、展现特色，一如继往支持赣州发展，充分发挥天翼云“国云筑基”“安全可靠”的优势，在数据中心建设、企业数字化转型和智慧城市建设等方面持续给力，为赣州高质...阅读全文
