飞滴出行网约车项目2022版

HBase启用压缩_hbase create compression

HBase启用压缩 HBase 创建表时默认压缩为 NONE ，即没有压缩，除非指定。 目前 HBase 主要支持 4 种压缩方式：GZ（GZIP），SNAPPY，LZO，LZ4。 1. 压缩算法的比较 算法压缩比压缩解压GZIP13.4%21MB/s118MB/sLZO20.5%135MB/s410MB/sSnappy/Zippy22.2%172MB/s409MB/s 总结： GZIP的压缩率最高，但它是CPU密集型的，对CPU的消耗较多，压缩和解压速度也慢；LZO的压缩率居中，比GZIP要低一些，但是压缩和解压速度明显要比GZIP快很多，其中解压速度快的更多；Zippy/Snappy的压缩率最低，而压缩和解压速度要稍微比LZO要快一些 所以，一般情况下，推荐使用Snappy和Zippy压...阅读全文

git 合并的时候如何只合并部分文件?_git只合并某个文件

假设目前在做的一个项目名为demoproject，目前版本为v1.0.0，标准开发都是在demoproject上进行的，但是有一个客户需要做定制化，需要将项目中的一些信息改为客户的，于是基于demoproject拉了一个v1.0.0-custom，然后将这个v1.0.0-custom交付给了客户。过了一段时间，客户又提了新的需求，经过评估，这个需求是要做到标准版本上的，于是基于v1.0.0拉取了一个v1.1.0版本。等开发完成后，需要出一个v1.1.0-custom版本的交给客户。这个要怎么实现呢...阅读全文

logback 配置详解（一）logger与root概念及区别 - liftsail

目录 1、根节点包含的属性 2、根节点的子节点 2.1、设置上下文名称： 2.2、设置loger、root 正文 回到顶部 1、根节点包含的属性 scan: 当此属性设置为true时，配置文件如果发生改变，将会被重新加载，默认值为true。 scanPeriod: 设置监测配置文件是否有修改的时间间隔，如果没有给出时间单位，默认单位是毫秒。当scan为true时，此属性生效。默认的时间间隔为1分钟。 debug: 当此属性设置为true时，将打印出logback内部日志信息，实时查看logback运行状态。默认值为false。 例如： 阅读全文

[完结9章]操作系统入门与实践-参透技术本质

 在现如今的信息化时代，相信各位读者对于“操作系统”这四个字并不陌生。例如我们常常使用的Windows、安卓、IOS、MacOS以及Linux等，都属于操作系统。操作系统，是现如今信息化时代中不可或缺的一种软件。 Linux操作系统是一种开源的、基于Unix的操作系统。它最初由芬兰计算机科学家Linus Torvalds在1991年开发，并得到了全球范围内广泛的应用和支持。 Linux操作系统具有稳定性、安全性、可靠性和灵活性等特点，广泛应用于服务器领域，也被许多个人用户选择作为他们的主要操作系统。Linux提供了丰富的命令...阅读全文

[完结19章]SpringBoot开发双11商品服务系统

今天给大家分享一下关于SpringBoot开发双11商品服务系统的整个流程，我将深度还原大厂实习期技术成长全流程，让你收获大厂项目开发全流程与实战经验，具备应对大流量场景问题的解决能力，全面助力提升实习/转正/跳槽表现力与成功率。 以下是参考资料下载： 网盘地址：https://pan.baidu.com/s/1QNf3FbzlswJd_DU3FC64nw 提取码：q61x 腾讯微云下载地址：https://share.weiyun.com/o6TKslZV 密码：qn8bim Spring Boot是由Pivotal团队提供的全新框架，其设计目的是用来简化新Spring应用的初始搭建以及开发过程。该框架使用了特定的方式来进行配置，从而使开发人员不再需要定义样板化的配置。通过这种方式，Spr...阅读全文

筑牢国云智算底座，繁荣大模型创新生态！

9月27日，以“国云筑基 智算引擎——人工智能大模型 推动贵州数字经济新跨越”为主题的天翼云中国行·贵州站活动顺利召开。会上举行了天翼云算力创新服务及天翼云政务大模型“慧泽”发布暨中国电信天翼云大模型训练中心揭牌、人工智能大模型应用推广行动启动仪式。天翼云科技有限公司党委书记、董事长、总经理胡志强出席仪式并发表演讲，分享了天翼云在算力、平台、安全三方面的智算能力升级，以及基于国云底座构建繁荣的大模型生态的构想和做法，并发布天翼云政务大模型“慧泽” 。​国云三大升级构建AI时代强大基石大模型的出现标志着人工智能生产范式的变革，也带来了经济社会发展效率的显著提升。随着大模型应用的逐渐深入，面向垂直行业的场景化需求尤为迫切，大模型训练和应用走向行业深度定制成为重要趋势。但大模型从通用走向行业深度定...阅读全文

Unrecognized option ‘hls_wrap‘. 解决方案_unrecognized option 'hls_wrap_苏筱没猫的博客

ValueError: 无法识别的配置类阅读全文

Prometheus 数据存储那些事儿

本篇文章使用的是 Prometheus v2.40 源码 转载请声明出处哦~，本篇文章发布于luozhiyun的博客：https://www.luozhiyun.com/archives/725 本篇文章主要是整理一下 Prometheus 的时序数据库是怎么存储以及管理数据的，希望这篇文章能给大家带来一定的启发。 概述 我们先来看看 Prometheus 的整个架构图： 对于 Prometheus Server 来说，整个数据处理流程分为三部分：Exporter 指标的收集、Scraper 数据的抓取、TSDB 数据的存储及查询；Exporter 其实不同的服务有不同的收集实现，类似 Mysqld-exporter、node exporter 等我们这里不做过多的解读，大家基本只需要知道它...阅读全文

一站式通关CKA证书-CKA教程2023（完结10章，基于k8s1.27版本）

学习地址1：https://pan.baidu.com/s/1ZRXwqCAftn58QFequHD4jA 提取码：xs2i 学习地址2：https://share.weiyun.com/2pn97By4 密码：c58ghh 一站式通关CKA证书-Kubernetes管理员认证（CKA）。今天给大家讲讲关于Kubernetes 认证管理员（CKA）考试的相关知识，其中包含最新考纲、考试报名注意事项、真题实战演练、高频考点提炼、备考冲刺答疑等等，旨在帮助大家快速通过CKA认证考试。 我在本文将以k8s1.27版本跟大家讲解，这个版本也是2023年比较新的一个版本，带领大家一站式通关CKA证书！ 首先，我们先来了解什么是CKA？拿到这个证书后，对我们找工作又有哪些帮助？以及相关的薪资待遇如何？ ...阅读全文

Prometheus入门与进阶实践（2024最新）|Prometheus教程

 今天给大家讲讲关于Prometheus的知识，我们先来看看Prometheus的基本概念。 一、那么什么是Prometheus呢？ Prometheus 是一个开源的服务监控系统和时序数据库，其提供了通用的数据模型和快捷数据采集、存储和查询接口。它的核心组件Prometheus server会定期从静态配置的监控目标或者基于服务发现自动配置的自标中进行拉取数据，当新拉取到的数据大于配置的内存缓存区时，数据就会持久化到存储设备当中。 1.每个被监控的主机都可以通过专用的exporter 程序提供输出监控数据的接口，它会在目标...阅读全文

云存储环境下的容灾关键技术

本文分享自天翼云开发者社区《云存储环境下的容灾关键技术》，作者:王兆龙云存储的出现解决了现有容灾系统的几个显著问题：一是面对大量的备份数据，管理系统不够完善的问题；二是面对大规模的数据容灾灵活性和效率不高的问题；三是在数据加密保护方面依然存在的安全隐患问题。那么，云存储解决这些问题主要依靠的技术原理和机制是什么呢，云环境下的容灾关键技术都有哪些，本文接下来将对此进行简单的介绍和分析。映射技术映射技术是实现信息存储的核心技术。追踪映射技术十分关键，在通常情况下，云存储环境下的处理程序和管理设备程序之间会形成映射关系，这种管理能够直接的影响到容灾系统的应用。一是数据自动迁移，这种方法的应用是一种事件触发的，并且触发事件还包括了磁盘容量的扩展、缩小，磁盘的损坏、维修，磁盘的饱和、填充等一系列事件，...阅读全文

服务器主机：复杂理论的视角与SEO策略

本文分享自天翼云开发者社区《服务器主机：复杂理论的视角与SEO策略》,作者:不知不觉在数字世界的演变中，服务器主机在信息存储和数据处理方面发挥着核心作用。本文将带你重新认识服务器主机的价值，并通过复杂理论解释其重要性和必要性，同时结合SEO关键字布局来指导你如何优化内容。一、服务器主机的概述服务器主机是一种专门用于提供互联网服务的计算机设备。它具有高性能的处理器、海量的存储空间和稳定的网络连接，旨在处理和传输大量的数据信息。服务器主机通常用于企业级应用、网站托管、数据库存储等场景，为企业和个人提供稳定、高效的服务。二、服务器主机的特点高性能：服务器主机通常采用最/先进的处理器和内存技术，能够处理大量的数据请求和计算任务。稳定性：服务器主机经过专门设计和优化，具备高度的可靠性和稳定性，以保证服...阅读全文

首个基于Transformer的分割检测+视觉大模型视频课程（23年新课+源码+课件）

学习资料地址1：https://pan.baidu.com/s/1mpYHRFi68lzNuA8neYI15w 提取码：pwjd 学习资料地址2：https://share.weiyun.com/tnVNHGMD 密码：3fj7iy 自动驾驶是高安全型应用，需要高性能和高可靠的深度学习模型，Vision Transformer是理想的选摔。现在主流的自动驾驶感知算法基本都使用了Vision Transformer相关技术，比如分割、2D/3D检测，以及最近大火的大模型 (如SAM)，Vision Transformer在自动驾驶领域的落地方面遍地开花。5一方面，在自动驾驶或图像处理相关算法岗位的面试题中，Vision Transformer是必考题，需要对其理论知识有深入理解，并且在项目中真...阅读全文

深入可观测底层：OpenTelemetry 链路传递核心原理

前言本文会系统讲解链路传递一些基本概念，同时结合案例讲解链路传递的过程。Context、Propagator 的概念我们先看一张在 HTTP 通信下，进行链路传播的例子。图中是一个 Client 请求 Server 通信，同时 Client 把自己的链路信息传递给 Server 的过程可以看到，链路信息通过一个叫 TraceContext 对象封装起来，通过 Http Headers来存取这个对象，最后达到传播的效果，这里面 TraceContext 就是一个 Context 上下文对象。Context 是一种传播机制，它跨越 API 边界，在逻辑执行单元间传递执行范围的值。链路追踪系统在系统进程内部，进程间通过共享进程的 Context 上下文 对象传递链路信息。刚才 Http Heade...阅读全文

虚拟化技术 - CPU虚拟化

本文分享自天翼云开发者社区《虚拟化技术 - CPU虚拟化》，作者:谢****悦物理机器是由CPU，内存和I/O设备等一组资源构成的实体。虚拟机也一样，由虚拟CPU，虚拟内存和虚拟I/O设备等组成。VMM(VM Monitor)按照与传统OS并发执行用户进程的相似方式，仲裁对所有共享资源的访问。本文将分别讨论CPU虚拟化、内存虚拟化和I/O虚拟化技术的原理和实现。在虚拟化的平台上，虚拟机（guest VM）所使用的多个虚拟CPU（以下称vCPU）可能是共享同一个物理CPU（以下称pCPU）的。VMM负责vCPU的调度，当一个vCPU被调度到获得pCPU的使用权后，基于该vCPU运行的guest OS又可以调度OS中的各个线程/进程了。也就是说，guest OS中的各个线程/进程分时复用了vCP...阅读全文

OpenTelemetry-可观察性的新时代

有幸在2019KubeCon上海站听到Steve Flanders关于OpenTelemetry的演讲，之前Ops领域两个网红项目OpenTracing和OpenCensus终于走到了一起，可观察性统一的标准化已经扬帆起航。这篇文章旨在抛砖引玉，希望能够和更多的同学一起交流可观察性相关的内容。前世OpenTracingOpenTracing制定了一套平台无关、厂商无关的Trace协议，使得开发人员能够方便的添加或更换分布式追踪系统的实现。在2016年11月的时候CNCF技术委员会投票接受OpenTracing作为Hosted项目，这是CNCF的第三个项目，第一个是Kubernetes，第二个是Prometheus，可见CNCF对OpenTracing背后可观察性的重视。比如大名鼎鼎的Zipk...阅读全文

基于Consul的服务发现 - prometheus

Consul是由HashiCorp开发的一个支持多数据中心的分布式服务发现和键值对存储服务的开源软件，被大量应用于基于微服务的软件架构当中。Consul初体验用户可以通过Consul官网https://www.consul.io/downloads.html下载对应操作系统版本的软件包。Consul与Prometheus同样使用Go语言进行开发，因此安装和部署的方式也极为简单，解压并将命令行工具放到系统PATH路径下即可。在本地可以使用开发者模式在本地快速启动一个单节点的Consul环境：$ consul agent -dev==> Starting Consul agent...==> Consul agent running! Version: 'v1.0.7' Node ID: 'd7...阅读全文

C++大厂面试真题宝典 精选100道[完结7章]

 给大家整理了一些关于C++大厂面试2024最新真题，希望能够帮助到大家的面试： 1、synchronized 关键字和 volatile 关键字的区别 synchronized 关键字和 volatile 关键字是两个互补的存在，而不是对立的存在！ volatile 关键字是线程同步的轻量级实现，所以volatile 性能肯定比synchronized关键字要好。但是volatile 关键字只能用于变量而 synchronized 关键字可以修饰方法以及代码块 volatile 关键字能保证数据的可见性，但不能保证数据的原...阅读全文

2024新考纲-系统架构设计师（软考高级） 一站式通关课程

 一、什么是系统架构设计师 系统架构设计师，属于计算机技术与软件（高级）专业技术资格。考试合格人员能够根据系统需求规格说明书，结合应用领域和技术发展的实际情况，考虑有关约束条件，设计正确、合理的软件架构，确保系统架构具有良好的特性；能够对项目的系统架构进行描述、分析、设计与评估；能够按照相关标准编写相应的设计文档；能够与系统分析师、项目管理师相互协作、配合工作；具有高级工程师的实际工作能力和业务水平。 二、系统架构的概述 自1946年世界上第一台计算机诞生，对人类的计算工具产生了革命性变革。冯诺依曼提出了计算机由运算器，控制...阅读全文

HBase原理 – 所有Region切分的细节都在这里了 – 有态度的HBase/Spark/BigData

Region自动切分是HBase能够拥有良好扩张性的最重要因素之一，也必然是所有分布式系统追求无限扩展性的一副良药。HBase系统中Region自动切分是如何实现的？这里面涉及很多知识点，比如Region切分的触发条件是什么？Region切分的切分点在哪里？如何切分才能最大的保证Region的可用性？如何做好切分过程中的异常处理？切分过程中要不要将数据移动？等等，这篇文章将会对这些细节进行基本的说明，一方面可以让大家对HBase中Region自动切分有更加深入的理解，另一方面如果想实现类似的功能也可以参考HBase的实现方案。 Region切分触发策略 在最新稳定版（1.2.6）中，HBase已经有多达6种切分触发策略。当然，每种触发策略都有各自的适用场景，用户可以根据业务在表级别选择不同的...阅读全文

【博客555】prometheus的step，durations，rate interval，scrape interval对数据查询结果的影响_promql.lookbackdelta_lulu的云原生笔记的博客

prometheus的step，durations，rate interval，scrape interval对数据查询结果的影响 1、场景：在查询prometheus数据时出现很多诡异的现象 1、为什么同样的查询语句在不同的时间点查询，对过去某一时刻的数据展示却不一样 2、为什么有时候峰值在使用不同step，不同duration查询时，会不一样，甚至消失 3、为什么scrape interval变化了，会使某些规则的结果不准确 等等疑问 2、原理剖析：rate与irate，step，datapoint，scape_internal，instant vector selector，range vector selector 2-1、rate与irate的查询原理见之前博文：【博客486】pr...阅读全文

共铸国云 智领未来 | 化云为雨 泽被万物

互联网基础资源作为互联网的基石和枢纽，是新一轮信息技术革命的重要根基。随着我国互联网在应用模式、技术水平、行业规模上的发展，网络基础资源在应用支持、安全保障等方面的作用愈发突出。网络强国大步向前的背景下，如何审视互联网基础资源的数字化治理成效，成为全面透视网络强国建设成就与经验的重要“窗口”。今天我们一起走进中国互联网络信息中心，看互联网基础资源领域的“国家队”如何“化云为雨，泽被万物”。保障关键信息基础设施安全的“国家队”中国互联网络信息中心（CNNIC）作为中国信息社会重要的基础设施建设者、运行者和管理者，积极推进网络基础资源各项工作开展。中国互联网络信息中心运行管理部主任冷峰介绍，中国互联网络信息中心行使国家互联网络信息中心职责，负责国家网络基础资源的运行管理和服务，承担国家网络基础资...阅读全文

天翼云GPU云主机：共享信息技术与虚拟机的完美融合

本文分享自天翼云开发者社区《天翼云GPU云主机：共享信息技术与虚拟机的完美融合》，作者：不知不觉在云计算领域，GPU云主机已经成为了一个备受瞩目的焦点。它的出现改变了传统IT架构的方式，为各行各业带来了无限的的可能性。在这篇文章中，我们将重点探讨天翼云GPU云主机，深入剖析它如何通过共享信息技术和虚拟化技术，为用户提供卓越的计算服务。一、走进GPU云主机的世界GPU云主机是一种基于云计算技术的虚拟化服务器。它通过虚拟化技术将一台或多台物理服务器资源进行整合，形成一个共享资源池，从而提供弹性的云计算环境。在这个环境下，每个虚拟主机都可以独立运行，拥有自己的操作系统、存储空间和网络资源。与传统的云主机相比，GPU云主机最大的特点在于其配备了高性能的GPU计算卡，使得在进行大规模数据处理和复杂计算...阅读全文

[完结11章]从0到1训练私有大模型 ，企业急迫需求，抢占市场先机

 《从0到1训练私有大模型 ，企业急迫需求，抢占市场先机》完结11章，深入企业需求，从Chat背后原理、技术、不同大模型知识开始，带你从0到1训练出一个大模型，运用PEFT技巧微调大模型解决场景需求，最后用LangChain+训练的大模型搭建知识库问答。让你掌握大模型LLM构建的原理、技术、流程与实战，超越大多数竞争者，抢占先机，脱颖而出。 第1章 课程介绍 第2章训练模型与开发平台环境 第3章 chatGPT初始技术词向量原理剖析与实战 第4章 chatGPT基石模型基于Transformer架构的语言模型 第5章基于T...阅读全文

新考纲-系统架构设计师（软考高级） 一站式通关课程（2024版）

 一、什么是软考 软考，全称计算机技术与软件专业技术资格（水平）考试，是一项由国家人力资源和社会保障部（原人事部）、工业和信息化部（原信息产业部）领导的国家级考试。该考试的目的是对全国计算机与软件专业技术人员进行职业资格、专业技术资格认定和专业技术水平测试。软考是人社部《国家职业资格名 录》中唯一与程序员有关的考试 ，报考不受限制，可帮你积分落户、评职称、个税抵扣等。 二、软考分类 软考既是职业资格考试，又是职称资格考试。考试分为初级、中级和高级三个级别，涵盖软件、网络、应用技术、信息系统、信息网络等多个专业领域。通过相应等...阅读全文

什么是算力网络

本文分享自天翼云开发者社区《什么是算力网络》，作者:吴****江什么是算力网络？是一种根据业务需求，在云、网、边之间按需分配和灵活调度计算资源、存储资源以及网络资源的新型信息基础设施。“算力网络“是“以网络为中心”的多种融合资源供给网络计算模型，将“新计算”（云计算、边缘计算、泛在计算）的算力，通过“新联接”（无处不在的网络）整合起来，实现算力的灵活按需使用。各方对算力网络的定义和解释：算力网络：以网络为中心，融合算力、存储等信息的网络模型，即为算力网络。“算力网络“是“以网络为中心”的多种融合资源供给网络计算模型，将“新计算”（云计算、边缘计算、泛在计算）的算力，通过“新联接”（无处不在的网络）整合起来，实现算力的灵活按需使用。-网络 5.0 产业和技术创新联盟算力网络：是一种架构在IP网...阅读全文

Spring Security最简单全面教程（带Demo）_spring security 怎么用_Gent_倪的博客

一、Spring Security简介 Spring Security是为基于Spring的应用程序提供声明式安全保护的安全性框架，它提供了完整的安全性解决方案，能够在web请求级别和方法调用级别处理身份证验证和授权。因为基于Spring框架，所以Spring Security充分利用了依赖注入和面向切面的技术。 Spring Security主要是从两个方面解决安全性问题： web请求级别：使用Servlet规范中的过滤器（Filter）保护Web请求并限制URL级别的访问。 方法调用级别：使用Spring AOP保护方法调用，确保具有适当权限的用户才能访问安全保护的方法。 想深入了解Spring Security的相关概念与实现原理，可点击传送门 ==》 Spring Security的...阅读全文

CSRF 保护_Spring Security

Spring Security 跨站请求伪造保护 1. 前言 很多小伙伴在开发 Spring Security 项目时候，本地测试都没有问题，一放到生产环境后，就会遇到「Invalid CSRF Token」问题，这其实是 Spring Security 防止服务免受「跨站请求伪造」攻击攻击的防护行为。 跨站请求伪造（Cross Site Request Forgery），简写成「CSRF」或者「XSRF」，是一种挟持用户所用浏览器，执行非法操作的攻击方法，也就是说，攻击者利用「CSRF」漏洞伪造用户操作，可实现例如购物、注销等效果，还可以利用该漏洞配合产生其他多种攻击方式。 针对「CSRF」攻击最经济的解决方式是增加「Referer」头或者增加校验「Token」。 Spring Secur...阅读全文

C/C++音视频实战-gb28181系列-pjsip-sip栈-h264安防流媒体服务器

 音视频技术涉及广泛。包括语音信号处理、数字图像处理、信息论、封装格式、编解码、流媒体协议、网络传输、渲染、算法等方面。在现实生活中，音视频也扮演着越来越重要的角色，比如 视频会议、直播、短视频、播放器、语音聊天 等。接下来将从几个维度进行介绍：简单理解音视频原理、音视频理论基础、音视频学习路线、媒体协议和音视频发展方向。 一、C++音视频需要掌握哪些技术 1、搞音视频必须有扎实的C/C++开发语言基础、 JNI基础，学会如何交叉编译 FFmpeg 等 C/C++库； 2、其次，我们需要阅读大量的音视频规范/协议文档（如H2...阅读全文

[从零单排HBase 07]如何正确管理HBase的连接，从原理到实战

本文将介绍HBase的客户端连接实现，并说明如何正确管理HBase的连接。最近在搭建一个HBase的可视化管理平台，搭建完成后发现不管什么查询都很慢，甚至于使用api去listTable都要好几秒。经过一番排查发现，是每次请求的时候，都去临时创建了一个connection，而创建connection非常耗时导致整体的rt上升。因此，就深入了解了下如何正确管理HBase的connection，同时，也在优化过程中有些小细节的总结。本文基于hbase 2.0.0版本的源码，github上3.0版本的源码已经有很大差异了，但是思想还是差不多的1.HBase-client和HBase是如何连接的？这个问题实际上在我之前的文章 深入HBase读写 中介绍过。当HBase-client第一次请求读写的时...阅读全文

Java客户端连接Hbase_java连接hbase_江湖小蟹的博客

使用 下面介绍了Java客户端连接Hbase的使用，1.2.0版本和2.3.4版本亲测下面使用的API都是一致的。（也猜测1.x版本 和2.x版本的应该基本一致）。Java连接Hbase也很简单，Maven中导入对应的 `hbase-client` 依赖即可。 1.pom配置 org.apache.hbase hbase-client 1.2.0 阅读全文

政务云建设提速，天翼云夯实智慧政务数字底座

5月30日，2023数字政府高质量发展论坛在北京举办，大会聚焦业界关注的政策、技术、应用、标准、发展等议题，邀请政产学研各界共议政府数字化转型之路。现场重磅发布了由中国电信联合中国信息通信研究院云计算与大数据研究所共同撰写的《安全可信政务云一体化建设白皮书》（以下简称“白皮书”），中国信息通信研究院云计算与大数据研究所政企数字化转型部主任徐恩庆、中国电信天翼云科技有限公司政务行业中心总经理张星出席发布仪式。​中国电信天翼云科技有限公司政务行业中心总经理 张星（左一）中国信息通信研究院云计算与大数据研究所政企数字化转型部主任 徐恩庆（右一）白皮书从行业政策、技术、案例、发展等角度对政务云一体化建设进行了全面解析，输出中国电信在政务云建设领域的宝贵经验及标杆案例，并对未来政务云的技术趋势进行研判...阅读全文

一种基于Nginx的热点数据调度处理方法

本文分享自天翼云开发者社区《一种基于Nginx的热点数据调度处理方法》,作者:康****彬一、应用场景基于Nginx的热点数据调度处理，热点节点数据负载均衡处理，减少热点节点压力，提高处理和访问效率；每一个节点的nginx服务接收大量的访问，但是每个节点处理请求都有一个峰值，当请求数达到峰值时，后续请求的处理效率就会有一定的下降，为了保证请求能及时处理，热点节点会触发请求调度策略，转发请求到非热点节点进行处理，若无非热点节点，则触发分布式节点策略，备机节点会启动Nginx服务处理，并接收热点节点转发过来的请求，从而提升访问及处理效率。二、解决的问题解决大量http请求同一个Nginx节点繁忙的问题，做到快速响应。 解决Nginx集群每个节点超负荷接收请求的问题，自动触发分布式策略处理。 解决...阅读全文

(五)Logback中的Layout_logback layout_凌波漫步&的博客

一、什么是Layout? Layout是logback中负责把日志事件转换成成字符串的组件，接口如下： public interface Layout extends ContextAware, LifeCycle { String doLayout(E event); String getFileHeader(); String getPresentationHeader(); String getFileFooter(); String getPresentationFooter(); String getContentType(); } 二、自定义Layout 1、继承自LayoutBase接口即可，如下： package chapters.layouts; import ch....阅读全文

等保合规有妙招！安全又省心！

近年来，上云已成为企业数字化转型的必然选择，安全也成为了企业上云考虑的关键问题。《信息安全技术-网络安全等级保护基本要求》规定了网络安全等级保护的第一级到第四级等级保护对象的安全通用要求和安全扩展要求。那么，企业该如何高效、平稳地满足等保合规，并将安全转化为自身的发展助力？安全共建天翼云提供一站式云等保合规服务​为进一步满足业务的安全合规需求，助力企业客户顺利通过等保安全测评，天翼云推出云等保专区产品，利用云原生安全技术，构建下一代防火墙、WAF、主机安全、堡垒机、数据库审计、日志审计、漏洞扫描7大安全原子能力，针对不同等级的过保要求，灵活定制打造包含网络安全、终端安全、应用安全、数据安全、安全管理中心等安全能力的“货架”，帮助企业便捷、快速地挑选产品，实现对自身安全建设查漏补缺。通过云等保...阅读全文

kafka系列之重试机制(15)

kafka 重试机制 kafka 消息的重试机制作为kafka 生产者端的数据不丢失的重要保障，对我们学习和理解kafka 大有裨益，前面我们学习kafka 生产者的时候，了解了kafka 异步生产者的Callback 机制，合理使用Callback机制也可以保证我们生产者端的数据不丢失，但是Callback我们往往是在重试机制之后使用的，也会是说重试之后依然失败的情况下，可以作为我们生产者端最后的保障。 重试源码 首先我们从KafkaProducer的send 方法入手我们看到其实客户端是不会直接发送数据的，而是将其加入到了一个缓存队列里面去，实例化KafkaProducer会实例RecordAccumulator，RecordAccumulator维护了一个Map，key为不同的主题和p...阅读全文

hbase的split策略和预分区 - Syui啦

split hbase是通过regionServer管理table的，一个table对应一个或多个region，hmaster将这些region根据集群负载分配给regionServer进行管理。若一个table没有进行预分区，那么只有一个region，初始化表时数据的读写都命中同一个regionServer，会造成热点问题，且region进行split时集群是不可用的，频繁的split也会造成大量的集群I/O，性能很低。 1、pre-splitting 在创建table时指定pre-splitting，预先生成多个region，结合合适的rowkey，这样可以很大程度上避免读写热点，每个region内部再按照一定的split-policy进行自动切分。 hbase提供了两种pre-spli...阅读全文

共“湘”盛举，天翼云为湖南数字经济发展“算”出加速度！

9月15日-16日，由湖南省人民政府、工业和信息化部共同主办的“2023世界计算大会”在湖南长沙成功召开。大会以“计算万物·湘约未来－计算产业新变革”为主题，邀请包括两院院士、国内外权威专家和知名企业家在内的重要嘉宾齐聚一堂，共谋计算产业发展新方向。天翼云科技有限公司副总经理黄洪波出席数字基础设施论坛并发表演讲，介绍了天翼云自主可控国云底座在赋能湖南数字经济发展方面的实践与成果。​天翼云科技有限公司副总经理 黄洪波数字时代，算力正成为赋能科技创新、助推产业转型升级的重要引擎，以算力为核心的数字信息基础设施建设被提到前所未有的高度。作为数字中国建设主力军，天翼云打造自主可控国云底座，在“2+4+31+X”资源布局基础上，构建“中心－省－边缘－端”四级算力布局体系。此外，面对人工智能技术的兴起，...阅读全文

数字先锋|少跑多办！天翼云助力安徽政务跑出便民利企“加速度”

手机已经成为当今社会不可或缺的智能工具之一。在数字技术的综合运用下，越来越多的政务服务登上云端，居民通过一部手机便能解决很多事情。“以前无论办什么事情都要先到单位请假，再去线下排队办理，费时又费力。现在通过皖事通APP，办事大厅一趟都不用跑了，非常方便。”安徽省合肥市庐阳区市民郭先生表示。“皖事通”是安徽落实“数字安徽”建设、推进一体化政务服务的集中缩影。自APP上线以来，平台实现了对公积金、居住证办理，交通违法缴费，疫苗预约等一系列便民服务的一键办理，群众办事方便又快捷，政务服务质效得到极大提升。​目前，数字技术广泛应用于政府管理服务。据安徽省大数据中心副主任刘扬介绍，去年7月，安徽省委省政府联合印发了《“数字安徽”建设总体方案》，统筹“数字安徽”建设、运维、管理等机制，建立健全安全和标准...阅读全文

[23年12月版47章]Three.js可视化企业实战WEBGL课

[23年12月版47章]Three.js可视化企业实战WEBGL课 学习地址1：https://pan.baidu.com/s/1kyZNWtrLQERjMlaRwiRlSg 提取码：150r 学习地址2：https://share.weiyun.com/Sa6MSzwS 密码：n99b5x Three.js 是一个 3D JavaScript 库，它可以帮助你为网络创造3D体验，而且非常容易使用。如果你想让你的网站更加炫酷，那么 Three.js 一定是你的好帮手。 Three.js 是一个在 MIT 许可下的 JavaScript 库，它在 WebGL 之上运行。这个库的目标就是简化处理3D内容的过程。只需要几行代码，你就可以获得一个动画3D场景，而且你无需了解复杂的着色器和矩阵。 要在...阅读全文

行于“云”上，“翼”路顺畅！

9月11日，由中国交通报社、中国交通运输协会主办的2023北京数字交通大会在北京召开。天翼云科技有限公司央企行业中心解决方案专家沈凯龙参加数字交通全栈能力创新论坛并发表演讲，分享了天翼云的技术能力与优势，以及在数字交通创新发展方面的探索与成果。​在人工智能、大数据、云计算等创新技术的驱动下，数字交通建设迎来关键发展期。作为云服务国家队，天翼云在数字交通领域持续发力，为支撑交通运输高质量发展、加快建设交通强国、更好地服务数字中国战略提供强力引擎。在IaaS层面天翼云满足不同交通场景部署需求，提供公有云、私有云、混合云、专属云、边缘云等多种产品形态，如智能边缘云可就近提供边缘智能服务，适用于火车站、加油站等各类交通节点；专属云则适合于对安全和性能有更高要求的客户需求，如客户需部署两客一危监管平台...阅读全文

WEB系统安全之开源软件风险使用评估

本文分享自天翼云开发者社区《WEB系统安全之开源软件风险使用评估》,作者:Coding中国信息通信研究院（China Academy of Information and Communications Technology，以下简称“中国信通院”）在2021年举办的“ OSCAR 开源产业大会”上，发布了《开源生态白皮书》，在其中虽然没有专门阐述开源软件的风险如何防范，但是在其中说明了开源软件的风险和挑战，以及我国在开源治理上的经验。在对WEB系统的开源软件风险进行评估时，需要参考白皮书中的开源治理要求。不管是直接使用开源软件，或者购买使用了开源技术的商业软件都需要去考虑开源技术带来的风险，但是这两种情况规避风险的责任主体不同。在风险评估时，按照违约风险、知识产权风险、技术锁定风险、数据安全...阅读全文

Linux系统性能监控工具：tsar 安装、配置、以及使用 - 宇宙神奇

介绍tsar 是淘宝自己开发的一个监控工具，可用于收集和汇总系统信息，例如CPU，负载，IO和应用程序信息，例如nginx，HAProxy，Squid等。结果可以存储在本地磁盘或发送到Nagios。tsar 可以通过自己开发模块轻松扩展，这使得它成为一个强大的监控工具。 总体架构Tsar是基于模块化设计的程序，程序有两部分组成：框架和模块。框架程序源代码主要在src目录，而模块源代码主要在modules目录中。框架提供对配置文件的解析，模块的加载，命令行参数的解析，应用模块的接口对模块原始数据的解析与输出。 模块提供接口给框架调用。tsar依赖与cron每分钟执行采集数据，因此它需要系统安装并启用crond，安装后，tsar每分钟会执行tsar –cron来定时采集信息，并且记录到原始日志文...阅读全文

天翼云CDN全站加速产品对websocket协议的支持

本文分享自天翼云开发者社区《天翼云CDN全站加速产品对websocket协议的支持》，作者：郭****迎1、背景介绍HTTP 协议有一个缺陷：通信只能由客户端发起。这种单向请求的特点，注定了如果服务器有连续的状态变化，客户端要获知就只能使用轮询的方案。轮询是在特定的时间间隔（如每1秒），由浏览器对服务器发出HTTP请求，然后由服务器返回最新的数据给客户端的浏览器。这种传统的模式带来很明显的缺点，即浏览器需要不断的向服务器发出请求，显而易见，轮询不仅效率特别低，且特别浪费带宽资源，因为HTTP请求可能包含较长的头部，其中真正有效的数据可能只是很小的一部分，显然这样会浪费很多带宽资源。因此，工程师们一直在思考，有没有更好的方法。websocket 就是这样发明的。websocket 协议诞生于2...阅读全文

Lucene-03

基本概念 在深入解读Lucene之前，先了解下Lucene的几个基本概念，以及这几个概念背后隐藏的一些东西。 Index（索引） 类似数据库的表的概念，但是与传统表的概念会有很大的不同。传统关系型数据库或者NoSQL数据库的表，在创建时至少要定义表的Scheme，定义表的主键或列等，会有一些明确定义的约束。 而Lucene的Index，则完全没有约束。 Lucene的Index可以理解为一个文档收纳箱，你可以往内部塞入新的文档，或者从里面拿出文档，但如果你要修改里面的某个文档，则必须先拿出来修改后再塞回去。 这个收纳箱可以塞入各种类型的文档，文档里的内容可以任意定义，Lucene都能对其进行索引。 Document（文档） 类似数据库内的行或者文档数据库内的文档的概念，一个Index内会包含...阅读全文

【鲜知软考】信息系统项目管理师软考高级职称2023第四版

### download：[【鲜知软考】信息系统项目管理师软考高级职称2023第四版](https://www.zxit666.com/6332/) 系统解析JDK源码 在Java开发中，JDK（Java Development Kit）是开发和运行Java应用程序的基础。JDK的源码是理解Java语言和底层实现的宝贵资源。本文将详细介绍如何系统地解析JDK源码，并从中获取知识和洞察力。 为什么解析JDK源码很重要 解析JDK源码对于Java开发人员来说非常重要，有以下几个方面的原因： 深入理解Java：通过阅读和分析JDK源码，可以深入了解Java语言的设计原则、核心概念和内部实现机制。 学习优秀的编程实践：JDK源码是由经验丰富的Java开发人员编写的，其中蕴含着许多优秀的编程实践和设计...阅读全文

浅谈基于Shapley值的数据融合反欺骗数据判断相关

本文分享自天翼云开发者社区《浅谈基于Shapley值的数据融合反欺骗数据判断相关》，作者:z****n一、相关背景多个信息源的数据进行融合处理后的信息具有较高准确性，同时具备互补性、及时性等特征，在一定程度上能够克服单信息源获取信息的局限性，能更加客观地对目标形成认识，具有更高置信度和较强鲁棒性。信息融合技术随着人工智能及物联网的发展，在人们日常生活中已被广泛应用。然而，在通过该技术享受生活便利的同时，也承担着其所带来的决策的误判、情报处理混乱等风险。现代信息融合技术担当着越发重要的角色，其原理是通过传感器获取对状态、环境及目标的相关信息，并根据特定的算法对多个传感器所获信息进行处理，为得到用于评估战场的状态、敌方潜在的威胁以及自身相关方面的稳定性等重要信息提供依据。欺骗信息往往可以定义为故...阅读全文

云安全CIA：关键信息保证的三大支柱

本文分享自天翼云开发者社区《云安全CIA：关键信息保证的三大支柱》，作者：每日知识小分享随着云计算的迅速普及，云安全问题越来越受到关注。云安全涉及的范围广泛，涵盖了云端数据中心的物理安全、网络安全、数据安全、应用安全等多个方面。而在这些安全问题中，CIA原则是云安全中最为核心的部分。CIA原则由机密性（Confidentiality）、完整性（Integrity）和可用性（Availability）三个关键信息保证组成，是衡量云服务提供商是否能够满足客户数据安全需求的重要标准。本文将从理论和实践两个方面对云安全的CIA原则进行详细解析。一、机密性（Confidentiality）机密性是指确保云服务用户的数据不被非授权访问或泄露。在云环境中，机密性通常涉及到数据加密、访问控制等措施。1.数据...阅读全文

技术干货|腾云忆想架构师教你解决Elasticsearch集群负载不均的问题

导读腾讯云 Elasticsearch Service（ES）是基于开源搜索引擎 Elasticsearch 打造的高可用、可伸缩的云端全托管的 Elasticsearch 服务，包含 Kibana 及常用插件，并集成了安全、SQL、机器学习、告警、监控等高级特性（X-Pack）。本文描述在实际使用中，经常会遇到的ES集群负载不均的问题，并结合多种场景进行分析、解决，以及如何避免。作者简介岳涛腾云忆想大数据产品架构师，多年分布式、高并发大数据系统的研发、系统架构设计经验，擅长主流大数据架构技术平台的落地和实施。目前专注于大数据架构相关组件的研究推广和最佳实践的沉淀，致力于帮助企业完成数字化转型。一、背景ES集群在某些情况下会出现CPU使用率高的现象，具体有两种表现：1. 个别节点CPU使用率...阅读全文