我们知道，数据达到HBase服务端会写WAL-写Memstore，然后定期或满足一定条件时刷写磁盘生成一个HFile文件，随着时间推移生成的HFile会越来越多，将会影响HBase查询性能，同时会对HDFS造成一定影响。因此HBase会定期执行Compaction操作以合并减少HFile数量。1.两种合并HBase中Compaction分为两种。Minor Compaction称为小合并，主要是选取一些小的、相邻的HFile将他们合并成较大的HFile，并删除HFile中的过期数据。Major Compaction称为大合并，会将一个列族下的所有HFile合并成一个大的HFile，同时删除过期数据、已删除数据（打了Delete标记的）、版本过大的数据等三类无效数据。2. 参数调优1).hba...阅读全文
一、概述HBase 是一个基于 Google BigTable 论文设计的高可靠性、高性能、可伸缩的分布式存储系统。 网上关于 HBase 的文章很多，官方文档介绍的也比较详细，本篇文章不介绍 HBase 基本的细节。本文从 HBase 写链路开始分析，然后针对少量随机读和海量随机写入场景入手，全方面量化分析各种资源的开销, 从而做到以下两点：在给定业务量级的情况下，预先评估好集群的合理规模在 HBase 的众多参数中，选择合理的配置组合二、HBase 写链路简要分析HBase 的写入链路基于 LSM（Log-Structured Merge-Tree), 基本思想是把用户的随机写入转化为两部分写入：Memstore 内存中的 Map, 保存随机的随机写入，待 memstore 达到一定量的...阅读全文
在日常开发中我们经常会遇到需要同时处理多个操作的情况，比如在购物时，我们需要同时完成支付和更新库存两个操作。这时，如果其中一个操作失败了，我们就需要进行回滚，以保证数据的一致性。 那么，如何在MySQL中实现这样的功能呢？答案就是——事务。下面我们就来介绍一下MySQL事务是什么？它是如何使用的？ ## 一、什么是事务？ ### 事务定义 - 事务是一个最小的不可再分的工作单元；通常一个事务对应一个完整的业务(例如银行账户转账业务，该业务是一个最小的工作单元)。 - 一个完整的业务需要批量的DML(insert、update、delete)语句共同联合完成。 - 事务只和DML语句有关，或者说DML语句才有事务。这个和业务逻辑有关，业务逻辑不同，DML语句的个数不同。 ### 事务是什么？ ...阅读全文
近日，中国信息通信研究院（以下简称“中国信通院”）公布“软件自研创新能力”专项评估（简称“可信研创”）结果，天翼云边缘安全加速平台AccessOne顺利通过评估，成为首批通过该项评估的云服务商。“软件自研创新能力”专项评估旨在通过源码级别的开源同源匹配技术，分析软件产品的代码组成成分，帮助用户了解其中的开源应用情况，实现“自研率高”“安全性强”“合规度高”“稳定性好”四大目标, 提升自研创新产品的可信度。 天翼云作为云服务国家队，始终坚持科技创新和关键核心技术自主研发，持续构建高质量、普惠便捷的智能化综合性数字基础设施，赋能千行百业迈向数字化之路。在边缘计算领域，天翼云陆续推出了丰富多态的产品，助力企业实现敏捷业务响应及数字化转型升级。作为边缘计算“家族”的重磅级产品之一，天翼云边缘安全加...阅读全文
## download：[Netty+Nacos+Disruptor自研企业级API网关](https://www.51xuebc.com/thread-566-1-1.html) 数据类型、变量和常量的使用 在计算机编程中，数据类型、变量和常量是非常重要的概念。它们可以帮助程序员更好地理解和处理数据，从而实现更加复杂的功能。本文将详细介绍这些概念及其使用。 数据类型 数据类型是指计算机中可用的不同种类的数据。在编程语言中，通常有多种基本数据类型，如整数、浮点数、布尔值、字符等。每种数据类型都有其自己的特定格式和范围。 例如，在Python编程语言中，有以下常见的数据类型： 整数（int）：表示整数，如1、2、3等。 浮点数（float）：表示小数，如1.5、3.14等。 布尔值（bool）...阅读全文
Region自动切分是HBase能够拥有良好扩张性的最重要因素之一，也必然是所有分布式系统追求无限扩展性的一副良药。HBase系统中Region自动切分是如何实现的？这里面涉及很多知识点，比如Region切分的触发条件是什么？Region切分的切分点在哪里？如何切分才能最大的保证Region的可用性？如何做好切分过程中的异常处理？切分过程中要不要将数据移动？等等，这篇文章将会对这些细节进行基本的说明，一方面可以让大家对HBase中Region自动切分有更加深入的理解，另一方面如果想实现类似的功能也可以参考HBase的实现方案。 Region切分触发策略 在最新稳定版（1.2.6）中，HBase已经有多达6种切分触发策略。当然，每种触发策略都有各自的适用场景，用户可以根据业务在表级别选择不同的...阅读全文
一、HBase 读优化 1. HBase客户端优化 和大多数系统一样，客户端作为业务读写的入口，姿势使用不正确通常会导致本业务读延迟较高实际上存在一些使用姿势的推荐用法，这里一般需要关注四个问题： 1) scan缓存是否设置合理？ 优化原理：在解释这个问题之前，首先需要解释什么是scan缓存，通常来讲一次scan会返回大量数据，因此客户端发起一次scan请求，实际并不会一次就将所有数据加载到本地，而是分成多次RPC请求进行加载，这样设计一方面是因为大量数据请求可能会导致网络带宽严重消耗进而影响其他业务，另一方面也有可能因为数据量太大导致本地客户端发生OOM。在这样的设计体系下用户会首先加载一部分数据到本地，然后遍历处理，再加载下一部分数据到本地处理，如此往复，直至所有数据都加载完成。数据加载...阅读全文
本文首发于 vivo互联网技术 微信公众号链接： https://mp.weixin.qq.com/s/qayKiwk5QAIWI7-nyD3FVA作者：DuZhimin随着互联网、尤其是物联网的发展，我们需要把各种类型的终端实时监测、检查与分析设备所采集、产生的数据记录下来，在有时间的坐标中将这些数据连点成线，往过去看可以做成多纬度报表，揭示其趋势性、规律性、异常性;往未来看可以做大数据分析，机器学习，实现预测和预警。这些数据的典型特点是：产生频率快（每一个监测点一秒钟内可产生多条数据）、严重依赖于采集时间（每一条数据均要求对应唯一的时间）、测点多信息量大（实时监测系统均有成千上万的监测点，监测点每秒钟都产生数据，每天产生几十GB的数据量）。基于时间序列数据的特点，关系型数据库无法满足对时...阅读全文
互联网基础资源作为互联网的基石和枢纽，是新一轮信息技术革命的重要根基。随着我国互联网在应用模式、技术水平、行业规模上的发展，网络基础资源在应用支持、安全保障等方面的作用愈发突出。网络强国大步向前的背景下，如何审视互联网基础资源的数字化治理成效，成为全面透视网络强国建设成就与经验的重要“窗口”。今天我们一起走进中国互联网络信息中心，看互联网基础资源领域的“国家队”如何“化云为雨，泽被万物”。保障关键信息基础设施安全的“国家队”中国互联网络信息中心（CNNIC）作为中国信息社会重要的基础设施建设者、运行者和管理者，积极推进网络基础资源各项工作开展。中国互联网络信息中心运行管理部主任冷峰介绍，中国互联网络信息中心行使国家互联网络信息中心职责，负责国家网络基础资源的运行管理和服务，承担国家网络基础资...阅读全文
11月22日-23日，2023第八届IDC中国数字化转型年度盛典在北京召开。天翼云亮相峰会主论坛及多个专题论坛，分享了在技术与产品体系方面，尤其是在智算平台和大模型应用方面的探索与实践；与现场的行业意见领-袖、企业代表等嘉宾共探如何以技术创新为驱动，共谋行业高质量发展。打造国内领先智算服务构造AI时代强大基石当前，新一轮科技革命和产业变革正在向纵深演进，算力基础设施的重要性不断提升，尤其今年以来随着人工智能大模型应用的深入推进，智算需求迎来爆发式增长。天翼云作为云服务国家队，不断加强数字基础设施建设，为千行百业转型升级筑牢智算底座。中国电信集团高-级技术专家天翼云行业解决方案总监祁超在峰会主论坛上，中国电信集团高-级技术专家、天翼云行业解决方案总监祁超表示，天翼云始终坚持科技创新，不断加强...阅读全文
本文分享自天翼云开发者社区《数据如何同步到云服务器》，作者：每日知识小分享随着云计算技术的快速发展，越来越多的企业和个人选择将他们的数据和应用程序存储在云服务器上。然而，将数据同步到云服务器是一个复杂的过程，需要一定的技术知识和规划。本文将介绍数据同步到云服务器的最-佳做法，包括数据备份、数据恢复、数据迁移等方面。一、数据同步的概念数据同步是指将数据从一个地方复制或传输到另一个地方，以保证数据的完整性和一致性。在云服务器中，数据同步通常指将本地数据备份到云服务器中，或者将云服务器中的数据恢复到本地或者其他云服务器中。二、数据同步的分类数据备份数据备份是指将本地数据备份到云服务器上，以防止本地数据丢失或损坏。在备份过程中，需要选择合适的备份软件和备份策略，以确保备份数据的完整性和可靠性。同时，...阅读全文
11月10日，以“数字科技 焕新启航”为主题的2023数字科技生态大会在广州市举办。会上，天翼云重磅发布一站式智算服务平台“慧聚”。天翼云科技有限公司董事长、总经理胡志强对天翼云智算服务体系进行了全面解读。2023年是大模型高速发展的一年，大模型不断扩大的参数规模和快速迭代的技术路线跨越式地提升了模型的能力，但是同时也为大模型的训练和应用带来了很多挑战。比如算力利用率的瓶颈日益凸显、算力成本压力进一步增大、模型的构建难度不断提升、模型的行业落地更加复杂。胡志强表示，为顺应大模型时代对于云服务商的新要求，天翼云全面升级，构建了全栈大模型智算服务，包括打造智算数据中心AIDC、升级云智超一体化基础设施平台“云骁”、推出一站式智算服务平台“慧聚”、构建国云大模型生态，形成云智一体的智算服务体系...阅读全文
本文分享自天翼云开发者社区《服务器主机：复杂理论的视角与SEO策略》,作者:不知不觉在数字世界的演变中，服务器主机在信息存储和数据处理方面发挥着核心作用。本文将带你重新认识服务器主机的价值，并通过复杂理论解释其重要性和必要性，同时结合SEO关键字布局来指导你如何优化内容。一、服务器主机的概述服务器主机是一种专门用于提供互联网服务的计算机设备。它具有高性能的处理器、海量的存储空间和稳定的网络连接，旨在处理和传输大量的数据信息。服务器主机通常用于企业级应用、网站托管、数据库存储等场景，为企业和个人提供稳定、高效的服务。二、服务器主机的特点高性能：服务器主机通常采用最/先进的处理器和内存技术，能够处理大量的数据请求和计算任务。稳定性：服务器主机经过专门设计和优化，具备高度的可靠性和稳定性，以保证服...阅读全文
Kafka对于producer发来的消息怎么保证可靠性？ 每个partition都给配上副本，做数据同步，保证数据不丢失。 副本数据同步策略 和zookeeper不同的是，Kafka选择的是全部完成同步，才发送ack。但是又有所区别。 所以，你们才会在各种博客看到这句话【kafka不是完全同步，也不是完全异步，是一种ISR机制】 这句话对也不对，不对也对（谜语人......） 首先笔者认为：Kafka使用的就是完全同步方案。 完全同步的优点 同样为了容忍 n 台节点的故障，过半机制需要 2n+1 个副本，而全部同步方案只需要 n+1 个副本， 而 Kafka 的每个分区都有大量的数据，过半机制方案会造成大量数据的冗余。（这就是和zookeeper的不同） 完全同步会有什么问题？ 假设就有这么...阅读全文
本文分享自天翼云开发者社区《什么是无服务器架构技术？》，作者:SD万无服务器架构（Serverless Architecture）是jin年来逐渐兴起的一种软件架构方案，它采用了一种全新的方式来处理应用程序的部署、运行和扩展。与传统的服务器架构相比，无服务器架构具有很多优势，包括可扩展性、弹性、可靠性和安全性等。一、无服务器架构的基本概念和特点1.基本概念无服务器架构是指将应用程序的部署、运行和扩展都交给了云服务提供商来处理，开发者只需要通过API调用来访问和操作应用程序，不再需要考虑服务器、网络、负载均衡等问题。在无服务器架构中，云服务提供商会为开发者提供一系列工具和服务，包括API网关、流量控制、负载均衡、缓存、安全等，开发者只需要关注业务逻辑的实现即可。2.特点无服务器架构的主要特点包...阅读全文
1. 前言 相信你经常被 读写分离、垂直拆分、水平拆分、分库分表 这几个名词搞得很懵逼。我有时候也很懵逼，那么今天就来把这几个数据库常用术语搞清楚，同时也记录一下。 2. 读写分离 这个相对比较好理解一些，就是将数据库分为主从库，一个主库（Master）用于写数据，多个从库（Slaver）进行轮询读取数据的过程，主从库之间通过某种通讯机制进行数据的同步，是一种常见的数据库架构。下面这张图就展示了 “一主二从” 的结构： 2.1 为什么要读写分离 大多数互联网数据操作往往都是读多写少，随着数据的增长，数据库的“读”会首先成为瓶颈。如果我们希望能线性地提升数据库的读性能和写性能，就需要让读写尽可能的不相互影响，各自为政。在使用读写分离之前我们应该考虑使用缓存能不能解决问题。然后再考虑对数据库按照...阅读全文
5月30日，2023数字政府高质量发展论坛在北京举办，大会聚焦业界关注的政策、技术、应用、标准、发展等议题，邀请政产学研各界共议政府数字化转型之路。现场重磅发布了由中国电信联合中国信息通信研究院云计算与大数据研究所共同撰写的《安全可信政务云一体化建设白皮书》（以下简称“白皮书”），中国信息通信研究院云计算与大数据研究所政企数字化转型部主任徐恩庆、中国电信天翼云科技有限公司政务行业中心总经理张星出席发布仪式。中国电信天翼云科技有限公司政务行业中心总经理 张星（左一）中国信息通信研究院云计算与大数据研究所政企数字化转型部主任 徐恩庆（右一）白皮书从行业政策、技术、案例、发展等角度对政务云一体化建设进行了全面解析，输出中国电信在政务云建设领域的宝贵经验及标杆案例，并对未来政务云的技术趋势进行研判...阅读全文
本文分享自天翼云开发者社区《云安全CIA：关键信息保证的三大支柱》，作者：每日知识小分享随着云计算的迅速普及，云安全问题越来越受到关注。云安全涉及的范围广泛，涵盖了云端数据中心的物理安全、网络安全、数据安全、应用安全等多个方面。而在这些安全问题中，CIA原则是云安全中最为核心的部分。CIA原则由机密性（Confidentiality）、完整性（Integrity）和可用性（Availability）三个关键信息保证组成，是衡量云服务提供商是否能够满足客户数据安全需求的重要标准。本文将从理论和实践两个方面对云安全的CIA原则进行详细解析。一、机密性（Confidentiality）机密性是指确保云服务用户的数据不被非授权访问或泄露。在云环境中，机密性通常涉及到数据加密、访问控制等措施。1.数据...阅读全文
本文分享自天翼云开发者社区《天翼云云电脑：IAAS基础设施带来的计算革新》，作者：不知不觉在当今这个数字化快速发展的时代，云计算作为一种新兴的信息技术，已经逐渐成为企业和个人日常运营的重要组成部分。在这个领域中，天翼云云电脑凭借其独特的技术优势和创新能力，引领着IAAS（基础设施即服务）的发展潮流。一、云电脑概述云电脑是一种基于云计算技术的虚拟化计算服务。它通过虚拟化技术将一台或多台物理服务器资源进行整合，形成一个共享资源池，从而提供弹性的云计算环境。在这个环境下，每个虚拟主机都可以独立运行，拥有自己的操作系统、存储空间和网络资源。与传统的电脑相比，云电脑最大的特点在于其无需购买昂贵的硬件设备，只需通过互联网连接就能获得所需计算资源和数据存储服务。二、天翼云云电脑与IAAS天翼云作为国内领先...阅读全文
本文分享自天翼云开发者社区《负载均衡详解》，作者：杨锦负载均衡（Load Balancing）是一种将网络流量或请求分发到多个服务器或资源的技术，以确保这些服务器或资源能够更均匀地处理负载，提高系统的性能、可用性和可伸缩性。负载均衡通常应用于Web服务、应用程序服务器、数据库服务器以及其他网络应用中。负载均衡的目标：均衡负载：主要目标是分配流量或请求，确保各个服务器或资源之间负载均匀，避免某一台服务器负载过高，而其他服务器处于低负载状态。提高性能：通过将流量分散到多个服务器上，可以提高整体性能。每个服务器只需处理一部分请求，从而降低了每台服务器的响应时间。提高可用性：如果一个服务器出现故障或不可用，负载均衡器可以将流量重定向到其他正常运行的服务器上，从而提高系统的可用性和容错性。实现扩展性：...阅读全文
本文分享自天翼云开发者社区《天翼云GPU云主机：共享信息技术与虚拟机的完美融合》，作者：不知不觉在云计算领域，GPU云主机已经成为了一个备受瞩目的焦点。它的出现改变了传统IT架构的方式，为各行各业带来了无限的的可能性。在这篇文章中，我们将重点探讨天翼云GPU云主机，深入剖析它如何通过共享信息技术和虚拟化技术，为用户提供卓越的计算服务。一、走进GPU云主机的世界GPU云主机是一种基于云计算技术的虚拟化服务器。它通过虚拟化技术将一台或多台物理服务器资源进行整合，形成一个共享资源池，从而提供弹性的云计算环境。在这个环境下，每个虚拟主机都可以独立运行，拥有自己的操作系统、存储空间和网络资源。与传统的云主机相比，GPU云主机最大的特点在于其配备了高性能的GPU计算卡，使得在进行大规模数据处理和复杂计算...阅读全文
本文来自 Kingshionopen in new window 投稿。欢迎更多朋友参与到 JavaGuide 的维护工作，这是一件非常有意义的事情。详细信息请看：JavaGuide 贡献指南open in new window 。在面向对象的设计原则中，一般推荐模块之间基于接口编程，通常情况下调用方模块是不会感知到被调用方模块的内部具体实现。一旦代码里面涉及具体实现类，就违反了开闭原则。如果需要替换一种实现，就需要修改代码。为了实现在模块装配的时候不用在程序里面动态指明，这就需要一种服务发现机制。Java SPI 就是提供了这样一个机制：为某个接口寻找服务实现的机制。这有点类似 IoC 的思想，将装配的控制权移交到了程序之外。# SPI 介绍# 何谓 SPI?SPI 即 Service P...阅读全文
3月22日，由中国信息通信研究院、中国通信标准化协会、弗若斯特沙利文联合主办的“2024云计算价值影响力矩阵发布会暨产业分析师闭门会”在京召开。面对新形势下的产业发展动向，业界专家和企业代表进行了深入探讨和分享。中国电信天翼云资深研发专家刘超发表题为《国云数字化底座助力数字经济高质量发展》的演讲，分享了在大模型和国产化的时代背景下，天翼云以全栈云服务和能力体系赋能行业、助推数字经济发展的成功经验。《2023混合云价值影响力矩阵》成果发布会上重磅发布了《2023混合云价值影响力矩阵》三维成果图，天翼云位列混合云价值影响力三维矩阵领导者域。凭借在混合云市场的技术成熟度、市场增长性、战略前瞻性三个维度的出色表现，天翼云领先于95%的企业，是混合云市场领导者、混合云技术引领者和混合云技术战略引领者...阅读全文
近日，2023年全国CIO大会在新疆伊宁举办。本次大会汇聚全国CIO精英，聚焦云计算、AI、低代码、云原生等技术，探讨数字化时代的领导力与创新力、数字化转型实战干货、新兴技术应用等热门议题。会上举行了全国优秀CIO以及CIO信赖品牌颁奖典礼，天翼云荣获“2022年度CIO最信赖品牌”称号。 破解存储难题，落实低碳发展战略天翼云国际业务事业部存储产品线总监潘亚莲出席会议并发表演讲，分享了天翼云在绿色低碳存储方案方面的探索与实践。当前，数字化、绿色化两大趋势相互融合、相互促进。打造绿色数据中心，以数字化促进绿色化，成为数字经济高质量发展的必然要求。作为数据中心基础设施三大件之一，存储也面临迈向“绿色化”的迫切需求。天翼云推出存储资源盘活系统HBlock，帮助企业用户提高数据中心资源利用率，优化资...阅读全文
download：https://www.daxiacode.com/7446.html【资源目录】:| ├──1–django 简介.mp4 1.65G| ├──10–权限分配.mp4 637.10M| ├──11–批量操作.mp4 1011.98M| ├──12–权限分配实现.mp4 696.79M| ├──13–rbac组件.mp4 804.36M| ├──14–stark组件(上).mp4 699.82M| ├──15–stark组件(下).mp4 635.81M| ├──16–CRM项目开发(上).mp4 362.90M| ├──2–路由匹配与函数视图.mp4 1.36G| ├──3–数据模型.mp4 1.56G| ├──4–数据查询与网络请求.mp4 1.22G| ├──5–网络...阅读全文
本文分享自天翼云开发者社区《一种通过延迟事务提升数据库性能的方法》,作者:唐****律一、背景在数据库代理层中，写节点的数据库连接是一种很重要和稀缺的资源，提升其利用率是一个提升数据库整体性能的重要手段。数据库连接占用过高会大幅增加数据库的资源负担，降低数据库的处理能力。通过延迟启动的事务，可以减少不必要的连接占用时长，提升数据库连接利用率。在用户通过代理层使用数据库的时候，如果提交了一条只读查询，那么代理层可以从连接池中获取一个连接、查询、获取数据、然后归还连接。如果在只读查询之前启动了事务，那么在用户提交或者回滚事务之前，该连接不能归还到连接池，大大增加了数据库连接的占用时间。而在ReadCommitted事务隔离级别中，只读查询语句的查询结果是不可重复的，这时如果事务中没有其它写操作，...阅读全文
HBase-2.x支持7种Region自动拆分Region的策略，类图如下:其中BusyRegionSplitPolicy是HBase-2.x新增的策略，其他6种在HBase-1.2.x中也可以使用。设置自动拆分策略的关键配置如下:hbase.regionserver.region.split.policy description: Region自动拆分的策略 default: HBase-1.2.x: org.apache.hadoop.hbase.regionserver.IncreasingToUpperBoundRegionSplitPolicy HBase-2.x: org.apache.hadoop.hbase.regionserver.SteppingSplitPolicy o...阅读全文
本文分享自天翼云开发者社区《VPC终端节点的实现架构和原理》，作者：云云生息什么是VPC终端节点？在传统的VPC架构中，为了使VPC内的资源能够与云服务提供商的各种服务进行通信，通常需要通过公共Internet进行访问。这种方式存在一些问题，比如安全性、可靠性、访问速度等。为了解决这些问题，云服务提供商推出了VPC终端节点。VPC终端节点是VPC内的一种虚拟设备，它直接连接到云服务提供商的服务而无需通过Internet。这样，VPC内的资源可以通过VPC终端节点安全地、高效地访问云服务，同时也能避免通过Internet带来的一些潜在问题。VPC终端节点的实现架构VPC终端节点的实现架构通常涉及多个组件的协同工作。以下是一个常见的VPC终端节点实现架构：1.VPC路由表： 在VPC中，存在一个...阅读全文
本文分享自天翼云开发者社区《Rocksdb原理简介》，作者:l****nRocksdb作为当下nosql中性能的代表被各个存储组件（mysql、tikv、pmdk、bluestore）作为存储引擎底座，其基于LSM tree的核心存储结构（将随机写通过数据结构转化为顺序写）来提供高性能的写吞吐时保证了读性能。同时大量的并发性配置来降低compaction的影响。涉及到的几个核心文件：WALWriteAheadLog，rocksdb的日志，保存memtable中的信息。当memtable转化为immutable memtable并且Flush到L0层之后，之前WAL的会被清理，即于删除DB目录下的log文件。在RocksDB中每一次数据的更新都会涉及到两个结构，一个是内存中的memtable...阅读全文
背景-线上告警线上一台服务器告警，磁盘利用率 disk.util > 90，并持续告警。登录该服务器后通过 iostat -x 1 10 查看了相关磁盘使用信息。相关截图如下：1 # 如果没有 iostat 命令，那么使用 yum install sysstat 进行安装 2 # iostat -x 1 10复制由上图可知，vdb磁盘的 %util【IO】几乎都在100%，原因是频繁的读取数据造成的。其他字段说明Device：设备名称 tps：每秒的IO读、写请求数量，多个逻辑请求可以组合成对设备的单个I/O请求。 Blk_read/s (kB_read/s, MB_read/s)：从设备读取的数据量，以每秒若干块(千字节、兆字节)表示。块相当于扇区，因此块大小为512字节。 Blk_wrt...阅读全文
9月20日，由中国仿真学会、中国指挥与控制学会和北京理工大学共同主办的“2023第二届世界元宇宙大会”在上海召开。天翼云科技有限公司智能边缘事业部云渲染负责人丛子涵参加大会主论坛，分享了天翼云边缘云在元宇宙领域的探索与应用。近年来，元宇宙成为全球范围内的热门话题。通过构建一个与现实世界相互映射且可交互的虚拟世界，元宇宙为用户带来全新视觉体验。而营造元宇宙身临其境般绝佳体验的关键在于保证画质高清，满足数据传输对低时延的极致需求。能够提供稳定、高效、可靠、低时延算力服务的边缘云是推动元宇宙产业发展的关键引擎。作为云服务国家队，天翼云持续深耕边缘计算领域，依托云网融合优势积极布局边缘节点，目前已形成“2+4+31+X”的算力资源布局。将“X”的算力进一步下沉，天翼云形成浅边缘-深边缘-最边缘的多...阅读全文
 一、什么是Doris Doris 是一个 MPP 的 OLAP 系统，主要整合了 Google Mesa（数据模型），Apache Impala（MPP Query Engine) 和 Apache ORCFile (存储格式，编码和压缩) 的技术。 二、Doris得作用 1、对数据分析、统计 2、报表 3、多维分析 4、Doris 是从百度内部自主研发并贡献到 Apache 开源社区的 ROLAP 数据库。 5、Doris 整合了 Google Mesa（数据模型），Apache Impala（MPP Query Eng...阅读全文
本文分享自天翼云开发者社区《Serverless函数计算介绍》，作者:余凯随着互联网和移动互联网的快速发展，越来越多的应用程序需要具备高可用性、高扩展性和高性能等特点。而云计算作为一种新兴的计算模型，可以帮助开发者更快速、更高效地开发和部署应用程序。Serverless函数计算作为云计算的一种重要形式，正在逐渐成为云计算的主流模型。1.Serverless函数计算的概念和优势Serverless函数计算是一种无服务器的计算模型，它可以帮助用户更轻松地构建和运行应用程序，无需管理底层的服务器和操作系统。在Serverless函数计算中，用户只需编写函数代码并上传到云端，云服务提供商将会负责管理计算资源和网络架构，用户只需按照实际使用情况支付相应的费用。Serverless函数计算的优势包括：1...阅读全文
HBase配置副本数为2 HBase是一个分布式的、可扩展的开源NoSQL数据库。它提供了高可靠性、高性能和高扩展性的数据存储解决方案。在HBase中，数据以表的形式组织，每个表可以有多个列族，每个列族可以包含多个列。HBase以行的方式存储数据，并使用Hadoop的HDFS作为底层存储。 在HBase中，可以通过配置副本数来提高数据的可靠性和冗余性。副本数是指在HBase集群中，每个数据块的副本数量。当某个数据块不可用时，HBase可以从其他副本中读取数据，保证了数据的可靠性和高可用性。 配置副本数为2的方法 HBase中的副本数可以在创建表的时候进行配置。下面是一个示例代码： import org.apache.hadoop.conf.Configuration; import org....阅读全文
近日，国际数据公司（IDC）最新发布的《公有云市场数据跟踪，2023Q3》报告显示，在公有云整体市场增速全面收紧的背景下，中国电信天翼云市场份额大涨，中国公有云IaaS市场份额增长至12.9%，同比增长1.3pp，公有云IaaS+PaaS市场份额增长至11.6%，同比增长1.4pp，天翼云以强劲增势稳居第三。作为云服务国家队，天翼云秉持“云网融合、安全可信、绿色低碳、生态开放”的发展理念，以科技创新持续夯实国云底座，赋能数字经济高质量发展。经过十余年行业积累，2023年，天翼云作为国家云的框架全面成型。在资源布局方面，天翼云已形成“2+4+31+X”全国资源布局，织就全国算力“一张网”，构建了“中心-省-边缘-端”的四级算力布局体系，可为各地用户提供高速泛在的算力，让用户使用算力像水电一样...阅读全文
本文分享自天翼云开发者社区《列式云数据库与关系型云数据库：区别、优缺点与选择》，作者：3****m一、列式云数据库与关系型云数据库的区别数据存储方式列式云数据库以列为单位组织数据，将同一列的数据存储在一起，每个列都有一个相关的列式存储文件。这种数据存储方式适合于大量数据分析和高性能计算的场景，因为列式云数据库能够更好地压缩数据并提高查询效率。而关系型云数据库则采用传统的关系型数据模型，以行为单位组织数据，每个表由多个行组成，每个行由多个列组成，通过主键和外键进行关联。关系型云数据库提供了完整的SQL支持，适用于需要复杂查询和数据分析的应用场景。查询性能列式云数据库通常在大数据量和高并发查询场景下表现出更高的性能。由于列式存储将数据按列划分，因此在执行查询时可以仅扫描所需的列，避免了全表扫描的...阅读全文
本文分享自天翼云开发者社区《内容分发网络 CDN 概述》,作者:JerryCDN（Content Delivery Network）是一种分布式网络架构，旨在提供高效、可靠地将内容传送给全球用户的服务。CDN 的主要目标是通过将数据缓存到位于不同地理位置的多个服务器上，使用户能够从离他们更近的服务器获取内容，从而减少访问延迟、提高加载速度和改善网站的性能。在这篇文章中，我将详细介绍 CDN 的工作原理、使用 CDN 的好处，并举例说明它如何优化内容传递的过程。一、CDN 的工作原理CDN 的工作原理基于两个主要的技术：缓存和就近访问。缓存：CDN 将网站的静态内容（例如图片、CSS、JavaScript 文件等）缓存在多个地理分布的服务器上。当用户请求访问网站时，CDN 会检查是否有相应的缓...阅读全文
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容...阅读全文
[完结11章]技术大牛成长课,从0到1带你手写一个数据库系统 参考资料下载地址1：https://pan.baidu.com/s/1ANB63p3Alsu6ivFGlKKNLg 提取码: ksn2 参考资料下载地址2：https://share.weiyun.com/Tp6ewDIJ 密码：6crcwd 大家好，今天我将给大家分享关于如何开发一个数据库系统的知识，将从0到1手把手带着一步步去开发这个项目，希望我的分享对大家的学习和工作有所帮助，如果有不足的地方还请大家多多指正。 一、什么是数据库系统 数据库系统一般由数据库、数据库管理系统（及其开发工具）、应用系统、数据库管理员构成 二、数据库管理系统的主要功能包括 数据定义功能：DBMS提供数据定义语言（Data Definition La...阅读全文
近日，由新一代信息技术产业研究院、赛迪未来产业研究中心共同主办，中国电子学会区块链分会、至顶科技联合承办的“2024未来信息技术大会暨首届数据要素创新发展论坛”于北京成功举办。大会公布了“2023年度数据要素价值创新标杆示范案例”评选结果，天翼云“海南省数据产品超市公共数据资源开发利用平台”与“福州市公共数据要素流通平台”获此殊荣，为推动数据要素市场化配置、助力数据要素价值释放树立了行业标杆。天翼云相关专家出席会议并分享了天翼云加速向智能云全面升级，在智算服务体系建设、数据要素平台技术创新方面的实践和成果。今年，“人工智能+”首次写入政府工作报告，全面驱动产业数智化升级。作为云服务国家队，天翼云立足全栈自研的技术体系、行业领先的产品服务、安全可信的运营能力，不断巩固和强化竞争优势。没有...阅读全文
随着网络攻-防对抗形势愈演愈烈，传统的安全防护模式已难以应对频率暴增、昼夜不停的网络安全攻-击，提升组织安全防护能力势在必行。事实上，一些单位在网络安全建设工作中经验不足，在安全组件/设备采购方面大量投入，部署后却缺乏专人运营。这导致在安全事件发生时，组织不能及时发现并进行动态防护，安全效果难以达到预期。天翼云推出托管检测与响应服务（原生版）产品（后称MDR）帮助客户进行持续的安全监测，洞悉网络安全事件根因，进一步保障组织业务在云上稳定安全运行。MDR基于“人机共智”模式，聚焦“资产、脆弱性、威胁、事件”四大核心安全风险要素，以7*24h的持续在线守护，为用户提供高效、省心、便捷的安全托管服务。MDR服务支持在公/私/混合云多场景交付，目前已向重点客户交付，主要应用场景如下：优势一：7*...阅读全文
上篇文章中我们对单列集合中常用的方法和遍历查询。通过本文章为我们解惑，好好的字符串用起来不就行了，为什么要用集合这些工具类？本篇文章将简要介绍数据结构，让读者了解它们在计算机中以何种结构方式存在。那么，什么是数据结构呢？下面我们来详细解释。 ## 数据结构 ### 1.1 数据结构有什么用？ 数据结构是计算机存储、组织数据的方式。 数据结构是指相互之间存在一种或多种特定关系的数据元素的集合。 通常情况下，精心选择的数据结构可以带来更高的运行或者存储效率。  数据结构往往同高效的检索算法和索引技术有关。 这句话是啥意思...阅读全文
本文分享自天翼云开发者社区《云主机CPU和内存配比：优化资源分配的关键》，作者：每日知识小分享随着云计算技术的快速发展，云主机已经成为了许多企业和个人用户首-选的计算解决方案。在部署和配置云主机时，CPU和内存的配比是一个非常重要的考虑因素。本文将深入探讨云主机CPU和内存配比的问题，以帮助用户更好地优化资源分配，提高云主机的性能和效率。一、云主机CPU和内存的重要性CPU和内存是云主机中最重要的两个资源。CPU负责处理数据和指令，是决定云主机计算能力的关键因素。而内存则负责存储数据和程序，是影响云主机响应速度和并发处理能力的核心因素。对于大多数应用程序来说，CPU和内存的性能都会影响到其运行效果。因此，合理的CPU和内存配比能够提高云主机的整体性能，并确保应用程序的稳定运行。二、云主机CP...阅读全文
近日，由天翼云科技有限公司云网产品事业部混合云团队完成的论文《Multivariate Time Series Collaborative Compression for Monitoring Systems in Securing Cloud-based Digital Twin》在云计算领域国际知名学术期刊Journal of Cloud Computing：Advances,Systems and Applications（JoCCASA）发表。JoCCASA是全球最大科学出版社之一的德国Springer（施普林格）旗下刊物，SCI JCR分区为2区，近5年影响因子4.4。此次论文在JoCCASA上的发表，代表天翼云科技创新能力再次获得业界权威认可。时序数据压缩是解决海量监控数据长周...阅读全文
本文分享自天翼云开发者社区《云服务器比传统服务器更安全的原因与实现机制》，作者：3****m随着互联网的普及和云计算技术的发展，越来越多的企业和组织选择使用云服务器来提供和存储数据。与传统服务器相比，云服务器在安全性方面具有诸多优势。本文将围绕云服务器比传统服务器更安全的原因，探讨其实现机制。一、云服务器比传统服务器更安全的原因虚拟化技术云服务器采用虚拟化技术，将物理服务器上的资源（如CPU、内存、存储等）汇聚到一个虚拟的云中，然后通过网络对外提供服务。这种虚拟化技术可以隔离不同用户和业务，防止数据泄露和攻-击。同时，虚拟化技术还可以实现资源的动态调整和负载均衡，提高资源利用率和系统稳定性。容错技术云服务器通常采用容错技术，实现故障自动切换和负载均衡。当某个虚拟机出现故障时，系统会自动将其切...阅读全文
11月10日—13日，以“数字科技 焕新启航”为主题的2023数字科技生态大会在广州举办。会议期间，在数字生活与天翼视联合作论坛上，重磅发布了由天翼云科技有限公司、天翼数字生活科技有限公司和天翼视联科技有限公司联合研发的视联行业大模型——海纳视联大模型，为视联行业智能化发展按下加速键。海纳视联大模型以天翼云一站式智算服务平台“慧聚”为底座，通过对上亿量级训练数据学习，拥有百亿量级模型参数，具有5000余类标签识别、智能检索、分析理解、视觉超分等多项核心能力，面向城市治理、行业视觉、社区乡村、数字家庭等四大领域提供综合解决方案，赋能视联应用生态。大模型的高速发展离不开智算平台的支持。天翼云一站式智算服务平台“慧聚”，成功突破了算子加速、模型并行、断点续训等技术难点，将高性能计算能力、分布式算...阅读全文
中国软件领域规模最大、影响最广的学术会议——CCF中国软件大会(ChinaSoft 2023)在上海国际会议中心开幕。CCF理事长、大会执行委员会荣誉zhu席、中国科学院院士梅宏，上海市经济和信息化委员会主任张英，中国科学院院士、复旦大学校长金力致辞。何积丰、于全、徐宗本、柴洪峰、王义等5位国内外院士和业内专家蒋铭到会做特邀报告。院士林惠民、徐宗本、梅宏、吕建、柴洪峰、王怀民、张宏科出席大会相关论坛。天翼云科技有限公司副总经理曾卫民出席第七届云际计算技术论坛，并以《云际畅联，全域协同，天翼云一体化云网战略与实践》为题发表演讲，分享了天翼云在一体化云网基础设施方面的战略布局，全栈云产品能力和服务体系，以及如何通过一体化的运维管理、安全运营机制和云际计算的理论和方法来实现资源协同和效率提升。天...阅读全文
说明作用减少数据体积，可以存储更多的数据 缺点压缩/解压缩需要 大量计算，消耗大量CPU资源 解压缩过程压缩在写入数据块到 HDFS 之前会首先对数据块进行 压缩，再落盘，从而可以减少磁盘空间使用量 解压缩在读数据的时候首先从 HDFS 中加载出 block 块之后进行 解压缩 压缩算法hbase2.1 支持 LZO ZSTD GZ LZ4 算法 GZ（GZIP）GZIP 压缩率最高，但是其实CPU密集型的，对CPU的消耗比其他算法要多，压缩和解压速度也慢 用于冷数据存储，要求数据访问不频繁 默认支持 LZOLZO的压缩率居中，比GZIP要低一些，但是压缩和解压速度明显要比GZIP快很多，其中解压速度快的更多 用于热数据存储，数据访问频繁时使用 zstdzstd是Facebook在2016年...阅读全文
1. 阻塞 IO通常来说，从普通文件读数据，无论你是采用 fscanf，fgets 也好，read 也好，一定会在有限的时间内返回。但是如果你从设备，比如终端（标准输入设备）读数据，只要没有遇到换行符(’\n’)，read 一定会“堵”在那而不返回。还有比如从网络读数据，如果网络一直没有数据到来，read 函数也会一直堵在那而不返回。read 的这种行为，称之为 block，一旦发生 block，本进程将会被操作系统投入睡眠，直到等待的事件发生了（比如有数据到来），进程才会被唤醒。系统调用 write 同样有可能被阻塞，比如向网络写入数据，如果对方一直不接收，本端的缓冲区一旦被写满，就会被阻塞。1.1 阻塞读终端实验代码// 文件名：blockdemo.c#include
