java技术圈 为您找到相关结果 105

CDN与云计算技术的结合:专业视角下的深度融合

本文分享自天翼云开发者社区《CDN与云计算技术的结合:专业视角下的深度融合》,作者:大利随着信息技术的不断发展,内容分发网络(CDN)与云计算技术作为两种重要的互联网基础设施,其结合已成为行业发展的重要趋势。CDN负责高效地分发和传输互联网内容,而云计算则提供强大的计算、存储和应用服务。当这两者结合时,能够为用户提供更加优质、高效的服务体验。本文将从专业的角度深入解析CDN与云计算技术的结合,探讨其优势、应用场景以及未来发展趋势。一、CDN与云计算技术结合的优势资源共享与池化:CDN与云计算的结合使得大量的计算资源和存储资源得以共享和池化,提高了资源的利用率。CDN节点可以作为云计算的一部分,提供计算和存储服务,而云计算平台也可以为CDN提供强大的计算能力和存储支持。弹性扩展与灵活性:云计算...阅读全文

云电脑:IO虚拟化实现的技术分析

本文分享自天翼云开发者社区《云电脑:IO虚拟化实现的技术分析》,作者:大利云电脑是一种基于云计算技术的虚拟化电脑,它通过网络将物理硬件资源虚拟化成多个虚拟机,每个虚拟机都拥有独立的操作系统和应用程序。IO虚拟化技术是实现云电脑的关键技术之一,它可以实现网络和存储等资源的虚拟化。本文将从专业论述的角度来探讨云电脑中IO虚拟化技术的实现原理、分类和应用场景。一、IO虚拟化技术的实现原理IO虚拟化技术是一种将硬件资源虚拟化的技术,它可以在虚拟机中模拟真实的网络和存储设备,使得虚拟机可以像真实的计算机一样进行网络访问和数据存储。IO虚拟化技术的实现原理主要包括以下几个方面:1.硬件资源的虚拟化:IO虚拟化技术通过在物理硬件资源上添加虚拟化层,将物理硬件资源划分为多个虚拟资源,每个虚拟资源都有独立的内...阅读全文

博文 2023-12-04 16:37:27 Tianyiyun

天翼云网络创新与实践,加速云网融合纵深发展!

11月25日,由中国通信学会指导,中国通信学会信息通信网络技术委员会、江苏省未来网络创新研究院主办的2023第六届SD-WAN & SASE大会暨云网络大会在北京召开。大会邀请了金融、能源、游戏、零售等业界代表带来实践分享,共同探寻技术融合的更多可能。会上,《天翼云组播,助力券商获取第一手行情》斩获2023年度垂直领域优秀案例奖。天翼云云网产品事业部弹性网络产品线总监侯叶飞参加云网络大会专题论坛,分享了天翼云云网融合的技术创新与实践。​​天翼云斩获2023年度垂直领域优秀案例奖天翼云作为云服务国家队,经过十年科技创新,基于全栈自研技术,打造了“云网边端数智安”全栈云产品体系,构建了包含入云、云内、云间三部分的云网络整体架构。基于此架构,天翼云持续夯实以云网融合、智能敏捷、业务驱动为主要特色的...阅读全文

数字先锋 | 天翼云助力金州教育云平台智慧升级,让优质教育资源“活起来”!

百年大计,教育为本。推进教育信息化发展,既是事关教育全局的战略选择,也是补齐民族地区教育短板的紧迫任务,更是促进教育公平、实现教育强国的战略途径。教学备案手机操作、名师课程“点单”播放、学校运维远程管理……在贵州省黔西南州兴义市红星路小学,老师们通过一台手机,即可登录线上教育平台,随时参与备课、授课、教研、管理等各环节工作。高速网络串起各端资源,为师生日常教学带来更多便利。​据贵州省黔西南州兴义市红星路小学副校长何琴介绍,依托“金州教育云平台”,学校的管理实现了智慧化、智能化、精细化、精准化,师生实现了人人皆学、处处能学、时时可学的育人环境。线上线下相结合,平台实现了学、教、研、训、评测一体化,全面提升了学校工作的效率和质量。近年来,贵州省黔西南州积极推进教育信息化建设,依托国家教育资源公共...阅读全文

JDBC快速入门:看我如何用JDBC数据库连接池,轻松解决大量并发请求问题!

我们已经知道JDBC是Java语言中用来规范客户端程序如何访问数据库的应用程序接口,也是大多数Java开发者与数据库打交道的必备工具。但是,你是否知道,JDBC在处理大量并发请求时,可能会遇到一些问题?这就是我们今天要讨论的主题——JDBC数据库连接池。 首先,让我们来了解一下什么是数据库连接池。 ## 一、数据库连接池简介 JDBC连接池,全称为Java多线程数据库连接池,是一种用于管理数据库连接的技术。其主要作用是减少每次请求时创建和释放数据库连接的开销,以此提高系统性能。 在应用程序和数据库之间,JDBC连接池会建立一个连接池,当需要访问数据库时,无需每次都重新创建连接,而是直接从池中获取已有的连接。 ![image.png](http://static.itsharecircle.c...阅读全文

【2024】Kuberentes+DevOps云原生运维开发全栈架构师技术实战课程

![1.png](http://static.itsharecircle.com/240228/951a40f2976ef4728c8b9a05a5695f52.png) 一、什么是Kuberentes? kubernetes,简称K8s,是用8代替名字中间的8个字符“ubernete”而成的缩写。是一个开源的,用于管理云平台中多个主机上的容器化的应用,Kubernetes的目标是让部署容器化的应用简单并且高效(powerful),Kubernetes提供了应用部署,规划,更新,维护的一种机制。 Kubernetes是一个轻便的和可扩展的开源平台,用于管理容器化应用和服务。通过Kubernetes能够进行应用的自动化部署和扩缩容。在Kubernetes中,会将组成应用的容器组合成一个逻辑单元...阅读全文

博文 2024-02-28 09:23:31 gaindiuhgw

云电脑超详细技术讲解

本文分享自天翼云开发者社区《云电脑超详细技术讲解》,作者:不知不觉随着云计算技术的快速发展,云电脑作为一种新型的计算模式,越来越受到人们的关注。云电脑是一种基于云计算技术的虚拟化计算资源,它通过将物理服务器资源进行虚拟化,形成了动态、可扩展的计算资源池。用户可以通过互联网远程访问云电脑,进行各种操作,如办公、设计、开发等。本文将详细讲解云电脑的技术原理和实现过程。一、云电脑技术原理虚拟化技术云电脑的核心技术是虚拟化技术。虚拟化技术可以将物理服务器资源进行虚拟化,形成多个虚拟机。每个虚拟机都有自己的操作系统和应用程序,但它们共享物理服务器的硬件资源。这种虚拟化技术可以大大提高服务器的利用率,降低成本和维护成本。云计算技术云计算技术是云电脑的另一个重要技术。云计算技术可以将大量的物理服务器资源进...阅读全文

MyBatis实战指南(二):工作原理与基础使用详解

MyBatis是一个优秀的持久层框架,它支持定制化SQL、存储过程以及高级映射。那么,它是如何工作的呢?又如何进行基础的使用呢?本文将带你了解MyBatis的工作原理及基础使用。 ## 一、MyBatis的工作原理 ### 1.1 MyBatis的工作原理 工作原理图示: ![image.png](http://static.itsharecircle.com/240111/fb3da40016d1dcdc2b11db5767113d68.png) **1、读取MyBatis配置文件** mybatis-config.xml为MyBatis的全局配置文件,配置了MyBatis的运行环境等信息,例如数据库连接信息。 **2、加载映射文件(SQL映射文件,一般是XXXMapper.xml)** ...阅读全文

博文 2024-01-11 14:49:32 YDYXCODE

开源数据库生态遇新变数,天翼云TeleDB提供企业数据管理更优解!

近日,知名开源大规模并行处理 (MPP) 数据库Greenplum的源代码在其官方GitHub页面突然消失,引发了用户和开发者的广泛关注, PostgreSQL生态系统或将产生新变数。开源软件在面对商业化和盈利需求时的举措,将对行业产生巨大影响:开源信任的挑战:频繁的开源协议变更可能会导致企业和开发者对开源项目的信任度下降。法律和合规考虑:新协议条款可能引发企业对法律和合规风险的重新评估,影响其技术选型和投资决策。作为云服务国家队,天翼云不断加快关键核心技术自主攻关,针对市场需求自研TeleDB数据库,能够助力客户平滑迁移Greenplum数据库,实现应用无缝切换,以更可靠的产品和更优质的服务,提供企业数据管理更优解。TeleDB分析型实例,企业数据库领先之选天翼云TeleDB分析型实例是一...阅读全文

数字先锋 | 绘就“煤”好未来!

作为中国经济的重要组成部分,央国企在国家经济建设和社会发展中具有不可替代的作用。承时代之新,众多央国企近年来以新一代信息技术为抓手,夯实安全可信云平台底座,赋能自身业务发展和模式创新。在政策引导及技术驱动下,中国中煤能源集团有限公司(以下简称“中国中煤”)依托天翼云先进可靠、自主可控的云底座,推动中国中煤信息化系统完成国产化改造,在保障业务数据安全的基础上,进一步提升了业务的灵活性及创新能力。​国产化浪潮来临中国中煤智能管控平台升级在即中国中煤肩负着保障国家能源安全的重要使命。其现有可控煤炭资源储量超过760亿吨,煤炭总产能达到3亿吨级规模,煤化工总产能超过1000万吨,连续四年位列《财富》世界企业500强,业务体量巨大。在煤炭行业智能化发展趋势下,中国中煤以“央国企数字化转型”为指引,进行...阅读全文

第一!天翼云领跑中国边缘云laaS市场!

近日,弗若斯特沙利文(Frost & Sullivan,简称“沙利文”)联合头豹研究院发布《2023年中国边缘云市场报告》,天翼云在2023H1中国边缘云IaaS层细分市场位列第一,领跑中国边缘云市场。​近年来,随着5G、物联网等技术的飞速发展,智能终端设备数量迅速增加,产生的数据量呈指数级增长,这对数据处理的时效性、可靠性提出更高要求。边缘云通过将网络、计算、存储资源部署到离用户设备更近的位置,更好地满足用户在敏捷连接、实时业务等不同方面的需求。作为云服务国家队,天翼云立足客户需求,持续深耕边缘计算领域,不断加速算力基础设施建设,并构建完善的边缘云产品矩阵,以低时延、高可靠、高安全、可调度的边缘云服务,助力企业实现敏捷业务响应、释放业务价值,推动算力普惠。在边缘算力布局方面,天翼云充分发挥...阅读全文

linux各个目录的作用

本文分享自天翼云开发者社区《linux各个目录的作用》,作者:技术小白/bin/:存放系统命令的目录,普通用户和超级用户都可以执行,不过放在/bin下的命令在单用户模式下也可以执行;/sbin/:保存和系统环境设置相关的命令,只有超级用户可以使用这些命令进行系统环境设置,但是有些命令可以允许普通用户查看;/usr/bin/:存放系统命令的目录,普通用户和超级用户都可以执行,这些命令和系统无关,在单用户模式下不能执行;/usr/sbin/:存放根文件系统不必要的系统管理命令,例如多数服务程序,只有超级用户可以使用;/boot/:系统启动目录,保存系统启动相关文件,如内核文件和启动引导程序;/dev/:设备文件保存位置;/etc/:配置文件保存位置,系统内所有采用默认安装(rpm安装)的服务的配...阅读全文

博文 2024-06-07 11:18:33 Tianyiyun

Mysql修改binlog日志过期时间 - 风一样的小李子

1.临时生效 # 查看默认设置的过期时间 show variables like "%expire_logs%"; # 设置保留15天 set global expire_logs_days=15 # 刷新日志 flush logs; #查看新生成的binlog日志 show master status\G: 注意:以上命令在数据库执行会立即生效,请确定设置数据的保留日期,以免误删 2.永久生效 # 修改配置文件 vim /etc/my.cnf [mysqld]模块 expire_logs_days=15 注意:在配置文件修改后,需要重启才能永久生效。另,0表示永不过期,单位是...阅读全文

博文 2024-02-20 18:09:33 博客园

让存储绿“翼”盎然,天翼云HBlock入选工信部目录!

近日,中国电信天翼云的自研产品HBlock凭借“存储资源盘活技术”成功入选《国家工业和信息化领域节能降碳技术装备推荐目录(2024年版)》(以下简称《目录》),这一成绩是对中国电信天翼云以科技创新赋能千行百业绿色低碳发展的认可。存储资源盘活技术作为该目录唯一的存储软件技术,能够快速整合现网资源,大幅提升基础设施资源利用率,同时具备轻量、绿色、灵活、共生等优势,助力企业实现节能降碳和降本增效,为数据中心绿色转型提供技术保障。​复制链接前往工信部官网即可查看:https://www.miit.gov.cn/jgsj/jns/gzdt/art/2024/art_60736b016395460890aeda756751526d.html《目录》的发布,旨在加快节能技术装备推广应用,提高工业和信息化领...阅读全文

Java如何打印Hbase rowkey

步骤1: 设置HBase环境与连接确保已经正确配置了HBase的客户端依赖(如hbase-client、hbase-common等),并设置了HBase的ZooKeeper地址。以下是一个简化的示例,假设您已经有了一个配置好的Configuration对象(conf)和表名(tableName):import org.apache.hadoop.hbase.HBaseConfiguration;import org.apache.hadoop.hbase.TableName;import org.apache.hadoop.hbase.client.Connection;import org.apache.hadoop.hbase.client.ConnectionFactory;// 创建...阅读全文

博文 2024-05-12 12:49:11 zhidiantech

“分离”“聚合”两手抓,天翼云聚合计算赋能多元化应用场景!

随着大数据、人工智能和高性能计算的迅猛发展,在大数据分析、基因测序、芯片设计、数据库和AI训练等“大计算”应用场景中,计算资源需求呈现爆发式增长态势,而传统的计算架构在资源利用率、扩展性、IO性能等方面存在诸多挑战。为了应对这些挑战,天翼云提出全新的云计算基础设施产品理念——聚合计算,旨在突破物理限制,资源池化分离,聚合异构算力。天翼云聚合计算是由天翼云自主研发的下一代云计算算力基础设施,面向数据库、芯片设计、大数据、AI训练等场景,提供超聚合主机、超大内存主机、内存即服务、池化计算加速四种产品和服务。通过高速总线互联技术,聚合计算不仅继承了传统云主机弹性、高可靠等优势,同时具备内存跨机共享、vCPU“无限”扩展和内存空间热变配等特性,为复杂业务场景提供源源不断的算力。依托领先的高速总线互联...阅读全文

灾难恢复中的异步复制和同步复制

本文分享自天翼云开发者社区《灾难恢复中的异步复制和同步复制》,作者:h****n1.异步复制异步复制用于在远程位置创建数据备份。它涉及从主存储系统复制数据到辅助存储系统,并在两个系统之间设置延迟。这种延迟可以从几秒钟到几分钟不等,具体取决于实现和网络条件。数据传输方面,异步复制涉及从主存储系统定期传输数据到辅助存储系统。数据以块或分块的形式传输,而不是连续传输,这减少了网络和存储资源的负载。这种以块和分块的传输也引入了主存储系统和辅助存储系统之间的数据同步的时间延迟,这种延迟称为复制延迟。在发生故障时,故障转移是从主系统切换到辅助系统的过程。由于异步复制的延迟,故障转移可能涉及一些数据丢失,并且可能需要额外的步骤以确保两个系统之间的一致性。以下是以ceph的异步复制 RBD mirrorin...阅读全文

应对高温“烤”验,数据中心降温奇招来了!

近日,中国电子学会联合中国电子技术标准化研究院等单位,在安徽省合肥市举办“节能服务进企业”暨绿色数据中心对接推广活动。会议为天翼云存储资源盘活系统HBlock入选《国家工业和信息化领域节能降碳技术装备推荐目录(2024年版)》颁发荣誉证书;天翼云存储产品专家肖夏敏发表演讲,向业界展示了HBlock在绿色节能方面的落地实践。​创新自研,让存储绿意满满!作为云服务国家队,天翼云在大规模数字基础设施建设实践中,深刻认识到提升资源利用率的重要性。针对传统分布式存储交付难、独占硬件等痛点,天翼云自主研发了可盘活闲置资源、节约存储空间、平滑替换节能硬件的首/款存储资源盘活系统HBlock,能够快速整合现网闲置存储资源,大幅提升基础设施资源利用率,为数据中心绿色转型提供技术保障,助力企业节能降碳、降本增效...阅读全文

天翼云CDR基本概念

本文分享自天翼云开发者社区《天翼云CDR基本概念》,作者:f****n产品定义云容灾CT-CDR(Cloud Disaster Recovery)为云主机提供跨可用区的容灾保护能力,RPO可达秒级、RTO可达分钟级。支持容灾演练、一键切换等功能。当生产中心故障时,可在容灾中心快速恢复业务,保障客户数据安全和业务连续性。当前云容灾CT-CDR处于公测阶段。产品基本概念RPORecovery Point Objective(恢复点目标),指故障发生时数据可以恢复到的时间点,决定生产中心发生故障时的数据丢失量。例如,RPO = 30秒,表示在生产中心发生故障时,最近30秒的数据无法恢复。RTORecovery Time Objective(恢复时间目标),指故障发生后服务器从中断到恢复运行所需要的...阅读全文

魔乐社区体验:探索Llama 3.1模型微调之旅

在2024年的AI领域,Meta发布的Llama 3.1模型无疑成为了研究者和开发者的新宠。我有幸通过魔乐社区提供的资源,对这一模型进行了深入的学习和实践。在这个过程中,魔乐社区的资源和支持给我留下了深刻的印象。环境准备的便捷性魔乐社区提供的实践指导非常详尽,从安装Ascend CANN Toolkit和Kernels到openMind Library以及openMind Hub Client的安装,每一步都有清晰的命令和说明。这大大简化了环境搭建的过程,即使是对于新手来说,也能够快速上手。​模型下载与推理的直观体验通过魔乐社区提供的链接,用户能够轻松下载Llama 3.1模型,并使用openMind Library和LLaMa Factory进行模型推理。实践指导中的示例代码和配置文件非常...阅读全文

博文 2024-09-04 15:22:20 Tianyiyun

数据存储“取经路”,HBlock轻松“渡”!

近日,天翼云联合权威科技媒体InfoQ举办了以“新存储,更轻量”为主题的线上技术分享会。天翼云存储产品线总监武志民讲解了HBlock的创新设计和技术。高性能·高可用·高可靠自研创新解决存储技术难题天翼云自主研发的业内首款存储资源盘活系统HBlock能够与底层基础设施完全解耦,同服务器上现网业务并存,将x86、ARM、龙芯等异构通用服务器中的存储资源统一管理,通过标准的iSCSI协议提供分布式块存储服务。在性能方面,HBlock单卷IOPS可达15万次、读写延迟小于200微秒,这要归功于自研的分布式多控架构和智能调度算法,以及多模式写缓存与读缓存的设计。写缓存方面,HBlock具有三种模式,可以根据不同场景的读写需求动态调整。读缓存方面,HBlock采用按需更新、分段加锁、高效淘汰算法和智能预...阅读全文

从理念到实践,解构HBlock降本增效黑科技!

“新存储 更轻量”天翼云存储资源盘活系统HBlock2024年线上技术分享会来啦!在2023年HBlock分享会之后不少小伙伴积极参与了1PB免费尝鲜活动好评如潮的同时也对HBlock有了更多期待!那么2024年轻量存储技术有哪些突破?HBlock又有哪些新的技术创新或场景实践让我们拭目以待此次分享会将一站式解决您的疑问~同时,参与HBlock产品众测还有机会赢取丰厚大礼和荣誉证书...阅读全文

这是一款轻量存储黑科技!

近日,天翼云联合InfoQ举办了以“新存储,更轻量”为主题的线上技术分享会。天翼云存储产品线总监潘亚莲以“轻量级存储集群控制器HBlock的设计理念与场景实践”为主题,讲解了HBlock在产品理念、价值主张、应用场景等方面的内容。自研·创新·可控HBlock开启存储新纪元IDC预测,全球2024年将生成159.2ZB数据,2028年将增加一倍以上,达到384.6ZB,这给企业存储系统的容量、性能、运维、成本、灵活性带来挑战。此外,由于过度配置、数据孤岛、冗余备份以及中断性的传输和迁移等操作,企业普遍面临存储资源利用率低的问题。为了帮助用户应对以上挑战,天翼云自研了业界首款存储资源盘活系统——HBlock。HBlock是轻量级存储集群控制器,可实现全用户态软件定义存储,能将闲置存储资源转换成高...阅读全文

博文 2024-08-23 10:03:20 Tianyiyun

Vulkan原理与实战

Vulkan原理与实战 ‌Vulkan‌是一个用于图形和计算设备的编程接口,它允许开发人员直接访问硬件资源,提供对设备的更多控制和更高的性能。Vulkan设备通常由一个处理器和一定数量的固定功能硬件模块组成,用于加速图形和计算操作。Vulkan的计算模型基于并行计算,并且是一个显式的API,意味着开发人员需要亲自管理几乎所有的资源和操作。这与传统的图形API(如OpenGL)形成对比,后者在老的API中自动管理内存和同步,但在应用程序正确运行时可能会消耗宝贵的CPU性能。 ‌Vulkan‌应用场景: 游戏开发:Vulkan的高效性能和低开销特性使其成为游戏开发者的理想选择,尤其是在需要高帧率和复杂渲染效果的游戏中。 图形渲染:无论是实时渲染还是离线渲染,Vulkan都能提供强大的图形处理能力...阅读全文

博文 2024-09-13 15:45:25 woaidaqipaiqiu1122

绿色成就+1!天翼云在“新绿杯”斩获佳绩!

近日,第二届“新绿杯”信息通信行业赋能碳达峰碳中和创新大赛公布获奖名单,天翼云申报的“中国电信存储资源盘活系统在广州云计算数据中心节能降碳的规模应用”在大赛中荣获三等奖,在绿色领域再获权威认可。HBlock盘活数百PB存储资源助力广州云机房绿色转型在低碳节能的全球背景下,“耗能大户”数据中心正面临着资源优化和能效提升的双重挑战,提高存储资源利用率成为节能降碳的关键技术手段。作为华南地区最大的单体数据中心,广州云计算数据中心引入存储资源盘活系统HBlock,有效提升了数据中心的运行效率和能源利用效益。天翼云HBlock可与现网业务共存,能够将不同CPU架构/内存/硬盘配置的服务器中空闲的存储资源,整合为统一的虚拟存储资源池,提供高性能、高可用、高可靠的块存储服务,同时避免因添加新服务器而增加的...阅读全文

算网资源调度关键技术

本文分享自天翼云开发者社区《算网资源调度关键技术》,作者:大**术一、概述在云网融合阶段,网络为云计算提供连接服务,云计算为网络云化提供支撑。随着云网一体化持续演进,云网融合步入算力网络新阶段。算力网络通过对业务、算力资源和网络资源的协同感知,将业务按需调度到合适的算力节点,实现算网资源的统一编排、统一运维、统一运营和统一优化。为确保算网资源的灵活高效调度,在算网基础设施、算网控制与管理、算网服务等方面,算力网络亟需解决一系列关键技术问题:在算网基础设施方面,算力网络需具备算力资源抽象与统一标识能力,屏蔽异构算力差异和异构网络差异,提供高质量的网络连接服务;在算网控制与管理方面,算力网络需感知算网资源状况,根据需求完成算网编排,灵活匹配算力需求与算网资源,实现算网高效运营与调度;在算网服务方...阅读全文

私有云服务器虚拟化超分比及资源扩容管理

本文分享自天翼云开发者社区《私有云服务器虚拟化超分比及资源扩容管理》,作者:7****m服务器虚拟化技术已商用多年,并已成为云计算产业发展的基石。私有云用户更是非常关注服务器虚拟化的超分比,因为直接影响到用户可用的虚机资源量。超分比技术介绍:服务器虚拟化超分比,就是控制宿主机最大开出的vcpu资源数,当设置的超分比高时,可开出的最大vCPU资源就多。真正影响虚机性能的还是物理CPU的利用率,即物理CPU低并发没什么影响,高并发下超分比过高会增加CPU调度产生的性能损耗。举例,资源池物理资源总核数为100核,无论是3倍还是4倍的超分比,当已开出的虚机vCPU小于100核时,云主机独立占用CPU的时间片,性能和独享CPU性能基本一致。当开出的虚机vCPU是300核在运行时,无论是3倍还是4倍的超...阅读全文

基于云原生的集群自愈系统 Flink Cluster Inspector阿里云计算平台事业部,实时计算&托管生态 SRE

摘要:本文整理自阿里云计算平台事业部,实时计算&托管生态 SRE 团队的许雷力(阿里云技术专家)和张韦杰(阿里云开发工程师),在 Flink Forward Asia 2022 生产实践专场的分享。本篇内容主要分为三个部分: 业务背景与挑战 成本优化 - 热点处理 整体规划和未来方向 点击查看原文视频 & 演讲PPT 一、业务背景与挑战 1.1 实时计算集群现状 关于热点机器处理一直是阿里云 Flink 集群运维的一大痛点,不管在日常还是大促都已经是比较严重的问题,同时这也是分布式系统的老大难问题。而在今年整个阿里云成本控制的背景下,随着集群水位的逐步抬升,热点问题愈发严重。日均有上千次的热点机器出现,并且在晚上业务高峰期,整个热点持续时间会超过 60min,对于业务以及对于平台影响是比较大...阅读全文

Flink【环境搭建 01】(flink-1.9.3 集群版安装、配置、验证)

我使用的安装文件是 flink-1.9.3-bin-scala_2.12.tgz ,以下内容均以此版本进行说明。 说明 搭建集群首先要进行集群的规划【哪台做主节点,哪些做从节点】,这里简单搭建一个 3 节点的 Flink Standalone 集群,其中三台主机Flink01、Flink02、Flink03 均为 worker 节点,Flink01 为 master 节点。 1. 配置免密登录【每台服务器】 Flink 组件之间需要基于 SSH 进行通讯。 1.1 配置映射 配置 ip 地址和主机名映射:==很关键==通过ifconfig查询本机的ip地址,这个地方没有配置正确的话节点会有问题。 vim /etc/hosts xxx.xx.x.x flink01 flink01 xxx.xx...阅读全文

博文 2024-10-11 18:01:25 阿里云开发者社区

一种面向混合云平台基于LSTM预测模型的资源池配额方法。

本文分享自天翼云开发者社区《一种面向混合云平台基于LSTM预测模型的资源池配额方法。》,作者:l****n基于用户的历史配额申请情况和实际资源使用情况组成数据集搭建LSTM时序预测模型。当前用户提出资源配额申请时,基于该用户的历史资源实际使用情况结合LSTM模型来预测该次配额申请的实际使用量来动态调整实际分配给用户的配额量从而减少资源滥用的可能性。针对用户是否所属于组织或者部门来限定用户可分得的最大资源配额数量,进一步实现资源配额公平性。步骤1 选取包含用户的资源实际使用数和对应申请额度数的数据集。将用户u在日期d申请的资源配额数表示为,本次配额申请最终用户实际使用的资源配额数表示为,计算 并以日期d作为索引,若同样的日期d用户u提交了多个资源配额申请则对所有资源的取平均值作为索引d的值,将...阅读全文

博文 2024-09-20 15:34:13 Tianyiyun

乘风破浪!天翼云为出海企业打造全球云服务解决方案!

​9月11日,2024 IDC中国年度盛典暨颁奖典礼在上海拉开帷幕。天翼云国际业务事业部专家彭成参加“绿色生态·出海创新论坛”,以《乘风破浪 国云出海——构建出海合作生态,助力全球客户上云》为题,分享天翼云在服务企业出海方面的优势及诸多实践。依托领先的技术产品和解决方案,天翼云正助力更多客户扬帆起航,共探全球化发展新路径。​国云扬帆出海,力促全球数字经济繁荣近年来,得益于政策支持及日益完善的市场环境,越来越多企业积极布局海外,寻找增量市场。作为云服务国家队,天翼云积极响应“一带一路”倡议,通过提供优质的数字化产品和服务,推进“一带一路”沿线国家数字化转型,不仅为中国企业的国际化发展筑牢坚实数字底座,更为全球数字经济的繁荣壮大贡献力量。经过十余年的发展,天翼云已形成了全球“2+4+31+X+O...阅读全文

博文 2024-10-11 17:24:20 Tianyiyun

服务网格的基本概念

本文分享自天翼云开发者社区《服务网格的基本概念》,作者:cate服务网格(Service Mesh)由服务治理创建并托管Istio的控制平面。具备简单、低成本、高可用、无需运维管理Istio控制平面的特点。SidecarSidecar模式是一种单节点、多容器的应用设计形式。Sidecar主张以额外的容器来扩展或增强主容器,而这个额外的容器被称为Sidecar容器。Istio网关(Gateway)作为 Istio 自定义资源之一,Istio 网关(Gateway)定义了在网格出入口操作的负载均衡器,用于接收传入或传出的 HTTP/TCP 连接。它描述了需要公开的一组端口、要使用的协议类型、负载均衡器的 SNI 配置等信息。Skywalking一款优秀的国产 APM 工具,包括了分布式追踪、性能...阅读全文

“硬”核存储,等你来“盘”!

随着全面云化时代到来,越来越多政企单位将核心业务迁移上云。这些核心业务对运行环境的性能、可靠性等方面要求较为严苛,尤其是大型数据库、NoSQL数据库、AI训练、游戏渲染等业务场景,对数据读写性能(包括IOPS和时延)提出了较高要求。作为云服务国家队,天翼云以用户需求为导向,积极推进科技创新与产业融合,基于自研高性能分布式存储引擎LAVA,推出了百万级IOPS云硬盘XSSD,在带宽、时延、IOPS等指标方面,相较极速型SSD、超高IO云硬盘,均提升了2~10倍。云硬盘各规格指标性能如下:​XSSD云硬盘能力再升级近期,XSSD云硬盘能力再次升级,实现对云硬盘共享功能的支持。共享云硬盘功能通过允许多个云主机并发访问同一个云硬盘,促成多个实例之间的数据共享和协作。​共享云硬盘架构示例共享云硬盘功能...阅读全文

从挑战到突破:HBlock定义智算存储新范式!

近日,由DOIT传媒主办,中国计算机学会信息存储专委会、武汉光电国家研究中心、百易存储研究院支持的2024中国数据与存储峰会在北京召开。此次峰会以“智数据 AI未来”为主题,天翼云科技有限公司国际业务事业部存储产品线专家肖夏敏代表参会,并发表“轻量级存储集群控制器HBlock在智算时代的实践分享”主题演讲,与行业伙伴及客户共同探索智算时代全新的存储解决方案,及其行业应用价值。​天翼云科技有限公司国际业务事业部存储产品线专家 肖夏敏国云筑基,智算建设新挑战近年来,天翼云准确把握人工智能发展机遇,全力打造智算云能力体系,在智算资源方面,规划并建设全国“2+3+7+X”公共智算云池。不过,在智算基础设施建设过程中,天翼云也遇到了诸多挑战。架构挑战GPU算力的显著差异和分阶段建设需求,使得硬件组合变...阅读全文

博文 2024-11-29 18:03:04 Tianyiyun

边缘计算与MEC浅谈

本文分享自天翼云开发者社区《边缘计算与MEC浅谈》,作者:y****n一、什么是边缘计算边缘计算是在靠近物或数据源头的网络边缘侧,通过融合网络、计算、存储、应用核心能力的分布式开放平台,就近提供边缘智能服务。简单点讲,边缘计算是将从终端采集到的数据,直接在靠近数据产生的本地设备或网络中进行分析,无需再将数据传输至云端数据处理中心。二、边缘计算与云计算边缘计算的概念是相对于云计算而言的,云计算的处理方式是将所有数据上传至计算资源集中的云端数据中心或服务器处理,任何需要访问该信息的请求都必须上送云端处理。因此,云计算面对物联网数据量爆发的时代,弊端逐渐凸显:1.云计算无法满足爆发式的海量数据处理诉求。随着互联网与各个行业的融合,特别是在物联网技术普及后,计算需求出现爆发式增长,传统云计算架构将不...阅读全文

云主机 vs 轻量型云主机:性能与灵活性的平衡

本文分享自天翼云开发者社区《云主机 vs 轻量型云主机:性能与灵活性的平衡》,作者:冯****芙什么是轻量型云主机、什么是云主机?云主机是云计算的一种基础设施服务模型,它是在云平台上通过虚拟化技术创建的虚拟服务器实例。云主机提供了与传统物理服务器相似的计算资源,但以一种更灵活、可扩展和可管理的方式提供。云主机允许用户在云平台上租用虚拟服务器实例,而搭建和维护物理服务器。用户可以根据自己的需求选择适当的云主机配置,包括计算资源(如处理器、内存、存储)和操作系统等。轻量型云主机是一种云计算服务模型,它提供了相对较小的资源配置和更低的成本,适用于一些轻量级的应用和低负载的任务。轻量型云主机通常基于虚拟化技术,允许用户在云平台上创建和管理虚拟服务器实例。轻量型云主机vs云主机​轻量型云主机的产品优势...阅读全文

博文 2025-01-17 14:16:35 Tianyiyun

思科网络认证工程师 CCNA 373班(完结无秘)

https://97it.top/4100/ 摘要 Cisco IOS 是一种广泛应用于网络设备的操作系统,用于配置和管理 Cisco 路由器和交换机。有效的配置管理对于确保网络的稳定性和安全性至关重要。本文从 Cisco IOS 配置管理的理论基础出发,详细探讨了配置管理的基本原则、常用命令、备份与恢复策略以及最佳实践。通过深入分析这些内容,本文旨在为网络管理员提供理论支持和实践指导,帮助其高效地管理和维护网络设备。 1. 引言 在现代网络环境中,Cisco 路由器和交换机是实现网络连接和数据传输的核心设备。Cisco IOS 作为这些设备的操作系统,提供了丰富的配置和管理功能。有效的配置管理不仅可以提高网络的性能和可靠性,还能增强网络的安全性。本文将从理论层面探讨 Cisco IOS 配...阅读全文

Vue3.5+Electron+大模型 跨平台AI桌面聊天应用实战

https://97it.top/14265/ 引言 随着现代 Web 开发的不断发展,前端工具的性能和开发体验变得愈发重要。在传统的前端开发工具中,如Webpack,随着项目规模的扩大,构建速度和热更新速度往往会变得较慢,极大地影响了开发者的生产力。为了提高前端开发效率,Vite(法语中意为“快速”)应运而生,它是一个现代化的前端构建工具,旨在提供极速的开发体验。 Vite 的设计理念是利用浏览器原生的模块系统(ESM)进行快速的模块热更新,并通过采用现代浏览器特性(如原生支持 ES Modules)来提升性能。Vite 不仅大大提高了开发过程中的构建速度,同时也简化了配置,使得开发者能够专注于代码本身,而非繁琐的工具配置。 本文将介绍如何使用 Vite 创建一个前端项目,包括项目初始化、...阅读全文

博文 2025-03-12 17:20:39 92834L

MinIO分布式存储从0到Vue+SpringBoot整合开发

https://97it.top/13657/ 摘要 随着大数据时代的到来,数据存储的需求急剧增加。对象存储作为一种新型的存储方式,因其高度的可扩展性和可靠性,已广泛应用于企业的存储系统中。MinIO是一款高性能、分布式的对象存储系统,兼容Amazon S3协议,被广泛用于云原生环境中。为了更好地管理MinIO的存储资源,MinIO提供了一个Web管理后台,通过该后台,用户可以便捷地管理存储桶、查看访问日志、监控存储状态以及配置存储系统的各项参数。本文将探讨MinIO Web管理后台的设计原理、功能模块、使用方法以及在实际应用中的优势和挑战。 1. 引言 MinIO是一个开源的高性能分布式对象存储系统,支持Amazon S3协议,广泛应用于云计算和大数据处理场景中。它可以在本地、私有云以及公...阅读全文

高薪运维必备Prometheus监控系统企业级实战-|果fx

获课:789it.top/14286/运维转型利器:掌握Prometheus,迈向高薪运维之路随着云计算、微服务架构和容器化技术的普及,传统的运维模式正在发生深刻的变革。现代运维工程师不仅需要掌握基础的服务器管理和网络配置,还需要具备监控、自动化、DevOps等方面的技能。Prometheus作为一款开源的监控和告警工具,已经成为现代运维工程师的必备技能之一。本文将带你深入了解Prometheus,帮助你掌握这一运维转型的利器,迈向高薪运维之路。1. Prometheus简介1.1 什么是Prometheus?Prometheus是一个开源的系统监控和告警工具包,最初由SoundCloud开发,并于2012年开源。2016年,Prometheus成为继Kubernetes之后第二个加入Clo...阅读全文

计算机视觉—YOLO+Transfomer多场景目标检测实战|果fx

获课:789it.top/14033/YOLO(You Only Look Once)是一种流行的实时目标检测算法,以其速度和准确性著称。与传统的目标检测方法(如R-CNN系列)不同,YOLO将目标检测问题转化为一个回归问题,直接在一张图像上预测边界框和类别概率。本文将详细介绍YOLO算法的原理,并通过实战演示如何使用YOLO进行目标检测。1. YOLO算法简介1.1 YOLO的核心思想YOLO将输入图像划分为一个S×S的网格(grid),每个网格负责检测中心点落在该网格内的目标。每个网格预测:B个边界框(Bounding Boxes):每个边界框包含5个值(x, y, w, h, confidence)。(x, y):边界框的中心坐标。(w, h):边界框的宽度和高度。confidence...阅读全文

DeepSeek+SpringAI实战AI家庭医生应用

https://97it.top/14029/ 摘要 Spring Boot作为一种流行的Java开发框架,以其简化配置、自动化配置和快速开发的特点,广泛应用于企业级应用开发中。在实际开发过程中,项目往往需要在不同的环境中进行部署,例如开发环境、测试环境、生产环境等。为了适应这些环境的不同需求,Spring Boot提供了多环境配置文件的解决方案。本文主要探讨如何在Spring Boot中进行多环境配置文件的解耦,以便在不同环境中使用不同的配置,同时保持代码的简洁性和可维护性。 1. 引言 在一个完整的应用程序中,不同的环境通常需要不同的配置。特别是在Spring Boot项目中,随着开发、测试、生产环境的不同需求,往往需要调整不同的数据库连接、消息队列、API密钥、日志级别等配置。传统的做...阅读全文

博文 2025-03-06 18:48:21 92834L

一站式通关CKA证书-Kubernetes管理员认证

获ke地址:789it.top/14324/Kubernetes(简称 K8s)是一个开源的容器编排平台,它自动化了容器的部署、扩展和管理。随着云计算和容器化技术的流行,Kubernetes 成为了现代 DevOps 和云原生应用程序的标准平台。掌握 Kubernetes,不仅有助于提升开发和运维效率,还能为通过 CKA(Certified Kubernetes Administrator)认证打下坚实的基础。1.什么是 Kubernetes(K8s)?Kubernetes 是一个容器管理工具,它提供了一种方法来管理分布式应用的生命周期。Kubernetes 的核心理念包括以下几个方面:容器编排:自动化容器的部署、扩展、和管理。自动化调度:根据硬件资源、策略和需求,自动调度和管理容器的生命周...阅读全文

RAG全栈技术从基础到精通 ,打造高精准AI应用【包更新,资料齐全】

https://97it.top/14261/ 引言 随着人工智能技术的飞速发展,尤其是深度学习和自然语言处理领域的突破,大型预训练模型(大模型)在各个行业中发挥着越来越重要的作用。大模型作为一种通过大量数据和计算资源训练得到的强大AI模型,能够处理各种复杂任务,如语言生成、机器翻译、图像识别、文本理解等。近年来,国内外企业纷纷推出大模型产品,推动了人工智能的创新和应用。 本文将重点探讨国内外大模型产品的发展现状、关键技术、主要产品及其应用场景,结合市场趋势和实际需求,分析如何应对大模型技术的挑战,如何选择和使用这些产品,为研究人员、开发者及企业决策者提供参考。 一、大模型的背景与技术发展 大模型通常指的是具有数十亿到数千亿参数的深度神经网络模型,它们通过海量的训练数据和强大的计算资源来进行...阅读全文

DevOps自动化工具管理软件生命周期

https://97it.top/13641/ 摘要 Apache Maven 是一个流行的 Java 项目管理和构建自动化工具,广泛应用于 Java 开发领域。通过 Maven,开发者可以轻松管理项目的依赖关系、构建过程和文档生成。本文从 Maven 的理论基础出发,详细探讨了其安装、配置及其在项目构建中的重要性。通过深入分析这些内容,本文旨在为 Java 开发者提供理论支持和实践指导,帮助其更好地理解和应用 Maven。 1. 引言 在现代 Java 开发中,项目管理和构建自动化是提高开发效率和代码质量的关键环节。Apache Maven 作为一个强大的项目管理和构建自动化工具,提供了标准化的项目结构、依赖管理、构建生命周期等功能,极大地简化了 Java 项目的开发和维护。本文将从理论层...阅读全文

DeepSeek+SpringAI实战AI家庭医生应用

获课:789it.top/14037/DeepSeek离线与线上API区别?DeepSeek是一种图像搜索技术,通常用于根据图像内容进行搜索、识别和相关分析。对于 DeepSeek 的离线和线上 API,它们主要的区别在于工作环境、处理方式和应用场景:1.离线API定义:离线API是指将DeepSeek的模型和服务部署在本地系统或服务器上,无需互联网连接即可进行图像搜索。特点: 独立性:所有的数据和处理都在本地完成,不依赖网络连接。数据安全性:由于不需要传输数据到外部服务器,因此数据更为安全,不会暴露给第三方。 延迟较低:由于数据处理发生在本地服务器,响应速度较快,尤其在局部网络内。资源消耗:需要强大的硬件支持(如GPU)来运行深度学习模型,因此对本地计算资源的要求较高。适用场景:适用于对数...阅读全文

Three.js可视化企业实战WEBGL课|完结

获课:789it.top/6029/获取ZY↑↑方打开链接↑↑Three.js开发工具箱:2024年必备工具与插件推荐在Three.js的开发过程中,借助各种工具和插件可以极大地提高开发效率和项目质量。以下是2024年最流行的Three.js开发工具和插件的简要介绍,以及如何选择和配置这些工具的建议。必备工具与插件推荐Stats.js简介:一个用于监控Three.js应用性能的工具,可以实时显示帧率、渲染时间和内存使用情况。用途:帮助开发者识别性能瓶颈,优化应用性能。配置建议:在开发阶段引入Stats.js,将其添加到场景中以持续监控性能。dat.gui简介:一个轻量级的图形用户界面库,用于在Three.js应用中创建实时调试面板。用途:方便开发者在运行时调整参数,如材质属性、光照强度等。配...阅读全文

HBase 的 Region 多副本与底层 HDFS 的副本机制

HBase 的 Region 多副本与底层 HDFS 的副本机制看似冗余,实则在**系统层级分工**和**业务场景需求**上形成互补,具体作用如下: --- ### **一、解决的核心问题不同** 1. **HDFS 副本:保障数据物理安全** • HDFS 默认将每个数据块存储 3 个副本,通过跨机架分布避免硬件故障导致数据丢失,属于**存储层的数据冗余**。 • 例如:若某个 DataNode 宕机,HDFS 会从其他节点的副本中恢复数据块,但 HBase 的 RegionServer 可能因主副本所在节点故障而暂时不可用。 2. **HBase Region 副本:提升服务可用性** • HBase 的 Region Replica(多副本)功能(HBase 2.0+)允许同一 Reg...阅读全文

博文 2025-03-13 19:55:32 zhidiantech

【完结20周】LLM应用开发平台特训营

【完结20周】LLM应用开发平台特训营 大语言模型(英语:Large Language Model,简称LLM)是一种基于深度学习的人工智能技术,也是自然语言处理的核心研究内容之一 [6]。其核心是使用大规模数据集对模型进行训练,从而使其能够生成自然语言文本或理解语言文本的含义。这些模型通过层叠的神经网络结构,学习并模拟人类语言的复杂规律,达到接近人类水平的文本生成能力。大语言模型采用与小模型类似的Transformer架构和预训练目标(如 Language Modeling),与小模型的主要区别在于增加模型大小、训练数据和计算资源。相比传统的自然语言处理(Netural Language Processing, NLP)模型,大语言模型能够更好地理解和生成自然文本,同时表现出一定的逻辑思维...阅读全文

博文 2025-03-24 17:25:26 woaidaqipaiqiu1122

(完结17章)Python 分布式爬虫与 JS 逆向进阶实战

https://97it.top/155/ 摘要 MongoDB 是一种广泛使用的 NoSQL 数据库,以其灵活的数据模型和高性能著称。本文详细探讨了 MongoDB 的安装与配置过程,涵盖了从单机部署到生产环境集群配置的全流程。通过系统化的讲解,本文旨在为开发者提供 MongoDB 安装与配置的理论支持和实践指导,帮助其在不同场景下高效部署和管理 MongoDB。 1. 引言 MongoDB 是一种文档型数据库,适用于处理非结构化或半结构化数据。其灵活的 JSON-like 数据模型和水平扩展能力使其在大数据、实时分析和内容管理等领域广泛应用。本文将从单机安装、基本配置到生产环境的高可用集群配置,全面介绍 MongoDB 的安装与配置方法。 2. MongoDB 单机安装 2.1 安装前的...阅读全文

博文 2025-03-03 19:57:40 92834L