 离线计算作为大数据计算领域领军技能，在成本、稳定性、数据一致性等方面有着绝对优势。吃透Spark离线技术及相关生态，就掌握了大数据工程师的高薪密码。本文章将结合生产级项目，一栈式点亮：数据收集(DataX)、数据湖(Iceberg)、数据分析(Spark)、智能调度(DS)、数据服务(DBApi)、AI大模型(ChatGPT)、可视化(Davinci)等离线处理核心技能及生态体系，带你打通硬核技能，拓宽上升通道。 首先，我们先来认识spark： 1、什么是spark Spark是一种快速、通用、可扩展的大数据分析引擎，20...阅读全文
【完结23章】大数据硬核技能进阶 Spark3实战智能物业运营系统 智慧物业管理系统是一种利用互联网、物联网、大数据、人工智能等技术，对物业管理过程进行数字化、智能化、自动化的系统。智慧物业管理系统的目的是提高物业管理的效率、质量和服务水平，降低物业管理的成本和风险，增强物业管理的透明度和可信度，提升物业管理的价值和竞争力...阅读全文
近日，在第六届数字中国建设成果展览会最佳成果遴选颁奖仪式上，天翼云算力分发网络平台“息壤”荣获第六届数字中国建设峰会“十大硬核科技” 称号；同时，在第三届国有企业数字化转型论坛上，“息壤”入选国务院国资委发布的“典型数字技术成果”。“息壤”是天翼云自主研发的基于云原生和跨域大规模调度技术的平台，突破了算力度量、算力感知、算网融合多项技术，支持通用算力、超算、智算等异构算力的统一接入、统一封装、统一调度；支持多方算力接入、交易和结算，基于区块链技术，交易数据全程可溯源，实现数据安全，交易安全，平台安全，打造多方可信交易平台。目前，“息壤”已全面接入天翼云的多级资源，并与多个合作伙伴实现算力并网，为云渲染、东数西算等应用提供支持，首个算力互联互通验证平台已在北京落地。“息壤”自面市以来便频频...阅读全文
近日，中国信息通信研究院（以下简称“中国信通院”）发布了首批算力调度评估结果，天翼云顺利通过可信算力调度服务《可信算力调度服务能力要求》与可信单一算力调度平台《面向自有资源的算力调度技术能力要求》两项评估，成为业界少数同时通过上述两项首批评估的云服务商。算力调度服务是指基于公共标准的算力互联互通平台，实现用户从服务门户发起的跨服务商、跨架构、跨地域的算力任务部署和结果交付，是一种任务式、用户无感知的计算服务。中国信通院以可信云为基础构建了可信算力调度标准体系，具体包括可信算力调度服务和可信单一算力调度平台两部分。可信算力调度服务主要面向已接入算力互联互通平台的算力调度服务商，进行算力调度服务规范、技术能力要求、运维管理等方面的能力评估；可信单一算力调度平台主要面向具备自调度能力，提供单一资...阅读全文
 一、Spark3.0.0运行环境安装 Spark常见部署模式： Local模式：在本地部署单个Spark服务 所谓的Local模式，就是不需要其他任何节点资源就可以在本地执行Spark代码的环境，一般用于教学，调试，演示等。 在IDEA中运行代码的环境称之为开发环境，和Local模式还是有区别的。 Standalone模式：Spark自带的任务调度模式。（国内常用） YARN模式：Spark使用Hadoop的YARN组件进行资源与任务调度。（国内常用） Windows模式：为了方便在学习测试spark程序，Spark提供了...阅读全文
