引言： 本文不会记录详细的部署过程，仅记录下使用Rancher部署kubernetes踩过的几个小坑，如果你需要详细的部署过程,可以参考此处官方教程，这里面有详细的部署说明，另外可同时参考下此文，也许对你在部署中遇到的问题有所帮助。由于个人能力有限，如有不当之处，欢迎指正。 环境 一台ubuntu 16.04 服务器 作为Rancher Server 宿主机，并且加入k8s集群 一台virtualbox 虚拟的centos 7.3 服务器，并且加入k8s集群 localhost 问题 问题描述：在安装好Rancher server，以及新建k8s环境后，需要在k8s中添加主机节点host，按照描述在需要加入的节点中运行，结果报错: requests.exceptions.Connection...阅读全文
什么是minio Minio是在Apache License v2.0下发布的对象存储服务器。它与Amazon S3云存储服务兼容。它最适合存储非结构化数据，如照片，视频，日志文件，备份和容器/VM镜像等。对象的大小可以从几KB到最大5TB。 docker 安装示例 docker run -p 9000:9000 --name minio1 -e "MINIO_ACCESS_KEY=自己的access_key,相当于用户名" -e "MINIO_SECRET_KEY=自己的secret_key,相当于密码" -v /mnt/minio-data-v1:/data -v /mnt/minio-v1:/root/.minio -d minio/minio:RELEASE.2018-07-31T0...阅读全文
目地 目前k8s ingress是配合traefik使用的，此时需要对某一个域名添加一个basic auth安全认证，原本traefik也可以正常配置（生产环境已有不少使用traefik basic auth），但是由于此处的域名需要在其他web域中调用，涉及到跨域问题，参考traefik文档未发现在k8s有关联说明解决basic auth相关跨域问题。后来分析了下nginx下的basic auth,最终使用nginx + ingress + traefik解决了这一问题。 简要步骤 生成basic auth用户密码文件 htpasswd -bc ngauth username password 配置nginx的k8s configMap: kind: ConfigMap apiVersio...阅读全文
环境 cat /etc/redhat-release CentOS Linux release 7.4.1708 (Core) sudo docker version Client: Version: 17.10.0-ce API version: 1.33 Go version: go1.8.3 Git commit: f4ffd25 Built: Tue Oct 17 19:04:05 2017 OS/Arch: linux/amd64 Server: Version: 17.10.0-ce API version: 1.33 (minimum version 1.12) Go version: go1.8.3 Git commit: f4ffd25 Built: Tue Oct 17 ...阅读全文
前言： 最近准备使用docker安装一个mongo，可以使用Docker Hub上的镜像，后来就琢磨着自己用dockerfile来构建，后来在使用dockerfile构建过程中，因为TC网络环境，部分资源始终下载不了，后在容器中使用apt-get ppa依旧如此，最后决定使用mongo官网压缩包到容器里面安装，一切顺利。 安装过程： 从docker Hub上拉去ubuntu image docker pull ubuntu:16.04 交互式（-i），进入/bin/bash(-t),目录挂在到容器（-v）,宿主机和容器端口映射（-p）创建容器 sudo docker run -i -t -v /home/zhoudazhuang/usr/local/:/home/zhoudazhuang -...阅读全文
本文转自：·http://blog.chinaunix.net/uid-10915175-id-4443127.html 1. 查看docker信息（version、info） 查看docker版本 $docker version 显示docker系统的信息 $docker info 2. 对image的操作（search、pull、images、rmi、history） 检索image $docker search image_name 下载image $docker pull image_name 列出镜像列表; -a, –all=false Show all images; –no-trunc=false Don’t truncate output; -q, –quiet=false ...阅读全文
目地 为k8s的docker服务提供http/https代理,解决docker无法pull gcr.io/google_containers 谷歌镜像问题 环境 GCE ubuntu 16.04 k8s集群机器 ubuntu16.04 简要步骤 GCE 搭建squid正向http/https代理服务器 直接使用apt-get install 安装 apt-get install squid3 -y 注意:配置文件在/etc/squid或/etc/squid3下,根据系统不同可能会有一点差异,由于这里进行快速安装,不需要暴露端口给外部使用,也不需要密码,所以配置文件我这里保持默认 GCE 安装stunnel代理服务器 stunnel主要用来在GCE和k8s机器上代理的数据传输进行加密,否则明文...阅读全文
场景：如何查看一个运行docker 容器的docker run启动参数，假设没有使用docker-compose这样的编排工具。现在我如何进行重启，如何找回此前的启动命令？ 方法1：runlike参考 参考 用法：runlike
### 前言 目前我们的系统架构，从阿里云的docker compose迁移到了自建的kubernetes,而我们的日志系统也几经周折。从最开始的阿里云docker compose环境下的elk + kafka，使用了一段时间后由于老板觉得阿里云的kafka收费价格不怎么划算，并且线上服务器的资源吃紧，然后切换到了阿里云的日志服务。线上切换到kubernetes以后，又使用efk搜集了一段时间日志，后来发现fluentd搜集的日志存在一些延迟问题和准确性问题，并且变更配置搜集特定的日志时较为繁琐，于是准备把fluentd换为logstash + rabbit,期间对比了下redis,rabbit和kafka，最终选择了在用的自建的rabbit集群，由于近期事情较多，精力有限，此文只会阐述关...阅读全文
众所周知，Docker相比于虚拟机，在隔离性上略显不足，而这个不足的存在使得其在安全等方面可能存在着一些隐患（当然了，蜂巢采用在虚拟机中运行容器等的方法，使得运行在上面的业务绝对安全）。但今天的重点并不是要对这方面的问题进行探讨，本文主要是说明和解决因 Docker隔离性不足所引入的资源显示问题。 这是什么意思呢，请看以下示例（文中示例均基于 Docker 1.12.0）： 由上面的示例我们可能会联想到这样的场景：如果我们在一台物理机上为不同用户提供了不同规格的容器作为开发机使用，但是每个用户进入容器却能看到完整的物理机资源，一方面这会让用户很困惑，另一方面又泄露了物理机信息，这对用户来说显得很不友好。 那么为什么会出现这种情况呢？ 问题原因 虽然 Docker原生的资源查询接口可以正确地识...阅读全文
Oracle 12C RAC modifying scan configuration Oracle modify time zone In depth study on the relationship between Oracle DB server system time modification and SCN Oracle block SCN / commit SCN / cleanup SCN description The first bullet in Oracle ASM Translation Series: Basics ASM Au, extensions, mirroring and failgroups Every programmer should learn ...阅读全文
前言 harbor是由vmware开源的企业级docker repository，提供私有仓库，安全认证，权限管理，漏洞扫描及仓库复制等多种功能，因为之前搭建的harbor在线上环境存在各种各样的问题（之前搭建的方式目前发现已被官方宣布弃用https://github.com/vmware/harbor/blob/master/docs/kubernetes_deployment.md，如ui显示不正常，权限认证不正常），于是近期抽空用官方推荐的helm方式对harbor进行重新部署，并替换掉线上harbor 准备 Kubernetes集群1.8+ Kubernetes Ingress Controller已启用(这里我们选用的traefik-ingress) kubectl 客户端 1.8...阅读全文
在windows系统下开发Linux环境下的分布式系统组件时，往往因为组件之间的相互依赖调用需要进行服务端调试,delve是一款开源的go语言调试器，常用的go语言IDE，如goland vscode等都是依靠delve来进行调试操作的. 使用goland远程调试 使用goland来进行远程调试最好使用goland的 2019.1版本,原因是在goland 2019.1之前的版本中，因为调试路径映射的问题，必需保证本地和远程代码目录都在GOPATH下的src目录，且文件夹必需同名才可以正常进行远程的断点调试，否则在本地ide开启远程调试后就会显示 error "could not find " delve的issues里详细的说明了这个问题:https://github.com/go-del...阅读全文
前言 目前我们的系统架构，从阿里云的docker compose迁移到了自建的kubernetes,而我们的日志系统也几经周折。从最开始的阿里云docker compose环境下的elk + kafka，使用了一段时间后由于老板觉得阿里云的kafka收费价格不怎么划算，并且线上服务器的资源吃紧，然后切换到了阿里云的日志服务。线上切换到kubernetes以后，又使用efk搜集了一段时间日志，后来发现fluentd搜集的日志存在一些延迟问题和准确性问题，并且变更配置搜集特定的日志时较为繁琐，于是准备把fluentd换为logstash + rabbit,期间对比了下redis,rabbit和kafka，最终选择了在用的自建的rabbit集群，由于近期事情较多，精力有限，此文只会阐述关于logs...阅读全文
作者:Jack47 转载请保留作者和原文出处 欢迎关注我的微信公众账号程序员杰克，两边的文章会同步，也可以添加我的RSS订阅源。 本文介绍在Kubernetes环境下的调试方法 启动单个容器 不使用Pod或Replication Controller，启动单个容器: $ kubectl run webserver --image=nginx 想更改镜像，又不想升级版本？ 每次修改之后，需要更新镜像的版本也好烦人啊。每次构建出新的镜像，Push到Docker Registry时，可以使用一个固定的版本，然后让Kubernetes在启动某个镜像时，无论本地是否有镜像，都去Docker Registry拉取镜像就好了。 ImagePullPolicy从默认的 IfNotPresent,改为 Alw...阅读全文
### 前言 harbor是由vmware开源的企业级docker repository，提供私有仓库，安全认证，权限管理，漏洞扫描及仓库复制等多种功能，因为之前搭建的harbor在线上环境存在各种各样的问题（之前搭建的方式目前发现已被官方宣布弃用[https://github.com/vmware/harbor/blob/master/docs/kubernetes_deployment.md](https://github.com/vmware/harbor/blob/master/docs/kubernetes_deployment.md)，如ui显示不正常，权限认证不正常），于是近期抽空用官方推荐的helm方式对harbor进行重新部署，并替换掉线上harbor ### 准备...阅读全文
前言： 某日在docker里搭建了一套MySQL服务，发现在MySQL命令行内无法输入中文 中文显示也以?代替，起初以为是MySQL字符集的问题 检查之后未解决问题，又退出到容器终端 发现同样不能输入中文，由此推断 是系统字符集出现问题，现将解决过程记录如下： 未解决前: # 进入容器 查看字符集 [root@master2 ~]# docker exec -it b18f56aa1e15 /bin/bash root@b18f56aa1e15:/# locale LANG= LANGUAGE= LC_CTYPE="POSIX" LC_NUMERIC="POSIX" LC_TIME="POSIX" LC_COLLATE="POSIX" LC_MONETARY="POSIX" LC_MESSA...阅读全文
回首支教来时路，总关风雨总关情匆匆一月，又到提笔写总结的时候了。想起这样一句话：有一种生活，你没有经历过，就不知道其中的艰辛；有一种艰辛，你没有...老胡研二我研一阅读 191评论 0赞 ...阅读全文
武汉某高校出现“猫红人”，厉害了！今天，V观菌在朋友圈看到，一组图片吸引了很多同学的眼光！ 这位“猫红人”厉害了，定居武汉高校中，以食堂饭菜为生，黏...武汉高校V观菌阅读 69评论 0赞 ...阅读全文
老版本Docker中为什么不支持多个 FROM 指令 Docker 17.05版本以后，新增了Dockerfile多阶段构建。所谓多阶段构建，实际上是允许一个Dockerfile 中出现多个 FROM 指令。这样做有什么意义呢？ 老版本Docker中为什么不支持多个 FROM 指令 在17.05版本之前的Docker，只允许Dockerfile中出现一个FROM指令，这得从镜像的本质说起。 在《Docker概念简介》 中我们提到，你可以简单理解Docker的镜像是一个压缩文件，其中包含了你需要的程序和一个文件系统。其实这样说是不严谨的，Docker镜像并非只是一个文件，而是由一堆文件组成，最主要的文件是 层。 Dockerfile 中，大多数指令会生成一个层，比如下方的两个例子： # 示例一...阅读全文
http://www.tuicool.com/articles/Jniemin 这个链接主要介绍了cgroup中使用的三种cpu资源限制方式 cpuset隔离方式是以分配核心的方式进行资源隔离，可以提供的资源分配最小粒度是核心，不能提供更细粒度的资源隔离，但是隔离之后运算的相互影响最低。需要注意的是在服务器开启了超线程的情况下，要小心选择分配的核心，否则不同cgroup间的性能差距会比较大。cpuquota给我们提供了一种比cpuset可以更细粒度的分配资源的方式，并且保证了cgroup使用cpu比率的上限，相当于对cpu资源的硬限制。cpushares给我们提供了一种可以按权重比率弹性分配cpu时间资源的手段：当cpu空闲的时候，某一个要占用cpu的cgroup可以完全占用剩余cpu时间，...阅读全文
docker启动mongodb一直重启问题 qq_28723681的博客 05-07 5490 docker启动mongodb一直重启问题 1. mongo 容器 Restarting (132) 2 seconds ago 近期接手一个后端项目，发现使用docker 创建mongodb的容器时，总是显示一直重启，显示Restarting (132) 2 seconds ago ， 然而在我自己的window10电脑上却无法复现，或者换一台机器也不会出现类似的问题。 查了下万能的google 终于找到了问题所在。 原文链接：https://stackoverflow.com/questions/609 定时扫描脚本监视Mongodb服务 关闭时执行脚本自动重启Mongodb服务 Hou_re...阅读全文
缘起最近部署一套系统，使用nginx作反向代理，其中nginx是使用docker方式运行： 1$ docker run -d --name nginx $PWD:/etc/nginx -p 80:80 -p 443:443 nginx:1.15 需要代理的API服务运行在宿主机的1234端口，nginx.conf相关配置如下： 12345678server { ... location /api { proxy_pass http://localhost:1234 } ...} 结果访问的时候发现老是报502 Bad Gateway错误，错误日志显示无法连接到upstream。 仔细想一想，nginx.conf中的localhost似乎有问题。由于nginx是运行在docker容器中的，这个...阅读全文
docker对CPU的使用 docker对于CPU的可配置的主要几个参数如下： --cpu-shares CPU shares (relative weight) --cpu-period Limit CPU CFS (Completely Fair Scheduler) period --cpu-quota Limit CPU CFS (Completely Fair Scheduler) quota --cpuset-cpus CPUs in which to allow execution (0-3, 0,1) 这些参数主要是通过配置在容器对应cgroup中，由cgroup进行实际的CPU管控。其对应的路径可以从cgroup中查看到 cpuset-cpus [root@node-156...阅读全文
以下文章来源于云原生技术社区，作者Tony，侵删在写“K8s”系列文章的过程中，很多读者留言询问 K8s 弃用 Docker 的事，担心现在学习 Docker 是否还值得，是不是该切换到 containerd 或其他运行时。这些怀疑有一定的道理。两年前，K8s 发布“弃用 Docker”的消息时，确实在社区引起了“轩然大波”，影响甚至蔓延到了社区之外，K8s 不得不写了好几篇博客来重复解释原因。两年过去了，虽然 K8s 1.24 已经实现了“弃用 Docker”的目标，但很多人似乎对这一点还不是很清楚。所以本篇文章就来聊聊这个话题。CRI（容器运行时接口）要理解 K8s 为何“弃用 Docker”，我们得回顾一下 K8s 的发展史。2014 年，Docker 正处于鼎盛时期，而 K8s 刚刚...阅读全文
先简单的阐述下如下几个概念：DockerDocker是最受欢迎的容器平台之一，为开发者提供了一套工具和平台，以便快速构建、测试和部署应用程序。Docker使用Docker镜像来打包应用及其依赖，运行这些镜像产生容器，容器在隔离的环境中运行应用。Docker Engine是运行Docker容器的核心组件，它利用Linux的核心特性（如cgroups和namespace）来隔离应用。PouchPouch是由阿里巴巴开发的一个容器化平台，强调在企业级应用中提供更丰富的功能和更高的性能。Pouch容器具有丰富的容器特性，包括更强大的隔离性、更高的资源利用率和更方便的运维特性。PouchContainer设计与Docker兼容并试图在安全、资源效率等方面提供改进。runcrunc是一个轻量级的容器运行...阅读全文
Docker安装ElasticSearch 1 安装说明 在平时工作的时候，开发环境大多数会安装单机ElasticSearch，但生产环境基本会安装ElasticSearch集群版，所以我们接下来实现一下ElasticSearch单机安装，下一节实现集群安装，但安装也大多数采用Docker安装。不过中文搜索，会实现分词器集成，可以采用IK分词器。ElasticSearch采用Kibana实现数据可视化分析也是当前主流，所以我们除了安装ElasticSearch和IK分词器外，还需要安装Kibana。 安装实践: 1:ElasticSearch单机安装 2:IK分词器安装 3:Kibana安装 2 Docker安装ElasticSearch 当前ElasticSearch已经到了8.0，新...阅读全文
docker安装指定版本minio CSDN-Ada助手: 非常棒的博客！你的第二篇博文标题和摘要都很吸引人。鼓励你继续创作，分享更多有趣的技术知识和经验。 除了介绍如何安装指定版本的minio镜像外，你可以考虑在博文中添加一些相关的扩展知识和技能。例如，你可以介绍如何使用Docker Compose来管理多个Docker容器，这样可以更方便地构建和管理你的应用程序环境。另外，你还可以介绍如何在安装minio之后，配置和使用它的各种功能和特性，比如对象存储、数据备份等等。 希望这些建议对你有所帮助。继续努力，期待看到更多精彩的博文！ 如何写出更高质量的博客，请看该博主的分享：https://blog.csdn.net/lmy_520/article/details/128686434?utm...阅读全文
kubelet节点压力驱逐 kubelet监控集群节点的 CPU、内存、磁盘空间和文件系统的inode 等资源，根据kubelet启动参数中的驱逐策略配置，当这些资源中的一个或者多个达到特定的消耗水平，kubelet 可以主动地驱逐节点上一个或者多个pod，以回收资源，降低节点资源压力。 基于kubernets v1.17.4 1.什么时候发生驱逐 kubelet结合以下数据项来做出驱逐决定： （1）驱逐信号； （2）驱逐策略； （3）驱逐监测间隔； 1.1 驱逐信号 节点上的memory、nodefs、pid等资源都有驱逐信号，kubelet通过将驱逐信号与驱逐策略进行比较来做出驱逐决定； 驱逐信号列举如下： （1）memory.available； （2）nodefs.available...阅读全文
1 简介 刚开始接触 Kubernetes 时，你学到的第一件事就是每个 Pod 都有一个唯一的 IP 和主机名，并且在同一个 Pod 中，容器可以通过 localhost 相互通信。所以，显而易见，一个 Pod 就像一个微型的服务器。 但是，过段时间，你会发现 Pod 中的每个容器都有一个隔离的文件系统，并且从一个容器内部，你看不到在同一 Pod 的其他容器中运行的进程。好吧！也许 Pod 不是一个微型的服务器，而只是一组具有共享网络堆栈的容器。 但随后你会了解到，Pod 中的容器可以通过共享内存进行通信！所以，在容器之间，网络命名空间不是唯一可以共享的东西……基于最后的发现，所以，我决定深入了解： Pod 是如何在底层实现的 Pod 和 Container 之间的实际区别是什么 如何使用...阅读全文
点击下载：百度网盘第1章 2020版 第一章 移动端Python爬虫进阶实战课程导学介绍课程目标、通过课程能学习到的内容、学会这些技能能做什么，对公司业务有哪些帮助，对个人有哪些帮助。介绍目前app数据抓取有哪些困难，面临的挑战，本实战课程会利用哪些工具来解决这些问题，以及本实战课程的特点 ......1-1 移动端python爬虫进阶实战-2020版导学 试看第2章 2020 第二章 u2自动化抓取开发环境搭建介绍uiautomator2移动端自动化工具包含的核心模块，移动端自动化抓取开发环境的搭建，分别介绍windows平台和ubuntu平台通过uiautomator2连接移动设备，并介绍离线安装uiautomator2安装包2-1 u2自动化抓取工具介绍 试看2-2 u2通信流程介绍 ...阅读全文
IP地址表示，IP地址有两个部分组成，net-id和host-id，即网络号和主机号。 127.0.0.1 127.0.0.1属于{127，}集合中的一个，所有的网络号为127的地址都被称为环回地址，所以环回地址不等价于127.0.0.1，后者只是环回地址的一份子，是包含关系，环回地址loop back。相比于127.0.0.1，localhost 具有更多的意义，localhost是个域名，而不是一个ip地址。之所以我们经常把localhost与127.0.0.1认为同一个是因为我们使用的大多数电脑上都将localhost指向了127.0.0.1这个地址。 0.0.0.0 服务器端，通过0.0.0.0匹配所有服务器IP，如果进程监听0.0.0.0那么客户端访问服务器任何一个可达IP都可以使...阅读全文
Dockerfile 的 VOLUME 指令和 Kubernetes（K8s）的 Persistent Volume Claim（PVC）是在容器技术中用于数据存储的两个不同概念，它们在原理和使用上有显著的区别：Dockerfile的VOLUME：VOLUME 是 Dockerfile 中的一个指令，用于在创建Docker镜像时声明容器内部的挂载点。这个挂载点可以指向宿主机上的一个文件或者目录，使得容器可以持久化数据或者共享数据给宿主机或者其他容器。当一个容器启动时，如果它的镜像中包含 VOLUME 声明，Docker会自动在宿主机上创建一个匿名卷或者挂载一个指定的宿主目录到容器内的挂载点。Dockerfile 中的 VOLUME 并不涉及到卷的生命周期管理，匿名卷的生命周期通常与容器一致，...阅读全文
本文分享自天翼云开发者社区《容器的优势，在Docker中运行Tomcat》，作者:d****e一、容器与虚拟机的区别是什么虚拟机：虚拟机是通过Hypervisor(虚拟机管理系统，常见的有VMWare workstation、VirtualBox)，虚拟出网卡、cpu、内存等虚拟硬件，再在其上建立虚拟机，每个虚拟机是个独立的操作系统，拥有自己的系统内核。容器：容器是利用namespace将文件系统、进程、网络、设备等资源进行隔离，利用cgroup对权限、cpu资源进行限制，最终让容器之间互不影响，容器无法影响宿主机。二、Docker的优势运行在容器上的docker的程序，直接使用的都是宿主机的硬件资源，因此在cpu、内存、利用率上，Docker将会在效率上具有更大的优势。Docker直接利用...阅读全文
Kubernetes、K8S CKS安全专家认证实践（24年新增K8S 1.30版部署内容） Kubernetes安全专家认证 CKS（Certified Kubernetes Security Specialist）是由云原生基金会(CNCF)推出的继 CKA 之后，业界备受关注的另一个高含金量的 K8S 认证，主要考察的就是如何排查及解决 Kubernetes 的安全隐患。Linux基金会的内容和社交媒体高级经理Dan Brown表示：“对于处理越来越多使用云技术的安全团队以及需要改善其安全性的云团队来说，这个认证至关重要”。 CKS 认证考试紧跟 Kubernetes 安全领域的最新发展趋势与最佳实践进行升级，以确保认证的 Kubernetes 安全专家（CKS）在构建、部署和运行期间...阅读全文
本文分享自天翼云开发者社区《一种基于alpine、支持ARM架构64位的镜像构建方法及其构建系统》，作者：郑****团一种基于alpine、支持ARM架构64位的镜像构建方法及其构建系统，包括以下步骤：步骤1：准备arm64位基础镜像包在docker官网上下载对应arm64位python-arm-3.7.8-alpine基础镜像包。在预先配置好python包的基础上，alpine相比于centos来说小的多，没有默认的预安装环境。需要自己安装python运行依赖的基础组件，包括bash-doc、bash-completion、gcc、g++、make、libc-dev、libffi-dev mysql-dev、linux-headers、pcre-dev、pip。查看适配的ARM架构服务器环...阅读全文
本文分享自天翼云开发者社区《容器、容器云和容器化PaaS平台之间到底是什么关系？》，作者：s****n一直都有很多人迷惑于容器应该属于 IaaS 或是 PaaS 层，也搞不清楚容器云到底是该归到哪里，该由哪个团队来建设、哪个团队来维护。K8s 是不是就等同于容器云？所以我们看到概念和定义的混乱，在实施容器云的时候也会有众多的分歧，无所适从。目前又有众多的公司推出容器化 PaaS 的概念，更搞不清楚谁是谁了。那么容器、容器云、容器化 PaaS 以及与 Docker 、 Kubernetes 之间是个什么样的关系？这是需要我们明确并理解的问题。容器是一种操作系统级虚拟化技术， Docker 是一种容器引擎。使用 Docker 来运行操作容器。但从容器自身来说，其提供的是 IaaS 层能力。Ku...阅读全文
