Установка K8S
Ставим CentOS 9, настраиваем на нем доступ в интернет.
Пробуем загрузить необходимые модули, в случае успеха добавляем их в загрузку на постоянной основе
sudo modprobe overlay
sudo modprobe br_netfilter
cat <<EOF | sudo tee /etc/modules-load.d/k8s.conf
overlay
br_netfilter
EOF
# Проверяем
lsmod | grep br_netfilter
lsmod | grep overlay
Прописываем необходимые параметры для работы сети k8s
cat <<EOF | sudo tee /etc/sysctl.d/k8s.conf
net.bridge.bridge-nf-call-iptables = 1
net.bridge.bridge-nf-call-ip6tables = 1
net.ipv4.ip_forward = 1
EOF
# Применяем параметры без перезагрузки
sysctl --system
# Проверяем
sysctl net.bridge.bridge-nf-call-iptables net.bridge.bridge-nf-call-ip6tables net.ipv4.ip_forward
Добавляем репозиторий и устанавливаем необходимые пакеты. Внимание! Новые версии k8s не работают с docker, используется только containerd.
dnf config-manager --add-repo=https://download.docker.com/linux/centos/docker-ce.repo
dnf update
dnf install -y containerd mc curl
Заполняем конфигурацию параметрами по умолчанию
containerd config default | tee /etc/containerd/config.toml
mcedit /etc/containerd/config.toml
# Ищем в конфигурации секцию [plugins."io.containerd.grpc.v1.cri".containerd.runtimes.runc.options] и ставим параметр SystemdCgroup в true
systemctl restart containerd
systemctl enable containerd
# Проверяем
ps -ef | grep containerd
Переходим к установке k8s, добавляем репозиторий, устанавливаем необходимые пакеты
cat /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=https://packages.cloud.google.com/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=1
repo_gpgcheck=1
gpgkey=https://packages.cloud.google.com/yum/doc/yum-key.gpg https://packages.cloud.google.com/yum/doc/rpm-package-key.gpg
dnf update
dnf install -y kubelet kubeadm kubectl
Если firewall не установлен, устанавливаем и открываем необходимые порты
sudo dnf install epel-release -y
sudo dnf install ufw -y
sudo ufw enable
systemctl enable ufw
# На master node:
ufw allow 6443/tcp
ufw allow 2379/tcp
ufw allow 2380/tcp
ufw allow 10250/tcp
ufw allow 10251/tcp
ufw allow 10252/tcp
ufw allow 10255/tcp
ufw reload
# На worker nodes:
ufw allow 10250/tcp
ufw allow 10251/tcp
ufw allow 10255/tcp
ufw reload
Для работы Kubernetes обязательно должен быть выключен раздел подкачки
# /dev/mapper/cs-swap none swap defaults 0 0
На Master node пробуем создать кластер:
# Указываем адрес на котором будет работать API, так как по умолчанию выберет адрес с default route, а это нам не нужно
kubeadm init --apiserver-advertise-address=10.10.10.1 --pod-network-cidr=10.244.0.0/16
# Если все успешно, скажет об этом в выдаст инструкцию как подключить worker nodes
kubeadm join 10.10.10.1:6443 --token 8jhgjhf.uk3zmckig4xwda1p --discovery-token-ca-cert-hash sha256:6764aa79d35ac5fd890054faa6dd1064c80d3661d907937177650d1787380291
Смотрим состояние нод на master узле,
kubectl get nodes
NAME STATUS ROLES AGE VERSION
k8s-node-1 NotReady control-plane 17h v1.28.2
k8s-node-2 NotReady <none> 16h v1.28.2
k8s-node-3 NotReady <none> 15h v1.28.2
k8s-node-4 NotReady <none> 15h v1.28.2
Они в состоянии NotReady, нужно установить flannel для поддержки overlay-сети
kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml
Через некоторое время состояние узлов изменится.
kubectl get nodes
NAME STATUS ROLES AGE VERSION
k8s-node-1 Ready control-plane 17h v1.28.2
k8s-node-2 Ready <none> 16h v1.28.2
k8s-node-3 Ready <none> 15h v1.28.2
k8s-node-4 Ready <none> 15h v1.28.2
