RTzRa's hive - software:proxmox

Замена идентификатора machine-id клонированных ВМ

anonymous@undisclosed.example.com (Anonymous) — Mon, 07 Aug 2023 12:57:56 +0000

Замена идентификатора machine-id клонированных ВМ

Источник: https://wiki.it-kb.ru/unix-linux/systemd/how-to-use-systemd-machine-id-setup-for-machimeid-upgrade

При клонировании виртуальных машин с ОС Linux может получиться так, что после клонирования, системы-клоны будут иметь повторяющийся идентификатор machine-id. Хотя подразумевается, что эти идентификаторы у разных компьютеров должны быть уникальны и могут использоваться разным ПО для определения идентичности той или иной Linux-системы. Эти идентификаторы присваиваются системе на этапе установки ОС и сохраняются в конфигурационном файле /etc/machine-id

Проверить идентификаторы на разных системах можно просто заглянув в файл /etc/machine-id или с помощью утилиты hostnamectl:

root@SERVER1:~# hostnamectl | grep "Machine ID"
        Machine ID: 193a81762be145a68c133e071890df59

root@SERVER2:~# hostnamectl | grep "Machine ID"
        Machine ID: 193a81762be145a68c133e071890df59

Чтобы сгенерировать новый machine-id для клонированной виртуальной системы, можно воспользоваться утилитой systemd-machine-id-setup

Порядок действий будет такой:

Изменяем права доступа к файлу /etc/machine-id, так ка по умолчанию он доступен только на чтение
Очищаем содержимое файла /etc/machine-id
С помощью утилиты systemd-machine-id-setup генерируем новый идентификатор в /etc/machine-id
Возвращаем исходные права доступа на файл /etc/machine-id

# chmod 644 /etc/machine-id
# > /etc/machine-id
# systemd-machine-id-setup
Initializing machine ID from D-Bus machine ID.
# chmod 444 /etc/machine-id
# cat /etc/machine-id
5f3ff6fda7e5a7091651473e648ff962

linux, идентификатор, machine-id

Подключение Storage на PBS в другом VLAN

anonymous@undisclosed.example.com (Anonymous) — Wed, 28 Jan 2026 08:29:22 +0000

Подключение Storage на PBS в другом VLAN

Если PBS находится где-то далеко от PVE (например в интернете или другом VLAN) и порт 8087 заблокирован на FireWall'ах то можно добавить через командную строку.

На любом PVE из кластера выполняем:

pvesm add pbs PBS_NAME --server 10.xx.xx.xx --port 443 --username adm_backup@pbs --datastore backup \
--fingerprint 8e:b3:22:8f:96:3b:00:b8:3d:51:96:fa:9f:1c:69:16:01:ac:79:47:a2:07:46:86:91:82:0f:1d:4d:9b:61:27 \
--password

И вводим пароль пользователя adm_backup@pbs (он должен существовать на PBS)

Поля:

PBS_NAME - имя Storage
10.xx.xx.xx - IP нашего PBS
–port 443 - указываем порт на котором слушает Nginx или иной Reverse Proxy
fingerprint - нужен отпечаток для проверки подлинности

Если выполнение падает с ошибкой «create storage failed: PBS_NAME: error fetching datastores - fingerprint 'F7:7C:61:70:0C:BF:E4:9F:1B:85:17:F9:93:DE:FF:40:5F:6D:22:33:D8:44:B3:83:AE:DF:BC:1D:E9:FF:F0:C7' not verified, abort!» - значит указываем этот правильный fingerprint, так же его можно посмотреть руками:

# Способ 1: через openssl (рекомендуется)
openssl s_client -connect 10.xx.xx.xx:443 -servername 10.xx.xx.xx < /dev/null 2>/dev/null | \
openssl x509 -fingerprint -sha256 -noout | sed 's/://g' | sed 's/FINGERPRINT=//g' | \
sed 's/../&:/g;s/:$//'

# Или короткая версия:
echo -n | openssl s_client -connect 10.xx.xx.xx:443 2>/dev/null | \
openssl x509 -fingerprint -sha256 -noout | cut -d'=' -f2 | sed 's/://g' | \
fold -w2 | paste -sd: -

pve, pbs, storage, add storage, добавить хранилище

anonymous@undisclosed.example.com (Anonymous) — Thu, 01 Jan 2026 17:22:22 +0000

Proxmox: Ставим PBS на любой хост

Взято тут: https://ketanvijayvargiya.com/476-proxmox-backup-server-in-the-cloud/

Зачем: если ставим proxmox-backup то приедет куча зависимостей. А здесь только шкура для управления.

Добавляем в /etc/apt/sources.list

deb http://download.proxmox.com/debian/pbs bookworm pbs-no-subscription

И ставим:

apt update && apt install proxmox-backup-server -y

proxmox backup server, PBS

Proxmox: меняем VMID

anonymous@undisclosed.example.com (Anonymous) — Sat, 19 Oct 2024 12:13:58 +0000

Proxmox: меняем VMID

Каждая VM в Proxmox имеет свой ID. Диапазон идентификаторов от 100 до 999999999 и применяется в рамках всего Datacenter.

ID это важная характеристика VM - по нему Proxmox различает виртуалки, создает LVM и прочее.

По умолчанию ID начинаются с 100, но можно поменять это поведение тут: Datacenter → Options → Next Free VMID Range

Так же это можно настроить через файл /etc/pve/datacenter.cfg

next-id: lower=888

Иногда появляется необходимость сменить ID на другой. И штатных средств всего 2:

Через Backup/Restore, но может быть что VM большая или ее нельзя надолго выключать
Переименование руками

Ниже описан способ ручного переименования:

Сделайте бэкап VM. Если что-то пойдет не так - будет шанс обойтись малой кровью
Смотрим список LV:
```
lvs
```
Находим ID нашей VM, убедимся что она находится на данном узле
Выключаем VM
Переименуем имя нашей VM для тома LVM:
```
lvrename current_vmid new_vmid
```
Переименуем файл с настройками VM:
```
mv /etc/pve/YOU-SERVER/qemu-server/current_vmid.conf /etc/pve/YOU-SERVER/qemu-server/new_vmid.conf
```
Если у нас LXC-контейнер, то путь будут другим: /etc/pve/nodes/YOU-SERVER/lxc/

Изменяем ID в файле настроек:

sed -i "s/current_vmid/new_vmid/g" /etc/pve/nodes/YOU-SERVER/qemu-server/current_vmid.conf

Включаем VM

Proxmox Backup Server: Стоп-кран

anonymous@undisclosed.example.com (Anonymous) — Sun, 19 Jan 2025 12:27:57 +0000

Proxmox Backup Server: Стоп-кран

Не помню где спер, поэтому без ссылок.

Если вы используете Proxmox Backup Server (PBS) и датасторы на ZFS заняты более чем на 80% - у вас начинаются проблемы со скоростью. Если ZFS занят на 100% - все, у вас уже нет проблем по простой причине - попытки «что-то быстренько» удалить не получатся. И все что остается - удалить такой датастор со всеми бесценными бэкапами и создать его заново.

Этот скриптик проверяет наличие свободного места на Datastorе. Если меньше указанного в переменной THRESHOLD - погасит сервер PBS. Это поможет сохранить старые бэкапы, хоть какая-то защита от проблем.

#!/bin/bash
 
# Указываем порог свободного места (в процентах)
THRESHOLD=10
 
# Получаем информацию о свободном месте в каждом datastore
datastores=$(pvesm list datastores | awk '{print $1}' | grep -v Datastore)
 
for datastore in $datastores; do
  # Получаем общий размер и свободное место в datastore
  total_space=$(pvesm get $datastore --output-format json | jq -r '.total')
  free_space=$(pvesm get $datastore --output-format json | jq -r '.free')
 
  # Вычисляем процент свободного места
  free_percent=$(echo "scale=2; ($free_space \* 100) / $total_space" | bc)
 
  # Проверяем, меньше ли процент свободного места порога
  if (( $(echo "$free_percent < $THRESHOLD" | bc -l) )); then
    echo "ВНИМАНИЕ: На datastore $datastore осталось менее $THRESHOLD% свободного места!"
    echo "Остановка Proxmox Backup Server..."
    systemctl stop pbs
    break
  fi
done

proxmox, backup, server, pbs, datastore, free space

Proxmox: clone ZFS bootroot to mirror

anonymous@undisclosed.example.com (Anonymous) — Mon, 29 Dec 2025 10:10:53 +0000

Proxmox: clone ZFS bootroot to mirror

Взято здесь: https://github.com/kneutron/ansitest/blob/master/proxmox/proxmox-clone-zfs-bootroot-to-mirror.sh

И там еще много полезного: https://github.com/kneutron/ansitest/tree/master/proxmox

#!/bin/bash

# Add 2nd or 3rd mirror drive to proxmox zfs boot/root and fix boot 
# This is for when you want to make a full backup of your proxmox zfs boot/root 
#   so you can test boot it on other hardware or use it as a DR drive
# 2024.May kneutron

# NOTE I TAKE NO RESPONSIBILITY FOR DATA LOSS, EDIT THIS SCRIPT BEFORE RUNNING 
# AND MAKE SURE YOU DESIGNATE THE RIGHT DISKS!

# NOTE it is HIGHLY RECOMMENDED to try this in a vm first!!!!

# REF: https://hosting-tutorials.co.uk/tutorials/linux/replacing-a-zfs-rpool-disk-with-proxmox-7-x
# REF: https://www.reddit.com/r/Proxmox/comments/1cr6wn7/tutorial_howto_migrate_a_pve_zfs_bootroot_mirror/

# Depends:
# sgdisk wipefs 

set -u # abort on undefined var
set -e # abort on error

[ $(which sgdisk |wc -l) -eq 0 ] && apt-get install -y gdisk
[ $(which wipefs |wc -l) -eq 0 ] && apt-get install -y util-linux
[ $(which parted |wc -l) -eq 0 ] && apt-get install -y parted # included in case partition end needs to be manually moved + makes new gptlabel
# REF: https://sirlagz.net/2023/07/03/updated-live-resize-lvm-on-linux/

# failexit.mrg
function failexit () {
  echo '! Something failed! Code: '"$1 $2" # code # (and optional description)
  exit $1
}


# TODO EDITME and make sure to put the correct shortnames in!
oldisk1=vda
#oldisk2=vdb

newdisk1=vdc
#newdisk2=vdd

echo "WARNING: About to destructively apply a new GPT label to disk $newdisk1 - ^C to backout or Enter to proceed"
read

#zpool set autoexpand=on rpool

for disk in $newdisk1; do
 echo $disk

# need to do this if run >1
 parted -s /dev/$disk mklabel gpt
  
sgdisk -g \
-n 1:0:+1M \
-n 2:0:+1G \
-n 3:0:0 \
-t 1:8300 \
-t 2:EF00 \
-t 3:BF01 \
-p /dev/$disk

 gdisk -l /dev/$disk
done

echo "$(date) - Prep new mirror disk, blank any filesystem / zfs data"
set +e # OK if we fail here, not fatal
zpool labelclear /dev/${newdisk1}3
#zpool labelclear /dev/${newdisk2}3
wipefs -a /dev/${newdisk1}3
#wipefs -a /dev/${newdisk2}3
set -e

zpool status rpool -v |awk 'NF>1'
#sizeb4=$(zpool list rpool)
echo "About to attach new mirror disk $newdisk1 to zfs boot disk(s) - ^C to backout / Enter = proceed"
read

function waitresilver () {
# wait for resilver
# do forever
while :; do
  clear
  echo "Pool: rpool - NOW: $(date) -- Watchresilver started: $sdate"

  zpool status rpool |grep -A 2 'in progress' || break 2
  zpool iostat -v rpool #2 3 &

  sleep 5
  date
done
ndate=$(date)
}

sdate=$(date)
set -x
#zpool add -f rpool mirror /dev/${newdisk1}3 /dev/${newdisk2}3
#zpool detach rpool /dev/${oldisk1}3
#time zpool remove rpool /dev/${oldisk2}3
time zpool attach rpool ${oldisk1}3 ${newdisk1}3 \
  || failexit 100 "Zpool replace $oldisk1 $newdisk1 failed"
set +x

waitresilver;

#set -x
#time zpool replace rpool ${oldisk2}3 ${newdisk2}3 \
#  || failexit 100 "Zpool replace $oldisk2 $newdisk2 failed"
#set +x
#waitresilver; 

zpool status -v rpool |awk 'NF>0' # skip blank lines
echo "o Resilver watch rpool start: $sdate // Completed: $ndate"

proxmox-boot-tool status # Note if grub is being used or not here
addgrub=""
[ $(proxmox-boot-tool status |grep -c grub) -gt 0 ] && addgrub="grub"

echo "$(date) - Fixing boot on new mirror drive"
set -x
proxmox-boot-tool format /dev/${newdisk1}2 --force # <new disk's ESP partn>
#proxmox-boot-tool format /dev/${newdisk2}2 --force # <new disk's ESP partn>
time sync; sleep 2

proxmox-boot-tool init /dev/${newdisk1}2 $addgrub # <new disk's ESP partn>
#proxmox-boot-tool init /dev/${newdisk2}2 $addgrub # <new disk's ESP partn>

set +e # grub error is ok here
proxmox-boot-tool refresh
set +x

zpool status rpool -v

echo '====='
echo "You should be able to boot with any disk now! After shutdown + remove extra mirror disk, run:"
echo " proxmox-boot-tool clean"
echo "and:"
echo " zpool detach rpool ${newdisk1}3"
echo "or whatever the missing device GUID is in zpool status -v"
echo "Then:"
echo " zpool clear rpool"
echo "If you are running this in VM, assign 3rd mirror disk to another VM before powering this instance back on" 
echo " you will need to give the other instance a new IP address, or just do not run the same boot image simultaneously"

#echo "Size before:"
#echo "$sizeb4"
#echo "Size after:"
#zpool list rpool

exit;

Таблицы разделов:

Device             Start       End   Sectors  Size Type
/dev/nvme0n1p1        34      2047      2014 1007K BIOS boot
/dev/nvme0n1p2      2048   2099199   2097152    1G EFI System
/dev/nvme0n1p3   2099200 167772160 165672961  119G ZFS

Полезные ссылки:

Proxmox: Работа с нодами и кластером

anonymous@undisclosed.example.com (Anonymous) — Thu, 01 May 2025 15:19:19 +0000

Proxmox: Работа с нодами и кластером

Документация:

Перед началом создания кластера

Ознакомьтесь с требованиями: https://pve.proxmox.com/wiki/Cluster_Manager#_requirements
Убедитесь что ноды, которые вы будете добавлять в новый кластер ранее не добавлялись и на первой ноде кластера от них не осталось никаких записей - это важно, иначе они могут застрять на шаге «Request addition of this node»
Желательно добавить адреса всех нод кластера в /etc/hosts и сделать это на всех нодах

Создание кластера

На одной из нод (стоит для начала почитать требования) создаем кластер:

pvecm create <clustername>

и проверяем состояние кластера:

pvecm status

Добавляем ноду

На ноде, котрую будем добавлять в кластер:

pvecm add <pve01-ip> -force

где pve01-ip - IP-адрес ноды на которой поднят кластер. Далее отвечаем на вопросы и ждем синхронизации.

Удаление ноды

Мой случай: одна из нод сдохла (железо), нужно ее удалить из кластера.

Смотрим:

# pvecm nodes
Membership information
----------------------
    Nodeid      Votes Name
         1          1 node01 (local)
         2          1 node02
         3          1 node03

И в списке ее нет!

Но есть следы в папке:

ls /etc/pve/nodes/
node01 node02 node03 node04

Удаляем:

# pvecm delnode node04
Could not kill node (error = CS_ERR_NOT_EXIST)
Killing node 4

Проверяем - обновляем страничку, нода должна исчезнуть из кластера.

Принудительное удаление кластера

systemctl stop pve-cluster
systemctl stop corosync
pmxcfs -l
rm /etc/pve/corosync.conf
rm -r /etc/corosync/*
killall pmxcfs

На этом все виртуалки пропадут, а папка /etc/pve будет пустая. Запускаем службу pve-cluster и все опять заработает:

systemctl start pve-cluster

proxmox, cluster, remove

Proxmox: Console via Reverse Proxy

anonymous@undisclosed.example.com (Anonymous) — Sat, 24 Jun 2023 18:46:04 +0000

Proxmox: Console via Reverse Proxy

Если для доступа к Proxmox Web GUI используется Nginx Proxy Manager https://nginxproxymanager.com/ то в настройке Proxy Host необходимо включить Websocket Support и тогда Console будет корректно работать. В противном случае получим «Ошибка подключения к серверу» (no VNC).

proxmox, npm, nginx proxy manager, console, Websocket Support, no VNC, connection error

Proxmox: Создать дополнительный раздел на LVM-Thin

anonymous@undisclosed.example.com (Anonymous) — Sun, 28 Nov 2021 16:15:33 +0000

Proxmox: Создать дополнительный раздел на LVM-Thin

Иногда бывает необходимо провести работы и копировать некий объем данных. Если нет возможности использовать другие диски, сетевые хранилища и прочее, можно создать временный раздел. Если на LVM-Thin есть место, то сделать это не сложно.

Смотрим уже существующие VG:

# vgs
  VG    #PV #LV #SN Attr   VSize    VFree
  pve     1   4   0 wz--n- <931.01g 150.99g

Смотрим существующие LV:

# lvs
LV            VG    Attr       LSize    Pool Origin Data%  Meta%  Move Log Cpy%Sync Convert
  data          pve   twi-aotz-- <794.79g             10.63  0.76
  root          pve   -wi-ao----   96.00g
  swap          pve   -wi-ao----    8.00g

Раздел data является LVM-Thin (атрибут t), создаем на нем раздел:

lvcreate -V100G -T pve/data -n temp

Проверяем:

# lvs
  LV            VG    Attr       LSize    Pool Origin Data%  Meta%  Move Log Cpy%Sync Convert
  data          pve   twi-aotz-- <794.79g             10.63  0.76
  root          pve   -wi-ao----   96.00g
  swap          pve   -wi-ao----    8.00g
  temp          pve   Vwi-aotz--  100.00g data        2.07

Форматируем раздел:

mkfs.ext4 /dev/pve/temp

Монтируем как обычно:

mkdir /mnt/temp
mount /dev/pve/temp /mnt/temp

Теперь этот раздел виден и доступен, можно проводить работы.

Удаление тоже не представляет сложности:

Отмонтируем:

umount /mnt/temp

Удаляем раздел:

vlmremove /dev/pve/temp

proxmox, LVM, LVM-Thin, logical volume

Proxmox: Установка в DC

anonymous@undisclosed.example.com (Anonymous) — Sat, 19 Oct 2024 09:33:06 +0000

Proxmox: Установка в DC

Установка Proxmox в Hetzner на железный сервер без KVM-консоли: https://github.com/ariadata/proxmox-hetzner/tree/main

Конфигурация сети для Proxmox при установке на хост в DC, со спрятанными за NAT виртуалками. Пробрасываются порты 22 и 3389 в одну из виртуалок. Решение не очень красивое, но рабочее.

Источник: https://raw.githubusercontent.com/SOlangsam/hetzner-proxmox-nat/refs/heads/master/etc/network/interfaces

source /etc/network/interfaces.d/*

auto lo
iface lo inet loopback
iface lo inet6 loopback

auto eno1
iface eno1 inet static
  address <Haupt-IP>
  netmask 255.255.255.224
  gateway <Gateway-IP>  
  up route add -net 148.x.x.x netmask 255.255.255.224 gw 148.x.x.x dev eno1

iface eno1 inet6 static
  address 2a01:x:x:x::x
  netmask 64
  gateway fe80::1

## Example of private network
auto vmbr0
iface vmbr0 inet static
    address 10.0.0.1
    netmask 30
    bridge_ports none
    bridge_stp off
    bridge_fd 0

    ##Allow IP Forwarding
    post-up echo 1 > /proc/sys/net/ipv4/ip_forward    
    
    ##Internet 4 all VMs	- Outgoing
    post-up iptables -t nat -A POSTROUTING -s '10.0.0.0/30' -o eno1 -j MASQUERADE 
    
    ##Allow Remote - Incoming
    post-up iptables -t nat -A PREROUTING -i eno1 -p tcp --dport 3389 -j DNAT --to 10.0.0.2:3389    
    post-up iptables -t nat -A PREROUTING -i eno1 -p udp --dport 3389 -j DNAT --to 10.0.0.2:3389
    
    ##Allow SSH - Incoming
    post-up iptables -t nat -A PREROUTING -i eno1 -p tcp --dport 22 -j DNAT --to 10.0.0.3:22    
        
    ## Delete all NAT rules
    post-down iptables -t nat -D POSTROUTING -s '10.0.0.0/30' -o eno1 -j MASQUERADE    
    post-down iptables -t nat -D PREROUTING -i eno1 -p tcp --dport 3389 -j DNAT --to 10.0.0.2:3389
    post-down iptables -t nat -D PREROUTING -i eno1 -p udp --dport 3389 -j DNAT --to 10.0.0.2:3389
    post-down iptables -t nat -D PREROUTING -i eno1 -p tcp --dport 22 -j DNAT --to 10.0.0.3:22

proxmox, data center, hetzner, kvm, installation, установка

Proxmox: Guest Agent & Drivers

anonymous@undisclosed.example.com (Anonymous) — Fri, 23 Jun 2023 19:42:33 +0000

Proxmox: Guest Agent & Drivers

Guest Agent

Linux:

apt install qemu-guest-agent

Windows:

Страница с описанием установки и ссылками: https://pve.proxmox.com/wiki/Windows_VirtIO_Drivers
Прямая ссылка на последнюю версию: https://fedorapeople.org/groups/virt/virtio-win/direct-downloads/stable-virtio/virtio-win.iso
Последняя версия для Windows XP: https://fedorapeople.org/groups/virt/virtio-win/direct-downloads/archive-virtio/virtio-win-0.1.132-1/

Если звук в виртуалке откровенно плохой

Взято тут: https://gitlab.freedesktop.org/pipewire/pipewire/-/wikis/Troubleshooting#stuttering-audio-in-virtual-machine

Stuttering Audio (in Virtual Machine)

Normally this should not happen but is usually caused by jittery drivers. In a VM this is most common because the device is emulated.

you can usually fix this problem by giving more headroom in the alsa device ringbuffer.

You need to edit the WirePlumber configuration as follows:

mkdir -p ~/.config/wireplumber/main.lua.d
cd ~/.config/wireplumber/main.lua.d
cp /usr/share/wireplumber/main.lua.d/50-alsa-config.lua .

Then open ~/.config/wireplumber/main.lua.d/50-alsa-config.lua in an editor and tweak the configuration at the very bottom of the file to suit the needs. Like:

      ["api.alsa.period-size"]   = 1024,
      ["api.alsa.headroom"]      = 8192,

Afterwards, restart everything via systemctl –user restart wireplumber pipewire pipewire-pulse

When running inside a VM, also disable the Firefox speech dispatch as explained here.

proxmox, qemu, guest, agent, drivers, драйвера

Proxmox: HP Smart Storage Admin CLI (ssacli) installation and usage

anonymous@undisclosed.example.com (Anonymous) — Sat, 06 Apr 2024 20:23:52 +0000

Proxmox: HP Smart Storage Admin CLI (ssacli) installation and usage

Источник: https://gist.github.com/mrpeardotnet/a9ce41da99936c0175600f484fa20d03?permalink_comment_id=3376050

HP Smart Storage Admin CLI (`ssacli`) installation and usage on Proxmox PVE (6.x)

Why use HP Smart Storage Admin CLI?

You can use `ssacli` (smart storage administrator command line interface) tool to manage any of supported HP Smart Array Controllers in your Proxmox host without need to reboot your server to access *Smart Storage Administrator* in BIOS. That means no host downtime when managing your storage.

CLI is not as convenient as GUI interface provided by BIOS or desktop utilities, but still allows you to fully manage your controller, physical disks and logical drives on the fly with no Proxmox host downtime.

`ssacli` replaces older `hpssacli`, but shares the same syntax and adds support for newer servers and controllers.

Installation

Installation process of the `ssacli` package on Proxmox is the same as on any other Debian based system.

NOTE: HP does not provide Buster repository for Debian 10/Proxmox 6.x, but we can still use Stretch repository even that it's targeted for Debian 9/Proxmox 5.x.

Add HP's MCP repository

To add HP's MCP repository to `apt` sources list use this command:

echo "deb http://downloads.linux.hpe.com/SDR/repo/mcp stretch/current non-free" > /etc/apt/sources.list.d/hp-mcp.list

Download and add public keys for the MCP repository

Public keys are needed by `apt` to verify repository signatures, so we need to download and add them. There are four of them and we need to download and them all:

wget -q -O - http://downloads.linux.hpe.com/SDR/hpPublicKey1024.pub | apt-key add -
wget -q -O - http://downloads.linux.hpe.com/SDR/hpPublicKey2048.pub | apt-key add -
wget -q -O - http://downloads.linux.hpe.com/SDR/hpPublicKey2048_key1.pub | apt-key add -
wget -q -O - http://downloads.linux.hpe.com/SDR/hpePublicKey2048_key1.pub | apt-key add -

Installing the `ssacli` package

First, we need to update available packages:

apt update

And then we can install the `ssacli` package:

apt install ssacli

Using the `ssacli` tool

Command short and long names
All commands have a short name to reduce the length of the total input provided to the `ssacli` tool. You can use short or long name. Here is a list of all commands and their long and short names:

* chassisname = ch
* controller = ctrl
* logicaldrive = ld
* physicaldrive = pd
* drivewritecache = dwc
* licensekey = lk

You can specify disks also as:

* A range of drives (bay 1 to 3): 1I:1:1-1I:1:3
* Drives that are unassigned: allunassigned

Command examples

Here are few examples of `ssacli` commands that you can use to diagnose and manage your HP Smart Storage Controller.

Show available controllers

ssacli ctrl all show

Show controllers status

ssacli ctrl all show status

Show detailed controllers information

ssacli ctrl all show detail

Show controllers configuration

ssacli ctrl all show config

Rescan for new devices
Useful after swapping disks in bays, etc…

ssacli rescan

Show all physical disks (or their status) (controller slot 0)

ssacli ctrl slot=0 pd all show
ssacli ctrl slot=0 pd all show status

Show all physical disks detailed information (controller slot 0)

ssacli ctrl slot=0 pd all show detail

Show logical drives (or their status) (controller slot 0, all or specific logical drive(s))

ssacli ctrl slot=0 ld all show
ssacli ctrl slot=0 ld all show status

ssacli ctrl slot=0 ld 1 show
ssacli ctrl slot=0 ld 1 show status

Show detailed logical drives information (controller slot 0, all or specific logical drive(s))

ssacli ctrl slot=0 ld all show detail
ssacli ctrl slot=0 ld 1 show detail

Show array information (controller slot 0, array A)

ssacli ctrl slot=0 array a show

Show array status (controller slot 0, all arrays)

ssacli ctrl slot=0 array all show status

Create new RAID 0 logical drive (controller slot 0, disk in port 1I:box 1:bay 1)

ssacli ctrl slot=0 create type=ld drives=1I:1:1 raid=0

Create new RAID 1 logical drive (controller slot 0, disks in port 1I:box 1:bay 1 and 2)

ssacli ctrl slot=0 create type=ld drives=1I:1:1,1I:1:2 raid=1

Create new RAID 5 logical drive (controller slot 0, diks in port 1I:box 1:bay 1 to 4)

ssacli ctrl slot=0 create type=ld drives=1I:1:1-1I:1:4 raid=5

Delete logical drive (controller slot 0, logical drive 1)

ssacli ctrl slot=0 ld 1 delete

Add new physical disks to logical drive (controller slot 0, logical drive 1, disks in port 1I:box 1:bay 6 and 7)

ssacli ctrl slot=0 ld 2 add drives=1I:1:6,1I:1:7

Add spare disks (controller slot 0, logical drive 1, array A, disks in port 1I:box 1:bay 6 and 7)

ssacli ctrl slot=0 array a add spares=1I:1:6,1I:1:7

Add global spare disks (controller slot 0, logical drive 1, all arrays, disks in port 1I:box 1:bay 6 and 7)

ssacli ctrl slot=0 array all add spares=1I:1:6,1I:1:7

Turn on/off blink logical drive LED (controller slot 0, logical drive 1)

ssacli ctrl slot=0 ld 1 modify led=on
ssacli ctrl slot=0 ld 1 modify led=off

Turn on/off blink physical disk LED (controller slot 0, physical disk port 1I:box 1:bay 1)

ssacli ctrl slot=0 pd 1I:1:1 modify led=on

ssacli ctrl slot=0 pd 1I:1:1 modify led=off

Modify smart array cache read and write ratio (controller slot 0, cacheratio 80% read/20% write)

ssacli ctrl slot=0 modify cacheratio=80/20

Show physical drive write cache status (controller slot 0)

ssacli ctrl slot=0 modify dwc=?

Enable/disable physical drive write cache (controller slot 0)
Important: Because physical drive write cache is not battery-backed, you could lose data if a power failure occurs during a write process. To minimize this possibility, use a backup power supply.

ssacli ctrl slot=0 modify dwc=enable
ssacli ctrl slot=0 modify dwc=disable

Show status of smart array write cache when no battery is present (no-battery write cache option, controller slot 0)

ssacli ctrl slot=0 modify nbwc=?

Enable/disable smart array write cache when no battery is present (no-battery write cache option, controller slot 0)

ssacli ctrl slot=0 modify nbwc=enable
ssacli ctrl slot=0 modify nbwc=disable

Enable/disable smart array cache for certain Logical Volume (controller slot 0, logical drive 1)

ssacli ctrl slot=0 ld 1 modify arrayaccelerator=enable
ssacli ctrl slot=0 ld 1 modify arrayaccelerator=disable

Enable/disable SSD Smart Path (controller slot 0, array A)

ssacli ctrl slot=0 array a modify ssdsmartpath=enable
ssacli ctrl slot=0 array a modify ssdsmartpath=disable

Show spare activation mode

ssacli ctrl slot=0 modify spareactivationmode=?

Set spare activation mode

ssacli ctrl slot=0 modify spareactivationmode=predictive
ssacli ctrl slot=0 modify spareactivationmode=failure

Show rebuild priority

ssacli ctrl slot=0 modify rp=?

Modify rebuild priority

ssacli ctrl slot=0 modify rp=low
ssacli ctrl slot=0 modify rp=medium
ssacli ctrl slot=0 modify rp=mediumhigh
ssacli ctrl slot=0 modify rp=high

Erase Physical Drive (controller slot 0, physical disk port 1I:box 1:bay 1)

ssacli ctrl slot=0 pd 1I:1:1 modify erase

proxmox, HP, Smart, Storage, Admin, CLI, ssacli

Proxmox: HugePages для виртуальных машин

anonymous@undisclosed.example.com (Anonymous) — Sun, 31 Aug 2025 13:25:06 +0000

Proxmox: HugePages для виртуальных машин

Источники:

Когда приложению нужно получить значение какой-то переменной, оно просит процессор достать его из памяти по адресу этой переменной. Но этот адрес виртуальный, и процессору приходится переводить его в физический - то есть в реальное место на чипе памяти сервера. Память у процессора разбита на блоки, которые называются страницами, и размер страницы зависит от архитектуры CPU. Например, в системах x86_64 каждая страница обычно равна 4 КБ. Получается, что на сервере с 16 ГБ памяти будет примерно 4 миллиона страниц.

И вот здесь может начаться проблема: чем больше памяти у сервера, тем больше страниц приходится обслуживать процессору. А перевод виртуальных адресов в физические начинает замедляться. Чтобы ускорить работу, придумали HugePages.

HugePage - это страница, которая больше стандартной. В x86_64 их размер может быть либо 2 МБ, либо 1 ГБ. За счёт этого у процессора становится меньше страниц для управления, и всё работает быстрее.

Например, если вы создаёте виртуальную машину (VM) с 1 ГБ памяти, Linux по умолчанию разобьёт её на примерно 256 000 страниц. А если использовать HugePages размером 1 ГБ - будет всего одна страница. Количество работы для процессора резко уменьшается, и производительность растёт.

Как настроить HugePages

Сначала проверьте, какие размеры HugePages поддерживает ваша система. Для этого выполните команду:

ls /sys/devices/system/node/node0/hugepages/

Пример вывода для AMD EPYC:

hugepages-1048576kB  hugepages-2048kB

Пример вывода для ARM Ampere Altra:

hugepages-1048576kB  hugepages-2048kB  hugepages-32768kB  hugepages-64kB

Это значит, что на AMD доступны HugePages размером 4KB, 2MB и 1GB. В примере мы будем использовать HugePages по 1GB.

Чтобы их настроить, нужно отредактировать файл /etc/default/grub и добавить параметры default_hugepagesz и hugepagesz в переменную GRUB_CMDLINE_LINUX. В нашем случае выставим размер страницы 1GB и количество HugePages равным 16:

GRUB_CMDLINE_LINUX="default_hugepagesz=1G hugepagesz=1G hugepages=16"

Если у вас архитектура NUMA, то параметры hugepagesz и hugepages придётся задавать для каждого узла отдельно. Например, если у вас 2 узла, количество HugePages нужно разделить и указать в формате $HUNODE:$AMOUNT,$HUNODE:$AMOUNT:

GRUB_CMDLINE_LINUX="default_hugepagesz=1G hugepagesz=1G hugepages=0:8,1:8"

Ядро Linux резервирует под HugePages 16 ГБ памяти, но эта память используется только для HugePages и недоступна остальным приложениям. Поэтому количество HugePages нужно рассчитывать исходя из общей памяти сервера, оставив запас для самой системы и других приложений. Для операционной системы должно оставаться минимум 1 ГБ свободной памяти. Если вы используете ZFS или Ceph — им тоже нужно выделить дополнительную память.

После того как вы отредактировали /etc/default/grub, обновите конфигурацию grub:

update-grub

И не забудьте перезагрузить сервер, чтобы изменения вступили в силу.

Проверить HugePages можно командой:

cat /proc/meminfo | grep Huge

Пример вывода:

AnonHugePages:         0 kB
ShmemHugePages:        0 kB
FileHugePages:         0 kB
HugePages_Total:     448
HugePages_Free:        0
HugePages_Rsvd:        0
HugePages_Surp:        0
Hugepagesize:    1048576 kB
Hugetlb:        469762048 kB

Если у вас NUMA-архитектура, HugePages нужно проверять для каждого узла. Для этого выполните:

numastat -cm | egrep "Huge|Node|Mem"

Пример вывода:

                 Node 0 Node 1 Node 2 Node 3  Total
MemTotal         128655 129020 129020 128977 515672
MemFree           12654  12933  12643  13139  51369
MemUsed          116001 116087 116377 115838 464303
AnonHugePages         0      0      0      0      0
ShmemHugePages        0      0      0      0      0
HugePages_Total  114688 114688 114688 114688 458752
HugePages_Free        0      0      0      0      0
HugePages_Surp        0      0      0      0      0

В этом примере у нас 4 узла, на каждом по 128 ГБ памяти, и на каждом выделено по 112 HugePages (112 × 1024 = 114 688 MB).

Как настроить HugePages для виртуальных машин

Большинство параметров HugePages недоступны из интерфейса Proxmox. Их нужно задавать через командную строку или API.

В примере будем использовать HugePages размером 1 ГБ. Количество HugePages зависит от объёма памяти, выделенной ВМ. Для ВМ с 8192 MB памяти это будет 8 HugePages.

Пример конфигурации ВМ /etc/pve/qemu-server/$ID.conf:

# VM config /etc/pve/qemu-server/$ID.conf
memory: 8192
hugepages: 1024
keephugepages: 1

HugePages - это выделенные страницы памяти, закреплённые за конкретной ВМ. Другие виртуалки не могут использовать те же страницы. Параметр keephugepages позволяет оставлять HugePages зарезервированными даже после остановки ВМ. Такая схема не только ускоряет работу, но и повышает безопасность ВМ.

Некоторые приложения, например базы данных, умеют использовать HugePages для хранения данных в памяти. Это ускоряет доступ к данным. Чтобы разрешить использование HugePages внутри ВМ, добавьте флаг CPU +pdpe1gb в конфигурацию:

# VM config /etc/pve/qemu-server/$ID.conf
cpu: host,flags=+pdpe1gb;

proxmox, HugePages

Proxmox: Первичные настройки

anonymous@undisclosed.example.com (Anonymous) — Sun, 02 Nov 2025 17:45:07 +0000

Proxmox: Первичные настройки

Полезные ссылки

https://community-scripts.github.io/ProxmoxVE/scripts - Proxmox VE Helper-Scripts (https://tteck.github.io/Proxmox/ - старый вариант Proxmox VE Helper-Scripts)
https://macrimi.github.io/ProxMenux/ - Супер комбайн для настройки кучи вещейв Proxmox которые пришлось бы делать руками

Автоматизированные шаги

Приводим Proxmox в рабочее состояние:

bash -c "$(curl -fsSL https://raw.githubusercontent.com/community-scripts/ProxmoxVE/main/tools/pve/post-pve-install.sh)"

Данный скрипт:

Подключает No-Subscription Repo репозитории (и можно отключить Enterprise, т.к. без подписки толку от него нет)
Отключает уведомление об отсутствующей подписке
Устанавливает обновления
Перезагружает систему

Устанавливаем обновления микрокода для процессоров Intel & AMD:

bash -c "$(curl -fsSL https://raw.githubusercontent.com/community-scripts/ProxmoxVE/main/tools/pve/microcode.sh)"

В некоторых случаях стоит подумать о смене CPU Scaling Governor:

bash -c "$(curl -fsSL https://raw.githubusercontent.com/community-scripts/ProxmoxVE/main/tools/pve/scaling-governor.sh)"

Чистим старые ядра:

bash -c "$(curl -fsSL https://raw.githubusercontent.com/community-scripts/ProxmoxVE/main/tools/pve/kernel-clean.sh)"

Если активно используются контейнеры LXC - я дополнительно ставлю LXC-IP-tag чтобы не вспоминать какие у них IP:

bash -c "$(curl -fsSL https://raw.githubusercontent.com/community-scripts/ProxmoxVE/main/tools/pve/add-lxc-iptag.sh)"

Только дополнительно правлю диапазон адресов в /opt/lxc-iptag/iptag.conf на

CIDR_LIST=(
  192.168.0.0/16
  10.0.0.0/8
)

и перезапускаю службу:

systemctl restart iptag.service

Подключение репозиториев руками

Если описанные выше скрипты не подошли или есть желание сделать все контролируемо, штош.

Редактируем /etc/apt/sources.list, добавляем:

Proxmox 7.x - ничего не доавляем, должны уже быть строки:

deb http://ftp.debian.org/debian bullseye main contrib
deb http://ftp.debian.org/debian bullseye-updates main contrib

Proxmox 6.x:

###### Debian Main Repos
deb http://deb.debian.org/debian/ buster main contrib non-free
deb http://deb.debian.org/debian/ buster-updates main contrib non-free
deb http://deb.debian.org/debian-security buster/updates main
deb http://ftp.debian.org/debian buster-backports main

Исправляем файл /etc/apt/sources.list.d/pve-enterprise.list для отключения подписки:

Proxmox 7.x:

#deb https://enterprise.proxmox.com/debian/pve bullseye pve-enterprise
deb http://download.proxmox.com/debian/pve bullseye pve-no-subscription

Proxmox 6.x:

#deb https://enterprise.proxmox.com/debian/pve buster pve-enterprise
deb http://download.proxmox.com/debian/pve buster pve-no-subscription

Обновляем:

apt update
apt upgrade -y

Отключение уведомления о подписке

При входе в веб-интерфейс получаем сообщение «You do not have a valid subscription for this server. Please visit www.proxmox.com to get a list of available options», которая уведомляет нас о том что отсутствует подписка. Данное сообщение напрягает, убираем:

Для 8.4.5:

echo "DPkg::Post-Invoke { "dpkg -V proxmox-widget-toolkit | grep -q '/proxmoxlib\.js$'; if [ $? -eq 1 ]; then { echo 'Removing subscription nag from UI...'; sed -i '/.*data\.status.*active/{s/!//;s/active/NoMoreNagging/}' /usr/share/javascript/proxmox-widget-toolkit/proxmoxlib.js; }; fi"; };" >/etc/apt/apt.conf.d/no-nag-script

Для более ранних версий:

echo "DPkg::Post-Invoke { \"dpkg -V proxmox-widget-toolkit | grep -q '/proxmoxlib\.js$'; if [ \$? -eq 1 ]; then { echo 'Removing subscription nag from UI...'; sed -i '/.*data\.status.*{/{s/\!//;s/active/NoMoreNagging/}' /usr/share/javascript/proxmox-widget-toolkit/proxmoxlib.js; }; fi\"; };" >/etc/apt/apt.conf.d/no-nag-script

apt --reinstall install proxmox-widget-toolkit

Старый вариант, сейчас уже не работает:

sed -i "s/getNoSubKeyHtml:/_getNoSubKeyHtml:/" /usr/share/javascript/proxmox-widget-toolkit/proxmoxlib.js

proxmox, settings, настройки, repositories, репозитории

Proxmox: Проблемы при установке

anonymous@undisclosed.example.com (Anonymous) — Mon, 17 Feb 2025 19:21:06 +0000

Proxmox: Проблемы при установке

Примечание: бОльшая часть пофикшена в 8-й версии, при установке лучше выбирать Install Proxmox VE (Console)

Проблема с видеокартой

Симптомы: «Cannot run in framebuffer mode. Please specify busIDs for all framebuffer devices», «unable to connect to X server. Resource temporary unavailable»

Решение:

При установке выбрать Install Proxmox VE (Debug mode)
При загрузке будет ошибка, нужно через CTRL-d выйти на командную строку
Смотрим какое у нас VGA-устройство (видеокарта):
```
lspci| grep -i vga
```
и запоминаем BusID
Создаем папку:
```
mkdir -p /usr/share/X11/xorg.conf.d
```
Создаем файл
```
vi /usr/share/X11/xorg.conf.d/10-fbdev.conf
```
и вставляем в него:

Section "Device"
    Identifier "Card0"
    Driver "fbdev"
    BusID "pci0:2:0"
EndSection

Сохраняем :wq!
Продолжаем установку:
```
xinit -- -dpi 96 >/dev/tty2 2>&1
```
Если не заработало - пробуем другие BusID, например: pcie00:02:00:00, pci0:2:0:0

Серый экран даже в текстовом режиме

Выбираем текстовый режим
Нажимаем 'e' для редактирования параметров загрузки
Заменяем vga=788 на nomodeset
Нажимаем Ctrl+x или F10 для продолжения установки
Проходим по всем шагам инсталлятора

proxmox, troubles, screen, black, gray, vga, nomodeset

Proxmox: Установка

anonymous@undisclosed.example.com (Anonymous) — Sun, 04 Jun 2023 14:42:04 +0000

Proxmox: Установка

В данном примере рассматривается установка Proxmox на железо или виртуальную машину из образа. Второй вариант - установка на уже развернутый Debian не рассматривается.

Установка проста и занимает 10-15 минут в зависимости от вашего оборудования.

Шаги установки:

Загрузить ISO актуальной версии (на скриншотах 6.4) со страницы https://www.proxmox.com/en/downloads/category/iso-images-pve
На сервере отключите все диски, кроме основного, на который будет устанавливаться Proxmox
Загрузитесь с ISO

Экран 1

Выберите «Install Proxmox VE»

Если у вас отключена виртуализация в BIOS вы увидите следующую картинку:

Если сервер железный - необходимо перезагрузить, зайти в BIOS и включить средства виртуализации.

Экран 2
Лицензионное соглашение EULA, нажмите «I Agree»

Экран 3

В поле «Target harddisk» выберите ваш диск, на который будет устанавливаться Proxmox. Все данные на нем будут уничтожены!

Экран 4

Выберите страну, временную зону. Раскладку клавиатуры лучше оставить по умолчанию.

Экран 5

Введите пароль и подтверждение, адрес электронной почты.

Экран 6

Выберите основной сетевой интерфейс, введите полное имя сервера в формате FQDN (например pve.mydomain.com), IP-адрес с маской, шлюз и DNS-сервер. Если в сети уже есть DHCP - эти параметры будут заполнены автоматически. Но желательно поменять сетевые настройки на статический адрес.

Экран 7

Суммарная информация по установке. Желательно проверить все ли верно и после нажатия Install будет произведена установка Proxmox VE.

После установки можно зайти на веб-интерфейс по адресу https://pve.mydomain.com:8006/ под пользователем root и вашим паролем который вводили на шаге 5

proxmox, VE, setup, установка, развертывание

Proxmox: PCI(e) Passthrough / IOMMU

anonymous@undisclosed.example.com (Anonymous) — Mon, 01 Sep 2025 17:57:50 +0000

Proxmox: PCI(e) Passthrough / IOMMU

Документация: https://pve.proxmox.com/wiki/PCI(e)_Passthrough

Репозитоий для карт Nvidia: https://gitlab.com/polloloco/vgpu-proxmox

Проброс устройств напрямую в виртуальную машину.

Проверяем в BIOS, должны быть включены настройки для VT-d/AMD-d CPU, обычно это что-то вроде «Enable Virtualization Technology» или «Intel Virtualization Technology for Directed I/O (VT-d.)» или «AMD-Vi» или «IOMMU»
Проверяем что у нас используется для загрузки командой
```
efibootmgr -v
```
если получаем что-то вроде «File(\EFI\SYSTEMD\SYSTEMD-BOOTX64.EFI)» - значит это не GRUB а EFI
Если в Proxmox используется GRUB то в /etc/default/grub добавляем строки ниже, потом запускаем
```
update-grub2
```
- Intel: GRUB_CMDLINE_LINUX_DEFAULT=«quiet intel_iommu=on iommu=pt»
- AMD: GRUB_CMDLINE_LINUX_DEFAULT=«quiet amd_iommu=on iommu=pt»
Если у нас ZFS то в /etc/kernel/cmdline добавляем строки ниже, потом запускаем
```
pve-efiboot-tool
```
- Intel: root=ZFS=rpool/ROOT/pve-1 boot=zfs quiet intel_iommu=on iommu=pt
- AMD: root=ZFS=rpool/ROOT/pve-1 boot=zfs quiet amd_iommu=on iommu=pt
Добавляем модули ядра в /etc/modules строки:
```
vfio
vfio_iommu_type1
vfio_pci
vfio_virqfd
```
и потом запускаем
```
update-initramfs -u -k all
```
Перезагружаем Proxmox

Проверяем:

# dmesg | grep -e DMAR -e IOMMU -e AMD-Vi

Добавляем устройство в свойствах VM через Hardware → Add → PCI Device, выбираем нужное устройство и перезагружаем виртуальную машину (если она включена)

Proxmox: включить /dev/tun для LXC

anonymous@undisclosed.example.com (Anonymous) — Fri, 15 Aug 2025 13:08:47 +0000

Proxmox: включить /dev/tun для LXC

При попытке запустить в контейнере LXC внутри Proxmox можно получить ошибку: «/dev/net/tun»: no such file or directory«

Останавливаем контейнер, добавляем в /etc/pve/lxc/CONTAINER_NAME.conf:

lxc.cgroup2.devices.allow: c 10:200 rwm
lxc.mount.entry: /dev/net dev/net none bind,create=dir

и запускаем контейнер. Ошибка должна уйти.

proxmox, container, lxc, dev, net, tun

Proxmox: Миграция VM из VMware

anonymous@undisclosed.example.com (Anonymous) — Sun, 18 Jun 2023 15:00:49 +0000

Proxmox: Миграция VM из VMware

Подробные инструкции тут: https://pve.proxmox.com/wiki/Migration_of_servers_to_Proxmox_VE#VMware

Шаги:

Останавливаем VM в VMware
Выполняем экспорт средствами VMware Console: File / Export / Export OVF Template. Выбираем формат OVF (получится несколько файлов) или OVA (1 файл-архив, его потребуется распаковать - а, значит, дополнительное место)
Копируем полученную папку (ovf) или файл (ova) на Proxmox
Если делали бэкап в ova - распакуйте архив командой
```
tar -xvf my-server.ova
```
Выполняем импорт VM командой
```
qm importovf 110 my-server.ovf local-lvm
```
Дожидаемся окончания импорта, проверяем все ли устройства присутствуют, например сетевой адаптер. Для импортированных VM лучше устанавливать модель сетевого устройства «VMware vmxnet3» если нужны какие-то настройки. Далее можно сменить на рекомендованный VirtIO (paravirtualized)
Для Windows понадобится пара дополнительных шагов:
- Используем UEFI вместо BIOS:
```
qm set 110 --bios ovmf
```
- Windows требует дополнительных драйверов для использования SCSI, поэтому используем IDE для начала работы (в примере 110 - id виртуальной машины). Далее необходимо поставить драйвера согласно https://pve.proxmox.com/wiki/Windows_10_guest_best_practices
```
sed -i 's/scsi/sata/g' /etc/pve/qemu-server/110.conf
```
Запускаем VM, проверяем что VM запускается и работает
Удаляем VMware tools
```
apt remove open-vm-tools
```
Устанавливаем Guest Agent (Linux)
```
apt install qemu-guest-agent
```
или загружаем ISO для Windows отсюда: https://pve.proxmox.com/wiki/Qemu-guest-agent

proxmox, vmware, import, export, migrate

Proxmox: Настраиваем Nginx в роли Reverse Proxy

anonymous@undisclosed.example.com (Anonymous) — Thu, 22 Feb 2024 20:33:43 +0000

Proxmox: Настраиваем Nginx в роли Reverse Proxy

Настройка Nginx в роли Reverse Proxy не сложна, но если не знать некоторых особенностей то не будут работать консоль и загрузка iso-файлов. Ниже пример готового конфига.

server {
    listen 80;
    server_name pve.you-domain.com;
    return 301 https://$host$request_uri;
}

server {
    listen 443 ssl http2;
    server_name pve.you-domain.com;
    ssl on;
    ssl_certificate /etc/nginx/certs/*.you-domain.com/fullchain;
    ssl_certificate_key /etc/nginx/certs/*.you-domain.com/key;

    add_header Allow "GET, POST, HEAD, PUT, DELETE" always;
    if ($request_method !~ ^(GET|POST|HEAD|PUT|DELETE)$) {
        return 405;
    }

    location / {
        proxy_pass https://10.10.10.5:8006;

        # Disable buffering to serve data immediately to clients.
        # Increase timeouts from default 60 seconds to 5 minutes for the console not to close when no data is transferred.
        # Additionally the max_body_size was increased to 5 GB to allow uploads of huge ISOs via the Web UI.
        proxy_buffering off;
        proxy_buffer_size 4k;
        client_max_body_size 5g;
        proxy_connect_timeout 300s;
        proxy_read_timeout 300s;
        proxy_send_timeout 300s;
        send_timeout 300s;

        # Enable proxy websockets for the noVNC console to work
        proxy_http_version 1.1;
        proxy_set_header Upgrade $http_upgrade;
        proxy_set_header Connection "upgrade";

        # Standard proxying headers
        proxy_set_header Host $host;
        proxy_set_header X-Real-IP $remote_addr;
        proxy_set_header X-Forwarded-Host $server_name;
        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
      
        # SSL proxying headers
        proxy_set_header X-Forwarded-Proto $scheme;
        proxy_set_header X-Forwarded-Ssl on;
    }
}

proxmox, nginx, reverse proxy

Proxmox: привязка CPU к виртуальным машинам

anonymous@undisclosed.example.com (Anonymous) — Sun, 14 Sep 2025 11:00:51 +0000

Proxmox: привязка CPU к виртуальным машинам

Взял отсюда: https://telegra.ph/Proxmox-privyazka-CPU-k-virtualnym-mashinam-09-03

Создаём виртуалку с нужной конфигурацией.

Проверяем архитектуру CPU и NUMA-узлы:

lscpu | grep NUMA

Ожидаемый вывод должен показать NUMA-узлы и ядра:

NUMA node(s):                       4
NUMA node0 CPU(s):                  0-7,32-39
NUMA node1 CPU(s):                  8-15,40-47
NUMA node2 CPU(s):                  16-23,48-55
NUMA node3 CPU(s):                  24-31,56-63

У нас 4 NUMA-узла, в каждом по 8 ядер и 8 потоков.

Если нужно «привязать» виртуалку к конкретному NUMA-узлу, например к первому, то используем affinity 0-7,32-39.

Файл конфигурации VM в Proxmox должен содержать параметры numa, cpu и affinity:

cores: 16
cpu: cputype=host
affinity: 0-7,32-39
numa: 1
numa0: cpus=0-15,hostnodes=0,memory=114688,policy=bind

Здесь мы создаём виртуалку с 16 ядрами и 112 ГБ памяти.

cpu: host - используем тип CPU «host» для максимальной производительности
affinity: 0-7,32-39 - привязка VM к ядрам NUMA-узла 0
numa: 1 - включаем поддержку NUMA внутри виртуалки
numa0 - указываем, что у VM есть NUMA-узел 0 с 16 ядрами, привязанный к NUMA-узлу 0 на хосте, и с памятью 114688 MB, выделенной в том же NUMA-узле

На стороне VM видим один NUMA-узел с 16 ядрами:

# lscpu | grep NUMA
NUMA node(s):                         1
NUMA node0 CPU(s):                    0-15

proxmox, numa, cpu affinity

Proxmox: Установка Proxmox Backup Server в LXC Container

anonymous@undisclosed.example.com (Anonymous) — Sat, 17 Feb 2024 11:34:43 +0000

Proxmox: Установка Proxmox Backup Server в LXC Container

Источник: https://docs.jdbnet.co.uk/Proxmox/Install-Proxmox-Backup-Server-in-an-LXC-Container/

Иногда бывает необходимо развернуть PBS но нет отдельной железки. Выход в поднятии виртуального PBS.

Устанавливаем Debian 12 LXC, минимальное железо: 2 ядра и 2GB RAM. Диски подключаем по желанию/возможностям.

Обновляем систему:

apt update
apt dist-upgrade -y

Добавляем ключ:

wget https://enterprise.proxmox.com/debian/proxmox-release-bookworm.gpg -O /etc/apt/trusted.gpg.d/proxmox-release-bookworm.gpg

Добавляем рпозиторий:

echo "deb http://download.proxmox.com/debian/pbs bookworm pbs-no-subscription" >> /etc/apt/sources.list

Устанавливаем пакеты:

apt update
apt install proxmox-backup-server -y

Готово, проверяем web UI на порту 8007

proxmox, backup, server, LXC, virtual

Proxmox: Полезные вещи

anonymous@undisclosed.example.com (Anonymous) — Wed, 11 Sep 2024 05:47:19 +0000

Proxmox: Полезные вещи

Сборник ссылок на полезные проекты

Огромное количество полезных скриптов https://tteck.github.io/Proxmox/ и репозиторий https://github.com/tteck/Proxmox

Отключалка уведомлений о подписках:

$ cat no-nag-script
DPkg::Post-Invoke { "dpkg -V proxmox-widget-toolkit | grep -q '/proxmoxlib\.js$'; if [ $? -eq 1 ]; then { echo 'Removing subscription nag from UI...'; sed -i '/data.status/{s/\!//;s/active/NoMoreNagging/}' /usr/share/javascript/proxmox-widget-toolkit/proxmoxlib.js; }; fi"; };

Proxmox-Enhanced-Configuration-Utility (PECU): https://github.com/Danilop95/Proxmox-Enhanced-Configuration-Utility - скрипт на bash который умеет управлять репами, конфигурить GPU, оптимизировать Proxmox и многое другое.
Миграция VM между кластерами: https://github.com/ossobv/proxmove
Балансировщик нагрузки виртуальных машин в кластере Proxmox: https://github.com/gyptazy/ProxLB. ProxLB (PLB) - это усовершенствованный инструмент, разработанный для повышения эффективности и производительности кластеров Proxmox за счет оптимизации распределения виртуальных машин или контейнеров по узлам кластера с помощью API Proxmox. ProxLB тщательно собирает и анализирует полный набор показателей ресурсов как с узлов кластера, так и с работающих VM. Эти показатели включают использование CPU, потребление памяти и использование диска, уделяя особое внимание локальным дисковым ресурсам. PLB собирает данные об использовании ресурсов с каждого узла в кластере Proxmox, включая использование CPU, диска и памяти. Кроме того, он собирает статистику использования ресурсов со всех работающих VM, обеспечивая детальное понимание распределения рабочей нагрузки кластера. Интеллектуальная перебалансировка - ключевая функция ProxLB, при которой он перебалансирует VM на основе использования их памяти, диска или CPU, гарантируя, что ни один узел не будет перегружен, а другие останутся недоиспользованными. Возможности перебалансировки PLB значительно повышают производительность и надежность кластера. Гарантируя равномерное распределение ресурсов, PLB помогает предотвратить превращение любого узла в узкое место производительности, повышая надежность и стабильность кластера. Эффективная перебалансировка приводит к лучшему использованию доступных ресурсов, потенциально снижая потребность в дополнительных инвестициях в оборудование и снижая эксплуатационные расходы.
LXC AutoScale is a resource management daemon specifically designed for Proxmox environments: https://github.com/fabriziosalmi/proxmox-lxc-autoscale
Proxmox V7 for Raspberry Pi: https://github.com/pimox/pimox7

proxmox, scripts, tteck, proxmove, ProxLB, LXC, AutoScale

Proxmox: Миграция VM между хостами

anonymous@undisclosed.example.com (Anonymous) — Sun, 18 Jun 2023 14:49:17 +0000

Proxmox: Миграция VM между хостами

https://pve.proxmox.com/wiki/Migration_of_servers_to_Proxmox_VE

Если есть Proxmox, значит рано или поздно появится необходимость мигрировать VM между нодами. Существует несколько вариантов, каждый из них может быть полезен в своем случае.

Небольшие замечания:

Желательно иметь общие хранилища, подключенные ко всем хостам. Это может быть NFS/SAMBA(CIFS)/iSCSI и т.д.
Чем больше свободного места на хранилищах - тем лучше
Чем выше скорость хранилища/каналов - тем быстрее все будет работать

Вариант 1: через создание бэкапа

Выбираем нужную VM, нажимаем Backup и настраиваем:
- Storage: на какое хранилище нужно бэкапить
- Mode: режим бэкапа- т.е. можно делать без остановки VM но изменения сделанные после запуска бэкапа будут потеряны
- Compression: рекомендуется оставить по умолчанию
Ждем выполнения бэкапа
На новой ноде выбираем нужное хранилище (Storage), заходим в раздел Backups, выбираем нужный бэкап, нажимаем Restore, ждем

Вариант 2: кластер

Если нет общих хранилищ или места на них не хватит, можно поднять кластер и в его рамках сделать перемещение (Move) виртуальных машин.

Первичные требования:

Хост с Proxmox и уже существующими VM (далее Host1)
Новый хост с установленным Proxmox (далее Host2). Внимание: на нем не должно быть создано никаких VM!

Общий порядок действий:

На Host1 поднимаем кластер
Подключаем Host2 в кластер
Убеждаемся что кластер работает и хосты видны друг для друга
На Host1 выбираем нужную VM, нажимаем Migrate, выбираем Hos2 в качестве цели (Target Node). Запускаем миграцию. Примечание: выбор Storage на Host2 возможен только если VM включена. Если же VM выключена - она автоматически переносится на Storage у Host2 с таким же именем, что и на Host1. Почему так сделано - не понимаю, надеюсь допилят.
По окончании переноса можно удалить кластер: Proxmox: Работа с кластером

Proxmox: ZFS

anonymous@undisclosed.example.com (Anonymous) — Wed, 03 Jul 2024 17:17:25 +0000

Proxmox: ZFS

Больше информации: https://pve.proxmox.com/wiki/ZFS_on_Linux

Ситуация: один из дисков в ZFS Pool'е умер, массив в статусе Degraded, нужно заменить на новый.

Решение:

Меняем диск на новый
Смотрим статус пула:
```
zpool status -v
```
Смотрим все диски, ищем идентификатор нового:
```
ls -alh /dev/disk/by-id/
```
Инициализируем диск как GPT. Через веб: Server / Disks, выбираем новый диск, нажимаем «Initialize Disk with GPT» или через консоль:

parted /dev/new-disk
(parted)# print
(parted)# mklabel GPT
(parted)# Yes
(parted)# q

Заменяем старый на новый:
```
zpool replace zfs scsi-3600605b0068d10102e168f08a72c590e scsi-3600605b0068d10102e17ec701302c89d
```
, правильно указав следующее:
- zfs - имя пула
- scsi-3600605b0068d10102e168f08a72c590e - старый диск
- scsi-3600605b0068d10102e17ec701302c89d - новый диск

Если диск вываливался из массива и успешно вернулся обратно в строй, то в поле CKSUM для данного диска могут быть ненулевые значения. Если состояние массива ONLINE и проблем нет, то можно убрать командой:

zpool clear zfs

где zfs - имя пула

proxmox, zfs, pool, replace disk, замена диска