Апдейтов подъехало

Выход нового ядра Linux, долгожданные обновления PostgreSQL и VirtualBox. Октябрь ещё не закончился, а уже принёс множество хороших новостей. Но обо всём по порядку.

VirtualBox 7 идёт в OCI

История гипервизора VirtualBox началась с компании Innotek. Взяв 15 лет назад за основу исходники QEMU, компания смогла создать действительно успешный продукт. Он пережил приобретение компанией Sun Microsystems, а затем поглощение компанией Oracle. Всё это время Virtualbox развивался, обеспечивая всех желающих простым, но в то же время функциональным гипервизором.

Время диктует свои требования, так что Oracle решила сделать из VirtualBox гибридный инструмент, внедрив туда интеграцию собственной облачной инфраструктуры Oracle Cloud Infrastructure (OCI). Пока что это выглядит маркетинговым экспериментом для исследования потребностей рынка.

Если на облачный сервис будет спрос — дальнейшее развитие локальной виртуализации может прекратиться. VirtualBox в этом случае станет всего лишь клиентом, как VMware или Citrix. Будем надеяться на лучшее, ведь для этого есть как минимум один важный повод. Пока сложно сказать, к чему приведут такие эксперименты, но существует мнение, что и это VirtualBox переживёт.

Новая версия гипервизора содержит Developer Preview для компьютеров на базе процессоров Apple Silicon (M1/M2). Это сильный ход, ведь до этого момента с гипервизорами на этой архитектуре было непросто. Если же он станет адекватно работать на Apple Silicon, то легко сможет обойти конкурентов и занять эту нишу.

Linux Kernel 6

Выход новой версии ядра стал одним из самых обсуждаемых событий этого месяца. В первую очередь, из-за отказа Линуса Торвальдса использовать нумерацию вида 5.19.12.

Во-вторых, ядро получило поддержку свежего железа: процессоров Intel Raptor Lake и будущего 14-го поколения Meteor Lake, а также AMD Threadripper и EPYC. Новые графические процессоры Intel ARC и будущие AMD Radeon RX 7000 тоже не забыли. Более того в ядро были внесены необходимые изменения для поддержки китайской микроархитектуры LoongArch. Отрадно, что времена, когда производители железа не воспринимали Linux всерьёз давно канули в лету. Теперь у него равные шансы с Windows на поддержку современного оборудования.

Для энтузиастов одноплатных компьютеров Raspberry Pi 4 также есть хорошая новость. Стек графических драйверов Mesa v3d, используемый по умолчанию в Raspberry Pi OS для этих «малинок», получил обновление.

Отдельно стоит отметить, что постоянный взгляд в будущее стал причиной того, что уже сейчас 6 версия ядра получила поддержку лэптопов на процессорах Qualcomm Snapdragon.

Забавным моментом этого релиза стало исправление бага, которому стукнуло уже 20 лет. Речь идёт о коде, применявшемся примерно в 2002 году в качестве workaround-решения для процессоров Intel. Когда ACPI пыталось отправить ядро в режим ожидания — это происходило не мгновенно, а процессор какое-то время продолжал работать, хотя должен был остановиться.

Так что код добавлял несколько фиктивных операций чтения ввода-вывода, чтобы процессор не мог «по инерции» продолжать работу. В итоге об этом коде благополучно забыли, современные процессоры Intel его даже не используют. А вот пользователи AMD продолжали натыкаться на снижение производительности. Теперь же эта проблема решена.

Экспериментальная KataOS

И снова мы обратим свой взгляд на Google. Эти ребята приготовили в октябре кое-что особенное — они решили создать операционную систему, безопасность которой можно доказать математически. Звучит как что-то странное, но на деле означает особую архитектуру и выбор уже зарекомендовавших себя компонентов.

Основой ОС будет микроядро seL4 (не путать с seLinux), выполняющее формальную проверку кода по существующим спецификациям и одновременно являющееся гипервизором. Значит, ситуации с переполнением буфера, исключением нулевого указателя, использования после освобождения и тому подобным исключены. На официальном сайте микроядра есть прекрасный Whitepaper, дающий представление о том как это работает.

Большая часть операционной системы KataOS написана на Rust. Для облегчения задачи запуска Rust-приложений на seL4, корпорация добра заручилась поддержкой Antmicro. Эта компания разрабатывает периферийные вычислительные системы для различных отраслей промышленности (робототехника, оборона, гражданская безопасность, компьютерное зрение, радиовещание, IoT).

Предполагается, что приложения для seL4 должны использовать компоненты платформы разработки CAmkES. Тем не менее внутри KataOS можно будет динамически загружать и запускать сторонние приложения, хоть такая возможность ещё не представлена в репозитории проекта.

Впереди ещё много работы по созданию эталонной реализации (запуск на защищённой аппаратной платформе), так называемый Project Sparrow.

Ну и в конце давайте подумаем — зачем нужна Google такая ОС? Цель амбициозна — создание полностью безопасной платформы для машинного обучения, где можно обрабатывать самые чувствительные данные и не опасаться утечек в результате взлома. Получится ли у Google задуманное или проект пополнит знаменитое кладбище корпорации? Обязательно проследим и напишем об этом в будущих дайджестах.

PostgreSQL 15 увидел свет

Сортировка данных в результате запроса всегда была ресурсозатратной операцией. Именно на этом сфокусировали внимание разработчики и серьезно переработали алгоритмы сортировки в памяти и на диске. В зависимости от типа данных тесты демонстрируют ускорение в диапазоне от 25% до 400%.

WAL теперь можно сжимать, сокращая объём данных за счёт небольшой нагрузки на CPU. Используются проверенные временем алгоритмы компрессии LZ4 и Zstandard. Инструмент pg_basebackup также обзавёлся механизмами сжатия резервных копий с помощью gzip, LZ4 или zstd.

Ещё одним нововведением стала команда MERGE, которую ждали все поклонники PostgreSQL. Раньше, чтобы обновить целевую таблицу из исходной, приходилось использовать метод Upsert Using INSERT ON CONFLICT statement. Новая команда поможет элегантно решать задачу сбора периодически поступающих данных из внешних источников (например, с датчиков).

PostgreSQL научился вести журнал в JSON. Каждая строка журнала сериализуется как объект JSON с набором ключей и связанных с ними значений. Это открывает возможность для простого экспортирования файлов журнала в сторонние приложения. Подумали и о безопасности — в схеме public (или по-умолчанию) правом CREATE теперь обладает только владелец БД. Учитывайте это при обновлении.

Обо всех остальных существенных изменениях стоит почитать в официальной документации.

900 кластеров кубера

Всегда интересно узнать, как технологиями пользуются корпорации, лидеры рынка. Давайте посмотрим на опыт Mercedes с Kubernetes. Кстати, его название пошло из греческого языка — словом κυβερνήτης (читается как «кувернитис») обозначают губернатора или пилота корабля/самолёта.

В июне 2014 года Google публикует свою внутреннюю разработку, систему оркестрации контейнеров Kubernetes. Некоторые крупные корпорации не жалеют средств на R&D и поэтому сразу начинают изучать возможности новой системы. Уже в 2015-ом крупнейший автопроизводитель в мире, Mercedes-Benz начинает применять её внутри своей инфраструктуры и накапливать экспертизу внутри команды Mercedes-Benz Tech Innovation.

Сразу стало очевидно, что создание общего кластера не будет соответствовать потребностям бизнес-подразделений. А вот множество локальных кластеров смогут решить поставленные задачи. Число таких кластеров уже достигло 900.

На сегодняшний день используется версия 1.23, а управляется всё это добро с помощью ClusterAPI OpenStack. Это своеобразный рекорд, ведь даже в CERN насчитывается лишь чуть более двух сотен кластеров.

Руководитель Mercedes-Benz Tech Innovation, Йорг Шюлер, отмечает хорошую работу системы и легкость масштабирования. За годы эксплуатации было разработано множество инструментов управления и взят тренд на перемещение рабочих нагрузок в облачные сервисы, такие как Microsoft Azure Kubernetes Service (AKS) и Amazon Elastic Kubernetes Service (EKS).

Митапы

Вакансии