Переезд, тайпсквоттинг и магнитные ленты

В июньском DevOps-дайджесте рассказали о будущем переезде официального хранилища с бинарниками Kubernetes и разновидности тайпсквоттинга при помощи ChatGPT. Ещё вас ждёт исторический экскурс в историю ленточных накопителей и наш прогноз о том, когда на один картридж с магнитной лентой будет влезать почти 1.5 петабайта данных. Поехали!

dl.k8s.io переедет на Fastly

Бинарники Kubernetes скачивают каждый день по всему миру, а ежемесячный трафик репозитория превысил значение в 5 петабайт. Чтобы справиться с нагрузками, проект решили перенести на высокопроизводительный CDN от Fastly. Этот американский cloud-провайдер обладает отличным портфолио и развитой CDN-инфраструктурой. Компания, конечно, зарабатывает на продаже услуг, но поправляет карму поддержкой Open Source и некоммерческих инициатив с помощью программы Fast Forward.

С 24 июля домен dl.k8s.io поменяет хранилище и пул IP-адресов. Большинство пользователей ничего не заметит, домен останется прежним. Но если в вашей организации есть фильтрация определённых диапазонов IP-адресов, то доступ к dl.k8s.io может быть утерян. Поскольку смена пула адресов будет производиться без переходного периода, то рекомендуем заранее внести подсети Fastly в список разрешённых и протестировать их доступность из ваших сетей.

Опасные галлюцинации

Генеративные нейронные сети продолжают удивлять. Одни исследователи восхищены их возможностями, другие предупреждают человечество об их опасности. ChatGPT напоминает джина из бутылки. Если он попадает в руки хорошего человека, то с его помощью можно существенно улучшить жизнь. Ну а в руках злоумышленника ChatGPT превращается в опасное оружие, позволяющее проводить атаки более высокого уровня.

Компания Vulcan, специализирующаяся на управлении рисками, провела независимое исследование и выяснила, что текстовые генеративные нейросети могут создавать отдельный вектор атаки. Результаты были опубликованы в блоге компании. Оказалось, что статистические галлюцинации нейросети могут привести к тому, что в цепочку поставок могут попасть сторонние пакеты.

До недавнего времени злоумышленники активно использовали метод typosquatting, основанный на наиболее часто встречающихся опечатках. Они регистрировали домены, максимально похожие на легитимные, но с опечатками, которые легко допустить на стандартной QWERTY-клавиатуре. Таким образом «промахнувшийся» пользователь мог попасть на заранее подготовленную фишинговую страницу или скачать вредоносный пакет.

Сейчас же ситуация в корне изменилась. DevOps-инженеры стали решать свои проблемы с помощью генеративных нейросетей и бесконтрольно использовать сгенерированный ими код. В таком коде нейросеть может включать множество зависимостей, часть из которых не существует. Это и есть проявление статистической галлюцинации — если нейросеть не знает какого-то ответа на вопрос, то может его придумать и выдать пользователю. Как раз такие несуществующие пакеты могут быть специально сгенерированы злоумышленниками и загружены в общедоступные репозитории.

И если не изучать сгенерированный нейросетью код, то вредонос встроится в цепочку поставок и распространится. Конечно, это не значит, что нужно отказаться от применения ChatGPT в рабочих задачах, но пристально изучайте все зависимости созданного им кода, а не бездумно копипастите в продакшен.

Хранение на лентах: тогда и сейчас

Ленточные накопители — одни из старейших устройств хранения информации. Сначала на них записывали музыку, а с 1951 году применяют в качестве накопителей информации (начиная с компьютера UNIVAC I). Представленный в 1964 году мейнфрейм IBM System/360 поддерживал накопители на магнитной ленте в качестве стандарта.

Разумной альтернативы не было до 1973 года, пока не разработали первый жёсткий диск, имевший внутреннее обозначение 30-30, то есть два модуля по 30 МБ каждый. Это очень напоминало старейший стандарт винтовочных патронов .30-30 Winchester. Так любой жёсткий диск на сленге стали называть винчестером.

Но и магнитные ленты никуда не делись. При разработке домашнего 8-битного компьютера Commodore в качестве накопителя был выбран наиболее бюджетный формат — аудиокассета. На стандартную 90-минутную кассету помещалось 660 КБ данных, что позволяло записать от 7 до 10 игр. Производители игровых консолей даже какое-то время делали ставку на аудиокассеты, выпуская специализированные рекордеры. Правда, потом появляется альтернатива — более скоростные и удобные флоппи-диски.

И снова развитие магнитных лент уходит в сторону. На этот раз в узкое, специализированное применение — архивное хранение больших объёмов данных. Устройства для чтения/записи таких лент называются стримерами.

Любопытно, что в середине 90-х годов в России создали устройство с названием АрВид (сокращение от слов Архиватор на Видео). Оно представляло собой ISA-плату, которая подключалась к любому бытовому видеомагнитофону и превращала его в стример, использующий обычные VHS-кассеты. Для управления видеомагнитофоном плата использовала ИК-светодиод и эмуляцию команд пульта дистанционного управления. На обычную 180-минутную видеокассету помещалось от 2 до 3.25 ГБ несжатых данных, то есть столько же, сколько и на типичный жёсткий диск того времени. А вот стоили чистые видеокассеты гораздо дешевле.

В итоге ленты полюбились в качестве носителя «долгих» данных. В 2000 году увидел свет стандарт LTO (Linear Tape-Open), вмещавший 100 Гб данных на одном картридже с лентой внутри. Спустя 10 лет пятая версия стандарта увеличила этот показатель до 1.5 ТБ. Также была разработана специализированная файловая система LTFS, позволившая работать с лентами на уровне каталогов и файлов, а не просто архивов. Актуальная, на момент выхода этого дайджеста, версия LTO-9 позволяет сохранить на одном LTO-картридже 18 ТБ несжатых данных или 45 ТБ сжатых. При этом стоимость картриджа всего лишь $115, а гарантированный срок хранения 30 лет. Для сравнения — жёсткий диск на 18 ТБ стоит $270, а рекомендуемый срок службы составляет 5 лет.

Получается, что хранить данные на магнитной ленте дешевле всего. Так почему же вместо покупки картриджей с лентой, мы используем более дорогие жёсткие диски или платим за место в облачных хранилищах?

Ответ прост — стримеры очень дорогие. От $5000 и это обусловлено сложностью производства. Устройства с прецизионной механикой всегда стоили дорого, а когда речь идёт о мелкосерийных высокотехнологичных девайсах, то к ценнику сразу добавляют несколько нулей в конце. Стримеры выгодно приобретать не отдельно, а в составе автоматизированных ленточных библиотек на несколько десятков картриджей.

Но приятные новости тоже есть. Производители ещё не достигли предела плотности размещения информации. Если верить дорожной карте IBM, то будущий стандарт LTO-14 будет вмещать 576 ТБ несжатых или 1.440 ПБ сжатых данных на одном картридже. Несмотря на то, что у нас нет данных о предполагаемой дате выхода, можно сделать предположение. Исторически, выход каждой новой версии формата LTO занимал 2-3 года. LTO-10 ждём в этом году, а LTO-14 вероятно будет готов к 2035.

Митапы

Вакансии