Хеловиним, сисадминим

Люблю нашу компанию — народ почти в полном составе наряжается, так что каждый Хэллоуин в офисе — праздник для глаз: повсюду монстры, ведьмы, и прочие креатуры, а работать всё равно надо.

Наш финансовый директор (Chief Financial Officer):

Это Круэлла де Виль, собственной персоной, если вдруг кто не понял.

Я обычно тоже участвую, но в последнее время, если я просто могу самостоятельно одеться — день уже удался. Так что весь мой костюм в этом году ограничился накрашенными когтями.

А работать всё равно надо — сисадминство в праздник никто не отменял. Делаю апгрейд серверам в нашем кластере Hyper-V: выдираю к соответствующей неметрической матери бродкомовские сетевые карточки и ставлю нормальные интеловские. И дело даже не в том, что Broadcom делает прямо плохое железо — просто драйверы они традиционно пишут исключительно через задницу.

🎃 Happy Halloween! 👻

Ути-пути

Какая внезапно кавайная серверная!!

Это амазоновский дата-центр, обслуживающий вычислительный кластер “Рейнир”, на котором работает система искусственного интеллекта “Клод” компании Антропик.

Игриво-розовые шкафы на переднем плане — это блоки питания и жидкостного охлаждения для каждой “улицы” стоек. Питаются они, как правило, от трёхфазных 480 вольт. Оранжевое — несущие конструкции, жёлтое, по всей видимости, — силовые линии, синее — коммуникации, серое — теплоноситель. Всё продумано до мелочей — японский бог, тут придраться решительно не к чему. Неспециалисту, наверное, непонятно, чем я тут так восхищаюсь, но поверьте мне — это очень круто придумано, сделано, и выполнено.

Работать, впрочем, в таком месте, наверное, непросто. Вон сотрудница совершенно правильно надела наушники — шум в подобном дата-центре, должно быть, стоит просто нечеловеческий.

Даже страшно представить, сколько киловатт жрёт вся эта красота в сумме.

Вот так, дорогие друзиа… выглядит капитализм.

Отсюда и ещё фоток.

Эка напасть

Не прошло и месяца с тех пор, когда рухнул AWS по причине падения DNS, как здрасьте — рухнул Микрософт Ажур, а мы в нём в основном проживаем. И тоже, ЧСХ, из-за отказа сервиса DNS. Всё тормозит и работает через задницу.

Повторим картинку, что ещё делать остаётся.

Будет интересно почитать детальный разбор полётов.

Анализ падения Амазона

Амазоновцы опубликовали технический разбор причин недавнего падения AWS. То, что виноват был DNS, уже было известно, но лично мне было любопытно понять — что же именно они смогли сломать в системе, которая, по идее, должна быть одной из самых простых и надёжных в инфраструктуре интернета?

Оказалось, в их реализации DNS скрывался ранее незамеченный баг, приведший к классической race condition — ситуации, когда несколько процессов или нитей процесса одновременно пытаются получить доступ к общему ресурсу и в итоге мешают друг другу. Такое состязание заканчивается тем, что ресурс “залипает”, а вся система рушится, как карточный домик.

Признаться, изначально у меня было подозрение на на человеческий фактор — думалось, что какой-нибудь неопытный сисадмин дёрнул не за ту ручку, посоветовавшись с ИИ, но не спросив старших товарищей. Такое бывает, и мне тоже доводилось такое устраивать. Но, как выяснилось, всё оказалось куда глЫбже.

Больше всего впечатлил масштаб треша, угара, и бедлама с содомией, вызванных сбоем. Легла такая туча сервисов, что только успевай памперсы менять. Наши системы, к счастью, напрямую не пострадали — но один из наших вендоров ощутил последствия сполна.

Хочется верить, что в Amazon извлекут из этого инцидента правильные уроки — ведь даже гигантам время от времени полезно вспомнить, что совершенство инфраструктуры не отменяет законов вероятности и человеческой природы.

Жульё чуть не покрало деньги

Слава богам, не у меня, а у сотрудников. Но тут есть один занятный момент в кибербезопасности, на который стоит обратить внимание.

Зарплата в нашей компании, разумеется, перечисляется напрямую на банковский счёт. У сотрудников есть доступ к системе, где можно посмотреть начисления и другую информацию. Жулики пробрались в аккаунты нескольких человек и подменили реквизиты банковских счетов для выплат — на свои собственные. Спасло то, что любое изменение таких данных требует ручного подтверждения бухгалтерией. Там вовремя заподозрили неладное и предотвратили кражу.

И вот тут самое интересное. Доступ к системе осуществляется через код, который каждый раз высылается на личную почту сотрудника при попытке входа. То есть у учётной записи нет постоянного пароля — каждый раз новый код из письма. Видите проблему? Получил доступ к почте — автоматически получил доступ и к зарплатному аккаунту. Жулики ломали не сами эти аккаунты, а именно личную почту сотрудников: наверняка с паролями уровня 123456, без 2FA, или же через банальный фишинг.

И тут важный вывод. Абсолютно вне зависимости от личной бдительности сотрудников, такой подход к безопасности, нынче частенько встречающийся, мне категорически не нравится. Взлом одного сервиса не должен автоматически вести к взлому другого. Аккаунты должны быть защищены разными паролями и факторами, а не полагаться на одну-единственную уязвимую точку.

Приходишь домой — а там станки, станки

Наконец-то приехали нормальные Арубовские (в девичестве; нынче — Хьюлетт-Паккард Энтерпрайз) ячеистые точки доступа, и я смогу выкинуть этот грёбаный Нетгир Орби к соответствующей матери.

Так как эти точки доступа поддерживают нормальный человеческий PoE, мои возможности по их установке значительно расширяются — не надо, чтобы рядом была розетка. Так что в подвале буду привинчивать, как положено — к потолку.

PS: Иной раз приходишь домой — а там всё то же самое, что на работе: станки, станки…

SharePoint-оводам

Если у вас on-prem версия 2019 — бегом проверяться и патчиться.

Если у вас SharePoint 2016 — поздравляю тебя, Шарик, ты балбес, отключайте от интернета нахер и к соответствующей матери. 0-day с оценкой в 9.8 из 10 — это вам не шутки.

Про профсоюзы

Ув. kvisaz напомнил забавный случай из жизни. Он читает про реалии профсоюзов в США, и наткнулся на то, как профсоюзы требовали строго разделения труда, чтобы обеспечить работой всех заинтересованных лиц:

“Электрик не может демонтировать доску для фиксации контакта в проводах и затем установить ее обратно: какой бы простой ни была эта работа, но она для плотников.Водопроводчик не будет вынимать плитку и вставлять ее обратно, чтобы устранить течь в ванной комнате: это работа плиточника.””Каждая отдельная операция на железной дороге, независимо от ее значимости – будь то разговор по телефону или закрепление или изъятие костыля на стрелке, – является эксклюзивной собственностью определенного класса служащих.Если служащий другого класса во время выполнения своих непосредственных обязанностей выполнит подобные операции, он не получит за них дополнительную заработную плату.Однако находящийся в отпуске или незанятый представитель класса, на которого возложено выполнение такого вида работ, должен получить дневной заработок за то, что он не был вызван для выполнения своей работы.”

И такое сохранилось, да, но — только в областях, охваченными профсоюзами, то-есть, в крупных и (обычно) государственных учреждениях.

Когда я работал айтишником в альма-матер (государственный университет штата Алабамы) нам надо было передвинуть офис одного врача в соседний кабинет. Ну, мы компьютеры, мониторы, принтеры, и всё прилагающееся отсоединили, перетащили в другой кабинет, и берёмся было передвигать мебель. Тут откуда не возьмись возникает инженер по эксплуатации здания и начинает нас чуть ли не трёхэтажными матюгами обкладывать. Мол, не смейте трогать мебель! Вы компьютерщики — вот компьютерами и занимайтесь. А передвиганием мебели в нашем здании занимается профсоюз грузчиков, вы сейчас своими действиями отнимите у них работу, они выйдут на забастовку, и у вас будет туева хуча головняка. Вы с ними это всё уже согласовали? Нет? А хули вы с ними это не согласовали? То, что надо будет двигать мебель, было неочевидно? Вот вам их телефон, звоните им и согласовывайте.

Грузчики приехали буквально через полчаса, и надо дать им должное, всю мебель передвинули быстро и без повреждений.

Но экспириенс был забавный, да.

Про замену айтишников ИИ

Вот подумал, а какие профессии в мире информационных технологий может убить искуственный интеллект?

На мой взгляд, никакие.

Возьмём, например, сисадминство, мне наиболее близкое.

Что в мире сисадминства может сейчас сделать ИИ? Писать несложные скрипты? Ну, может — хотя с большими оговорками, про них ниже. Рисовать правила для брандмауэра под нужные задачи? С большим скрипом, знаете ли. Вот я попросил нарисовать правила для брандмауэра, стоящего между IIS веб-сервером, прицепленным к домену, и контроллером домена — ИИ полностью просохатил NTP, например (порт 123/UDP). А если у тебя на серверах и доменных контроллерах время не совпадает, то кверху мехом поплывёт керберос, после чего вообще вся аутентификация в домене пойдёт по известному месту.

ИИ — птица гордая, не пнёшь — не полетит:

Да шут с ними, со скриптами и правилами для брандмауэра. Витую пару кто будет обжимать? Тоже ИИ? А по фальш-потолку лазить будет кто, тоже он? Менять батарейки в ИБП, сервера ставить в рэки, подключать и настраивать коммутаторы, монтировать точки беспроводного доступа, менять картриджи в ленточных накопителях, отвозить их в банк, и так далее, и тому подобное — кто будет? Неужели тоже ИИ?

Нет, братцы-кролики, это какой-то киберсисадмин-терминатор понадобится, и что самое главное — стоить-то он будет дороже человека.

Вот дурацкие картинки рисовать — это оно умеет, да.

Какие ещё профессии в ИТ может заменить ИИ? Программиста, что ли? Ну, я не вполне программист, хотя бакалавра я получил в CS. Но даже из того, с чем я сталкивался лично, вполне очевидно, что код, генерируемый ИИ, во всяком случае, на данный момент — говно. Нет, я не хочу сказать, что он не работает.

Просто во-первых, библиотеки, объекты, и вызовы, которые использует программа, ИИ написанная, обычно уже года два-три не используются, так что от среды разработки в рожу как минимум прилетают предупреждения о том, что “code deprecated”. А во-вторых, в программировании способов снять шкуру с кошки — мильён, и ИИ не выберет самый лучший. Он выберет тот, который знает.

Я тут у себя давненько написал было гневный пост о том, что R, дескать, медленнее Питона с Нампаем — используя код на R, нарисованный ЧатЖПТ. А потом в комменты пришёл погромист на R и немножко, но нежно повозил меня рожей об стол, дав мне нормальный код на R, который выполнялся раз в десять быстрее минимум.

На данный момент код, генерированный ИИ, годится максимум на то, чтобы начать с чем-то разбираться (как вот я, например, ничего не знал про язык R), а как только разберёшься — сразу же выясняется, что делать лучше не так, а совсем даже по-другому.

И даже простенькие скрипты для сись-админирования ИИ рисует через задницу. Скрипты, которые пишу я, обычно раза в два-три короче генерируемых ИИ, их легче настраивать под свои нужды, их проще читать, и работают они быстрее.

Можно, конечно, уповать на то, что “щас ИИ допилят и тогда”. А вы знаете, я не разделяю оптимизма. И дело даже не в том, что я считаю, что мы практически полностью выбрали тот запас, который есть в существующих моделях ИИ — хотя и это тоже правда. Чтобы продолжать развивать модели так, как они развиваются сейчас, экстенсивно, нам надо было позавчера начинать строить ядерные электростанции, причём массово. Потому что жрёт это дело сейчас — просто как не в себя. Вот у шурина есть школьный товарищ, инженер-электрик “Сатерн Компани“. Пришёл к ним Микрософт, говорит, хотят строить датацентр для ИИ в Миссиссиппи — благо там земля дешёвая. Главный затык — ентому датацентру вынь да положь 500 мегаватт мощности. А где её взять, спрашивается? 500 мегаватт — это, мягко выражаясь, дохера как много. И ента ваша “зелёная энергия” с ветрячками да панельками её обеспечить тупо не в состоянии. Не в режиме 24/7.

Главный затык — он в том, что любая, самая сложная модель — бессмысленна без тренировки, а на чём её тренировать? На том, что лежит в интернете? В интернете лежит “мнение большинства”, а в узкоспециальных вопросах большинство, как известно, всегда неправо.

Но даже если в интернете лежала бы “правда”, то я не знаю, как в других областях, а в сфере информационных технологий “правда” теряет актуальность чуть быстрее, чем мгновенно, а так как модель требует для тренировки огромное количество машинных часов, к тому времени, как она эту “правду” усвоит, она уже устареет. Именно поэтому код, генерируемый ИИ, почти всегда (в моём опыте) маркируется как “deprecated”.

Так что лично я считаю, что айтишникам бояться нечего. Пока (пока) ИИ работает, на мой взгляд, именно так, как он должен работать — “множителем силы” для мастеров. Подмастерье, если можно так высказаться; подспорье как максимум.