Статистика с фаерволла

Сделал, наконец, правильную отгрузку статистики с файерволла на pfSense через Syslog, написал парсер на Питоне, который затем загружает все метаданные о каждом пакете данных в базу данных на SQL Server. SQL Server, кстати, работает на ентом вашем Линупсе, потому как где я ещё возьму машину, чтобы сразу и SQL Server и Syslog?

Так вот, за последние семь месяцев файрволл пропустил через свой наружный интерфейс 104,992,979 пакетов данных. Из которых 56,178,554 были злонамеренными, и были фаерволлом блокированы. Это у нас получается, на минуточку, что 53% (больше половины!) всего трафика — это боты и и прочие крякеры. На самом деле, ещё больше — ибо фаервол, голову прозакладывать можно, блокировал далеко не всё, что надо бы.

Рехнуться, сколько в этих ваших интернетах — ГОВНА всякого. Намного больше, чем нормального, нужного людям контента. А ведь и за этот говнотрафик деньги плОчены — его тоже надо раутить, пересылать туда-сюда, гонять по волокнам. Прямо как реактивная нагрузка какая-то, нихрена полезной работы не делает, а провода греет. И что с этим делать — решительно непонятно.

Конечно, некоторые отдельные страны вокруг себя фаерволлов понастроили, и могли бы, наверное, теоретически этот говнотрафик хоть как-то фильтровать. Но на деле ни в одной из таких стран я бы не хотел жить, а вычислительные мощности их фаерволов уходят на борьбу с инакомыслием и прочим пердячим паром, а не с интернет-преступниками и ботами.

ИИ-погромизм

Занимался вчера созданием нейросетей под руководством ChatGPT. По итогам я имею сказать вот что.

В целом — впечатляет. Даёт не самый плохой код на Питоне для создания нейросети на TensorFlow, что характерно — используя keras. Практически то же самое, что я сам рисовал четыре года назад.

Только в этот раз я замахнулся пошЫрше и решил нейросети скормить csv с “финансовыми транзакциями”. Внутри csv было одиннадцать колонок, десять просто с числами, а одиннадцатая — с довольно сложным вычислением из данных, находящихся в шести колонках (сложение двух дробей, вычисление 10% от полученного, и складывание с ещё двумя колонками). Четыре оставшиеся колонки не делали ничего.

Модель делал пятислойную, сто нейронов в четырёх слоях, один нейрон в выходном слое (это уже не ЧатЖПТ предлагал, это уже я сам). Наверное, это даже избыточно сложная модель.

Сделал два csv файла, один с 200 строками — это был тренировочное множество, и второй — всего с десятью. Я хотел посмотреть, сможет ли нейросеть распознать, какая именно зависимость существует в одиннадцатой колонке, и сможет ли она предсказать данные, полученные таким образом.

Скажу сразу, всё получилось. Конечно, математика на нейросетях довольно неаккуратна, но после 5000 эпох тренировки она смогла предугадывать значения с точностью, не выходящей за рамки 5%. Планирую показать результат начальнику, контора сильно озаботилась встраиванием ИИ в продукцию.

Но помимо этого, у меня возникли небольшые сложности, и возникли они именно от применения ИИ.

Во-первых, ЧатЖПТ нередко даёт код для Питоновских библиотек, который уже является устаревшим (deprecated). Например, свойство pandas.DataFrame.iloc — вытаскивание индивидуальных колонок из pandas.DataFrame.

Во-вторых, ЧатЖПТ создаёт в коде баги. Например, вместо десяти строк в тестовом наборе данных у меня почему-то считывались только девять. Разговор шёл примерно вот так:

–А у меня вместо десяти ожидаемых строк только девять.
–Может, данные кривые? Вот как их надо нормализировать.
–Данные нормальные, но считывается только девять строк вместо десяти. Первая строка проглатывается.
–Не должна. Вот код, как правильно считывать csv через pandas.read_csv
–Я этот код и использую, но первой строки нет.
–Ну, правильно, потому что по умолчанию первая строка считывается в имена колонок. В pandas.read_csv надо ставить параметр header=None, чтобы так не происходило.
–А чо сразу-то не сказал?
–Извиняюсь.

Но в целом (в целом) — впечатляет, да. Далеко не с каждым человеком я на эту тему могу поговорить, более того, не каждый сразу “на гора” выдаст работающий (более-менее) код. Ошибается иногда? Ну да, ошибается. Покажите мне человека, который не ошибается, и я покажу вам лентяя, который никогда ничего не делает. Тем не менее, лентяю в способности рассуждать почему-то не отказывают, а искуственному интеллекту — таки да. Неправильно это, ИМХО. ИИ вполне способен на рассуждения.

Умер Никлаус Вирт

Паскаль был первым языком программирования, к которому я прикоснулся. Прикольный, в целом, мне он нравился тем, что в нём было сложнее сделать синтаксическую ошибку. Вот, например, на сях можно вот такое ляпнуть:

if (a = b) {}

И это выполнится! Так как здесь = рассматривается как оператор присвоения, и соответственно, возвращает-то он True, потому что присвоение произошло успешно! А на Паскале = это оператор сравнения внутри If, а присвоение делается как a := b

Ну, а на сях пришлось оператор сравнения делать == , что нередко приводило к ляпам. Про Джаваскрипт с его разнообразием =, ==, и аж === даже начинать не буду. В топку, сразу.

Но, наверное, главная заслуга Вирта это даже не язык Паскаль. А в том, что усилиями Вирта и Дейкстры был убит оператор GoTo. Ну, в языках высокого уровня. Так-то все эти if и while, и прочие for компилируются-то в ассемблеровский JMP всё равно.

Пусть он обретет покой.

АйТишный Йумар

В любой сфере есть свой профессиональный юмор. АйТи не исключение. Увы, шутки поймут не все.

Я бы рассказал вам шутку про UDP, но, боюсь, не дойдёт.

–Хочешь шутку про UDP?
–Да ну нафиг, три раза повторять придётся.

TCP заходит в бар и обращается к бармену:
–Я хочу пива.
–Ты хочешь пива?
–Да, я хочу пива.

Типов людей в мире всего 10. Одни понимают двоичную запись, а другие нет.

–Из-за ковида мы переделали все наши приложения для работы с UDP вместо TCP.
–Почему?
–Чтобы избегать рукопожатий.

И последняя, любимая, но, увы, работающая только по-английски из-за игры слов.

A SQL query walks into a bar and and sees two tables. He walks up to them and says, “Do you mind if I join you?”

Объяснения для тех, кто не понял.
Continue reading “АйТишный Йумар”

Не прошло и нескольких часов…

…как очередную дырень в том же самом, уже набившем оскомину, спекулятивном выполнении кода, в очередной раз нашли уже в процессорах Интел серии Core, от 6-го до 11-го поколения. Окрестили Downfall.

Можете ознакомиться по ссылке. В этот раз крадут данные, используя спекулятивную пересылку данных в векторной инструкции Gather (часть расширения AVX2/AVX512, ЕМНИП).

Я же говорил — это музыка будет вечной, пока от спекулятивного исполнения не откажутся совсем. А не откажутся от него минимум пока скорость оперативной памяти не вырастет на несколько порядков. А это произойдёт… даже не знаю, когда. Может быть, и никогда.

Нет, я слабо верю в то, что дыры в SE когда-нибудь прикроют окончательно. С тех пор, пока нашли первые, постоянно находят всё новые и новые — уж такая технология.

Справедливости ради, надо сказать, что всё это должно всерьёз волновать только тех, кто в силу необходимости обязан запускать компьютерный код неизвестного происхождения. То-есть, например, лично мне от этого ни жарко, ни холодно.

А вот кому жарко? А жарко провайдерам, например, облачных ресурсов. Арендуешь ты, такой красивый, у них часть вычислительного узла. Какой ты на этой части узла будешь запускать код — одному Гефесту известно. У провайдера нет никакого контроля над твоим кодом. А если ты запустишь код, ворующий данные у соседа, с которым вы делите вычислительный узел, что тогда будет? AWS, Azure и прочие очень много денег и усилий тратят на обеспечение безопасности одного жильца, от другого жильца. И открытие вот таких вот дыр им здоровья… ох, не прибавляет.

Карманный Скайнет

По наводке ув. ny-quant. На видеокарте я запустить не смог, потому что у меня лапки. С форком GPT4AllGPU почему-то надо приставлять отдельную модель LLaMa, которую надо скачивать самому, и я не смог разобраться, какую. Поэтому запустил на процессоре.

С трудом, надо сказать, запустил. У меня восемь пеньков i7 десятого поколения и 64 гектара памяти:

Ответ на простой вопрос (как лучше всего гладить кошку) занимает минуту-две. А вот креативная деятельность (напиши мне поэму про сисадмина) уже йок, может пиликать минут десять и больше.

Запускаю через третий питон внутри WSL2.

Установить:

pip3 install nomic

Потом в интерактивном python3:

from nomic.gpt4all import GPT4All (в первый раз занимает очень много времени, скачивает натренированную модель)
m = GPT4All()
m.open()
m.prompt(“Write me a short story about a kitten”)

Я нарисовал простейший код чтобы общаться. Увы, грёбаное форматирование наверняка похоронит отступы:

#!/usr/bin/python3
from nomic.gpt4all import GPT4All
m=GPT4All()
m.open()
while(True):
prompt = input("Please ask me something or say STOP to quit: ")
if (prompt == "STOP"):
break
else:
response = m.prompt(prompt)
print(response)

Поиграюсь, но ресурсоёмкость, конечно, аховая.

Update: барахло полное. ЧатЖПТ хотя бы правильно на простые вопросы отвечал. Этот даже не знает, как запустить внешнюю программу с указанием параметров из скрипта на ПауэрШелле.

Адобе Светлячок

Ув. dibr высказался, мол, в последнее время системы ИИ вдруг полезли как чортики из табакерки. Выкатили DALL-E и как плотину прорвало — тут же появился Миджёрни, Стейбл Диффьюжен и прочая. Появился ChatGPT и ОПА — тут же выскочил Микрософт со своим роботом-говорилкой, Гугл подсуетился.

И это действительно так. По-моему, внутри технологических компаний назрела какая-то критическая масса наработок на нейронных сетях, сейчас она рванула и мы наблюдаем этот ядерный взрыв и разлёт осколков.

И говорилки теперь могут действительно многое. Например, у меня был вопрос в области IT как сделать одну вещь на ПауэрШелле. Я долго и безуспешно искал ответ в интернетах, и никак не мог найти. Сотрудник надоумил — “спроси у ChatGPT!” И действительно, спросил — и мне тут же дали 100% рабочее решение. Робот-говорилка во много раз круче поисковых систем.

Что до наличия тут какого-то разума… дорогие мои читатели, я не вижу тут разума. Есть такая вещь — цепь Маркова. Её придумал выдающийся русский математик Андрей Андреевич Марков-старший. Что это такое? Ну, детали можно найти хоть в Википедии, но вот на простом примере можно взять любое слово. Последовательность букв в нём неслучайна. Например, после согласных чаще идёт гласная, чем согласная. И все эти вероятности можно вычислить, после чего написать генератор слов, где вероятность возникновения одной буквы после другой будет совпадать с нашими изысканиями. К слову скажу, что цепи Маркова широко употребляются для взлома паролей, так как пароли, созданные человеком, тоже подчиняются определённым законам.

Все эти роботы-говорилки — это МЕГА-натренированные МЕГА-сложные МЕГА-генераторы МЕГА-цепей Маркова, их более расширенного варианта, в которых не буквы, а слова зависят друг от друга, от их последовательности в предложении, и от других предложений. Это, безусловно, очень круто, и действительно заслуживает похвал, но это не делает систему разумной. Во всяком случае, ПОКА, на текущий момент.

Скажу только, что на мой взгляд, наличие разума предполагает наличие сознания, но что такое сознание, определение я дать уже не возьмусь, кроме как через революционное чутьё, а по-другому я не дорос ишшо.

Всё это была присказка.

Хотел я поделиться ещё одним инструментом для создания “картинок из текста”, Адобе Файрфлай (Светлячок), который сейчас проходит бета-тестирование. Так как я рисовать не умею от слова “совсем”, к моим кривым рукам приходится приставлять робота, нехай рисует за меня.

Скажу вот что. Как настоящему художнику, так и художнику, вооружённому ИИ, проще всего рисовать то, чего нет. Как гласит древняя легенда, рисовать демона проще, чем собаку — ибо демон есть существо воображаемое, каким ты его видишь — таким он и есть. А как выглядят собаки, знают все, и нарисовать её так, чтобы было понятно, что это собака — уже непросто. Даёшь задачу ИИ нарисовать инопланетный корабль — оно рисует. И хрен придерёшься, ты что ли, сам его видел, чтобы сказать, что “непохоже”? А вот дать задачу рисовать что есть, особенно людей — и на выходе получается настолько забористая пурга, что никаких грибов с кетамином не надо.

Так вот, забегая вперёд, скажу, что Адобе Светлячку это наконец-то более-менее удалось — реалистично рисовать то, что есть. В отличие от других систем, через жопу рисующих человеков с тремя ногами, шестью руками, и тринадцатью пальцами на каждой руке, Светлячок рисует более-менее нормально. Более того, многие нетленки, создаваемые этой системой, весьма фотореалистичны. Не буду голословным.

“Красивая улыбающаяся азиатская молодая женщина, одетая в платье в красную клеточку, собирает светящиеся цветы на закате в лесу”:

Через откровенную жопь тут сделана только одна деталь — рукава на платье не совпадают, они разные. И воротник какой-то странный. Но вы поглядите на этот свет! И как хорошо он показан — как закатный, так и свет от цветов! Я впечатлён, серьёзно.

И ещё одна. Вот тут уже есть серьёзные артефакты — пальцы, артефакты на платье. Но очень недурно, на мой взгляд. Если не с колёс публиковать, а хотя бы доработать в Шопе — вполне норм!

Свет отработан отлично. Рекомендую.

Кроме того, когда Светлячка наконец допилят, его картинки с гарантией не будут нарушать ничей копирайт — Адобе клянётся-божится, что тренировал нейросети на своих собственных стоковых картинках (которых у него до пупа) и на картинках с открытым копирайтом. Учитывая наличие уже существующией толпы судебных исков, кому-то может быть критично.

Лопух, а не дальнобойщик

Целую неделю занимался своим полуприцепом: докрашивал, доваривал, досверливал и допаивал. Наконец-то почти всё доделал — за одним небольшим, но очень неприятным исключением.

Прицепы положено не только надёжно сцеплять с тягачом, но и подключать на них светотехнику: стоп-сигналы, габариты, поворотники, и прочая. На большинстве стандартных американских полуприцепов используется плоский четырёхконтактный разъём (flat four plug): масса, левый поворотник, правый, габариты. А где стоп-сигнал? Стоп сигнал — оба поворотника включаются сразу. Так что стандартный американский полуприцеп показывает поворот одним из стоп-сигналов. А фонарь заднего хода тут отсутствует как класс.

На моём пикапе семиконтактный разъём. Ну, я подумал, что он более продвинутый, разлысил лоб и установил в полуприцеп задние фонари с прицепа как у больших бородатых дальнобойщиков. Чтобы, понимаешь, и фонарь заднего хода был и поворотники были ж0лтенькие — так в моём понимании эстетичнее и правильнее, чем стопами сигналить. И угодил в фигачечную — ибо три дополнительных контакта добавляют только лишний провод с +12 (включать, например, в буксируемом доме на колёсах свет), контакт для электромеханических тормозов и фонарь заднего хода. А выделенных поворотников там как не было, так и нет.

Очень обидно стало, в первую очередь — на себя. Прицепил сейчас так, чтобы сигналить стопами, а поворотники у меня сейчас так, получаются… для мебели.

Однако быстро выяснилось, что не я один такой. И что, оказывается есть такая штука, которая из двух проводов для поворотников/стоп-сигналов делает три — два поворотника плюс стоп-сигнал. Но она стоит денег, во-вторых, боится влаги, а в-третьих, в интернетах пишут, что у неё внутре… нет, не неонка, а обычное реле, и что она из-за этого очень плохо работает со светодиодами — надо нагрузочные резисторы вешать.

Я начал думать, и в принципе-то не должно же быть так сложно — нельзя ли тут обойтись тупо логическими элементами XOR и AND с обвязкой? AND — если оба поворотника включены, то это не поворотники, а стопы. А если только один (XOR) — то поворотник.

Но тут же осознал, что не получится — а как быть, если при торможении включить поворотник? Тогда ведь во время отключении при мигании одного из поворотников XOR решит, что он один такой включён — и зажжёт поворотник противоположный, потенциально создавая нехорошую ситуацию на дороге. И что теперь? Микроконтроллер, что ли, туда запихивать, с отслеживанием состояний? “А пять секунд назад начали торможение, значит, теперь прерывание одного рассматривать как поворотник”? Нет, я могу, конечно, но… блин.

Мне даже интересно стало, а как же в конвертере они эту проблему решили. Неужели там микроконтроллер? Что-то я недопетриваю, должно всё быть проще.

PS: Роскошное сочетание тегов, раскошное. Люблю, когда так получается — сразу много всего.
PPS: Интересно, можно ли модифицировать разъём так, чтобы стопы не посылать на поворотники? Тогда я бы стопы брал с контакта для электромеханических тормозов.

PZEM-004

У меня дома с электричеством как-то не очень в последнее время. Откуда-то прилетает очень много гармоник, а один из моих бесперебойников часто щёлкает релюшками.

Решил померять, как у меня вообще с напряжением, может быть действительно часто пропадает? Долго чесал репу, думал покупать трансформатор для дверных звонков, делать развязку… но всё оказалось проще. По совету ув. ua9uqb купил плату серии PZEM-004, где всё это уже было.

Плату разрабатывали и делали китайцы, но я был очень приятно удивлён её продуманностью.

Основой платы является какая-то ИС V9881D, на которую я сходу не нашёл никакой документации. Предположу, что это какая-то китайская схема для электрических счётчиков.

Вид платы сверху:

Слева у этой штуки торчит серийный порт, отвязанный от основной платы оптронами Сити Микро CT817C (два белых прямоугольничка). Причём под ними в плате с запасом сделан вырез, что абсолютно верно — чтобы не было пробоя, если на плате будет осадок в виде пыли, конденсации, и прочего.

Снизу плата тоже сделана хорошо. Пурпурненьким я обвёл контакт, куда подводится фаза. Между ней и нулём тоже сделан вырез, и земляной полигон отделён от неё почтительным расстоянием:

В-общем, когда её делали, люди думали, чтобы не йохнуло. Хотя видно, что паяли руками, а флюс-то неплохо было бы отмыть. Но ладно, работе электроники это не препятствует.

Кто-то подцепляется к ней через ардуино и прочие микроконтроллеры, но я поступил проще — приобрёл с ней в комплекте шнурок USB-serial, и подцепил к старенькому нетбуку под Убунтой Мейт. Если таки йохнет, то не жалко.

За что мы любим язык программирования Питон? Не за косорукий синтаксис и не за неудобство дебаггинга. Мы любим язык программирования Питон за то, что для него есть туева хуча библиотек, способных решать самые разные проблемы. В том числе — и библиотека с общением с модулями PZEM-004, modbus-tk, вот так, например.

Поэтому вся программа сводится к десяти строчкам кода, выводящим всё в файл CSV, который затем можно скормить чему угодно, хоть экселю. Считывать показания модуля получается примерно два раза в секунду, так что за три дня я насобирал статистики аж на сто двадцать мегабайт. Эксель и Пауэр Би-Ай долго кряхтели, но визуализировать всё это так и не смогли — у меня кончилось терпение.

Опять же, друзья, за что мы любим Питон? За то, что там есть plotly и pandas, при помощи которых в три строчки можно визуализировать хоть чорта бритого, хоть лысого, хоть бородатого.

Получилось, в общем, не очень интересно — напряжение держалось очень неплохо, от 119.0 вольт до 122.3. Ну, отрицательный результат — тоже результат. Значит, не в электричестве было дело. Бесперебойник такой. Надо будет его заменить, пока он мне батарейку не испортил.

А модуль PZEM-004 крайне рекомендую, полезный.

Pwn2Own

Есть такая забава у хакеров, что-то типа Олимпиады, называется Pwn2Own. Собираются разные команды, озвучиваются цели, например, “Ломаем защиту Ворда” или “Хакаем аутентификацию у Микрософт Тимз”. Команды затем подписываются выполнить различного рода задачи, и по общему количеству задач и их сложности получаются очки и зарабатываются места в общем зачёте. Также команды получают неплохие денежные призы — ибо конторы обычно платят несколько десятков тысяч долларов за обнаруженные дыры.

Лучшей командой стали STAR Labs — международная команда хакеров с основном из азиатских стран (Корея, Вьетнам, и.д.). Но лично мне интереснее не то, кто лучший хакер — очень талантливых людей довольно много, и азиатов, и бразильцев, и американцев, и русских. Интереснее то, какие цели хакеры выбрали для своей олимпиады, а какие были либо не в их области компетенции либо были посчитаны слишком сложными.

Лидером по взломанности оказался полностью пропатченный телефон Самсунг S22 на ОС Андроид (гы-гы-гы). Его взломали в первый же день, а на третий день состязания его взломали всего за 55 секунд, что стало новым рекордом состязания Pwn2Own. Использовалась дыра в недостаточно хорошей валидации ввода (блин, до сих пор? в 2022 году? рехнуться). Вообще этот несчастный телефон суммарно изнасиловали раз десять. Ждите обновлений от Самсунга.

А знаете, какие телефоны ни одна команда не взялась ломать?

Гугл Пиксель и Эппл айФон.

О чем это говорит? Да о том, блин, о чём я уже сколько раз писал в этой стенгазете — когда одна и та же контора делает и само железо телефона, и она же пишет к нему ОС — получается намного более непробиваемая и намного менее глючная платформа, чем когда одни шлёпают железо, а другие рисуют к нему операционку. Когда “айн фирма, айн бетрибссистем, айн телефон” — возникает некая синергия, недоступная просто сборищу смежников.

Делайте выводы. Самсунгу пламенный привет в очередной раз.

https://www.zerodayinitiative.com/blog/2022/5/18/pwn2own-vancouver-2022-the-results