Блог экспериментатора
…боролись два говна, как говорили в моём детстве.
Что это? Внешний жёсткий диск Самсунг?
А вот опаньки!!
Неделю назад оно, разумеется, сдохло.
Не удивлён ни разу.
PS: Самсунг, ЕМНИП, более не занимается магнитными жёсткими дисками вообще. Поэтому ЛЮБОЙ их магнитный диск с гарантией будет сделан кем-то другим.
Я всегда очень любил картины Шишкина. Все они по-своему прекрасны, и тенистые “Пейзаж с охотником”, “Лес вечером” и светлые, воздушные, прозрачные “Рожь” или “Полдень”.
Но увы, Аллах обделил меня талантом художника. Вернее, скажем так — он обделил меня способностью получать удовольствие от процесса рисования. Никто из нас не умеет писать картины от рождения. Но те, кто ЛЮБЯТ рисовать, и получают от этого удовольствие, НЕ МОГУТ НЕ рисовать, и рано или поздно, постоянно практикуясь, могут развить нешуточный дар живописца.
Это справедливо для любой области человеческой деятельности. Вот я получаю удовольствие от играния с компьютерами — ну, вот я этим и занимаюсь, а так как мне этот процесс интересен, то я практикуюсь в этом постоянно, и постепенно научился всякому. То же самое можно сказать про кого угодно. Писатели не могут не писать, певцы не могут не петь, гитаристы не могут не играть на гитаре, и так далее.
Ну, а меня от процесса рисования не прёт, поэтому рисовать я так никогда и не научился.
Зато знаете кто научился рисовать? Искуственный интеллект! Эти самые нейросети, в которые я уже давно безнадёжно влюбился с того времени, когда создал свою первую сеть и научил её всякому. Современная техника дошла до того, что ей можно сказать примерно вот так: а здесь пусть будет лес, кустарник, и чтобы речка была, а на горизонте — чтобы горы. И чтобы солнце, песочек, и облачка. И представляете себе — оно таки рисует.
Вот что у меня получилось всего после 15 минут прыгания по кнопкам в программе NVidia Canvas:
Чо, круто??? Не, ну, понятно, что не Шишкин. Но для меня, для которого “палка-палка-огуречик” это крупное достижение, это просто охрененно. Ну, и оленя справа я в Фотошопе вклеил.
Конечно, видно, что лесокустарник рисован как бы паттернами, взятыми из фотографий, на которых эти сети тренировали. Но думаю, что это дело наживное — NVidia Canvas сейчас только в бета-версии, и её ещё допилят.
А как выглядело то, что делал я, указывая сети “а вот тут лес, а вот тут речка”? А вот так:
Программа NVidia Canvas распространяется бесплатно, но имеет нешуточные системные требования. Понадобится видеокарта не ниже NVidia RTX. Я как раз сегодня проапгрейдился на RTX 3080, и немедленно наживил! Кому бы спасибо сказать, что грёбаный биткоин рухнул, и криптопидарасы перестали отрывать видеокарты с руками?
Кстати, интересный правовой вопрос — а КОМУ в данном случае принадлежит копирайт на эту картину? Мне? Или программе NVidia Canvas? А где находится эта тонкая грань? А когда ИИ будет обладать всё большей и большей автономностью, куда она сдвинется? А какие вообще у нас права будут даны полному ИИ?
И вот уже на нас ласково смотрит старина Филип К. Дик, в обнимку с Риком Декардом. За что мы любим научную фантастику? Не только за то, что “там круто и про роботов”. А в первую очередь за то, что именно фантасты задают вопросы, до которых человечество ещё не додумалось. А рано или поздно на них придётся отвечать. Как уже сейчас приходится отвечать на вопросы “кого будет давить насмерть робот-автомобиль, если столкновение неизбежно?” Одного ребёнка или десять бабушек?
Камерами Хиквижен для видеонаблюдения вокруг дома я целиком удовлетворён. Как выяснилось, у них даже ночной режим очень неплохой, благодаря подсветке ИК-светодиодами.
Ночью камера светится таким зловещим тёмно-красным светом, довольно тусклым для невооружённого глаза.
А вот если снять её цифровой камерой, то она сияет аки хороший фонарик, характерным фиолетовым цветом.
ИК подсветка настолько мощная, что пробивает инфракрасный фильтр, который в обязательном порядке ставят во все камеры. Потому что если его не ставить, то любой нагретый предмет будет светиться на снимке этим самым фиолетовым светом. И почему-то именно красные и синие субпиксели более чувствительны к ИК, хотя зелёных на фильтре Байера вдвое больше. Поэтому фиолетовое такое всё. Оптика, блин, это Наука.
Очень интересные нынче развития технологий намечаются. Огромной основой большого количества современных программ являются нейросети. Нейросети у нас нынче растут аки это самое в деревенском сортире, куда дрожжи кинули. Адски растёт количество параметров (взвешенных связей) между нейронами.
Набор параметров кажого нейрона представляет собой матрицу, и чтобы посчитать, активируется ли нейрон или нет, надо помножить вес каждой связи на входное значение этой связи, и смотреть, что получится. Математически выражаясь, считается скалярное произведение.
Количество параметров гугловской нейросети Inception третей версии — примерно 12 миллионов. То-есть, каждый раз мы считаем скалярное произведение матрицы с 12 миллионами элементов с точно такой же матрицей. Очень, очень вычислительно дорогое удовольствие.
Что с этим можно сделать? А, например, вот что. Можно каждый параметр представить резистором. Входное значение — поданное на него напряжение, вес — проводимость. Проводимость — величина, обратная сопротивлению: G = 1/R или же R = 1/G
А теперь закон Ома:
I = U/R, а R заменим 1/G: I = U/(1/G), упростим: I = UG. Подаём входное напряжение, и меряем ток. Вот вам и скалярное произведение, причём чисто аналоговыми методами.
Но хардверный резистор, разумеется, не очень удобно. Зато знаете, что удобно? Флеш-память! Флеш представляет собой миллиарды полевых транзисторов с изолированным затвором, ведущих себя как резисторы. Изначально на них хранили только 0 или 1, ток выше или ниже порогового значения считывался как ноль или единица. Потом сделали многоуровневую флеш-память, и на современных твёрдотельниках QLC каждая ячейка хранит аж 16 значений (4 бита). Теперь пошли дальше, и на этих электрически программируемых резисторах научились производить самые настоящие аналоговые вычисления, очень интересным применением которых и являются расчёты скалярных произведений для работы нейросетей.
Очень, очень интересные нынче вещи придумывают. Как вам такое — расчёты на жёстком диске?
Конечно, у подобного подхода есть недостатки: более низкая точность вычислений. Но нейросети, вообще-то и так работают по вероятностному принципу. Какая тебе, в сущности, разница, если нейросеть определяет фотки котиков с 99% точностью или “только” с 95%?
В-общем, с интересом смотрю за дальнейшим развитием событий. Я нейросети уже щупал плотно несколько раз, мне они очень нравятся, и я думаю, что если мы когда-нибудь придумаем полный ИИ, именно нейросети станут его основой. И не исключено, что в их основе будут именно аналоговые вычисления. Ну, как у нас в башке.
Я очень рад, что успел прикупить камеры Хиквижен до того, как их начали щемить и банить. Они нынче уже поднялись в цене, и продавцы их теперь какие-то продают… сомнительные.
Почему? Потому что я исключительно доволен качеством картинки. Вообще до сих пор не верю, что такое хорошее видео бывает у камер наблюдения. Постоянно в интернетах видишь херь с камер — там сплошное мыло и пять кадров в секунду. А тут совсем не так. Вот скриншот — он сильно ужатый и порезанный. Но даже на пожатом скриншоте видно элементы текстуры кирпича. Оригинал — 2688×1520, 30 кадров в секунду, ещё более детализированный.
Всю эту радость я собираю в ZoneMinder, благо он бесплатный, в нём туча фич, и он нормально поддерживает самый разный зоопарк камер, включая Хиквижен.
Но конечно, с таким высоким качеством возникают проблемы другого рода.
Во-первых, это видео довольно много весит, в среднем с каждого источника пишется примерно 768 килобайт в секунду. Соответственно, это около 64 гигабайт за сутки, с каждой камеры. А так как у меня их планируется аж восемь штук, это пол-терабайта каждый день. Насколько большая это проблема — пока не понял. Теоретически, жёсткие диски нынче не очень дорогие. Вон моя любимая Тосиба на 16 терабайт менее трёхсот рублей стоит. Но этого хватит только на восемь дней, даже меньше. Надо будет поиграцца с настройками, может быть мне и стандартного FullHD за глаза хватит. А может быть, разорюсь на несколько дисков, нехай пишет.
Во-вторых, современные системы видеонаблюдения круты не сколько тем, что они могут много писать всякого, а наличием искуственного интеллекта с распознаванием лиц, объектов, чтением автомобильных номерных знаков, обнаружением движения, и т.д.
НО.
Делать этот всяческий AI в реальном времени на видеопотоке такого разрешения и такого качества чрезвычайно вычислительно дорого. Поэтому хорошие современные камеры, включая Хиквижен, поддерживают ДВА одновременных канала, основной и подканал. Основной имеет высокое разрешение, хорошее качество, и т.д. Он тупо пишется на диск, на что практически не тратится процессор, так как на нормальных камерах сжатие в H.264 происходит прямо на источнике. А подканал — низкое качество, невысокое разрешение — но его с головой хватает на обработку системами искуственного интеллекта. Оттуда берутся интересующие наши события, типа “мимо проехал чёрный автомобиль с номерным знаком ‘HITMAN'”, а по таймкоду мы уже будем смотреть записанное видео высокого качества.
В-общем, настраиваю потихоньку. Повесил пока три камеры, каждые выходные добавляю новые. Очень много нового узнаю, что всегда интересно.
Для начала немного теории.
Как хранятся пароли в операционных системах, вебсайтах, и т.д. Не открытым текстом, разумеется. Они хранятся в виде хешей. Хеш — это строка определённой длины, получаемая при обработке ввода (пароля в данном случае) хеш-функцией. До недавнего времени (да и сейчас кое-где) использовался алгоритм MD5. Так, хеш MD5 слова “password” представляет собой строку 5f4dcc3b5aa765d61d8327deb882cf99.
Поэтому когда ты логинишься на вебсайт, пароль обрабатывается алгоритмом MD5, и сравниваются хеши. Если на выходе 5f4dcc3b5aa765d61d8327deb882cf99, то всё нормально. Винда делает немного по-другому: хеш генерируется прямо на клиенте, и пересылается не пароль, а сразу хеш. Это цуцуть безопаснее. Ещё хеш солят, но про это в другой раз.
Чтобы взломать пароль, надо сначала украсть хеш пароля. Взлом паролей перебирает все возможные комбинации, хеширует их и сравнивает хеши. Но это тупой перебор, есть варианты поинтереснее, типа словарей, комбинаций замены букв на цифры, и математическо-статистические методы, типа цепей Маркова. Но подробное разбирание этих методов — это материал для огромного отдельного поста.
Я уже давно люблю программу котохеш (hashcat) для взлома паролей. У неё исключительно высокая производительность, так как она использует видеокарту для расчётов вместо центрального процессора. Нет, она и процессор может использовать, просто на видеокарте быстрее, там этих процессоров тысячи, а хеширование исключительно хорошо распараллеливается.
Сломаем MD5 хеш 5f4dcc3b5aa765d61d8327deb882cf99:
hashcat.exe -m 0 -a 3 hash.txt ?l?l?l?l?l?l?l?l
И меньше, чем за секунду всё сломано.
На моей уже старенькой 1070GTX поиск хешей MD5 происходит со скоростью около 8 миллиардов комбинаций в секунду.
Даже если сменить пароль на более сложный, типа P@$$w0rd, то 8-значный пароль взламывается в обозримые сроки, даже на не очень новом железе — за несколько дней.
НО. Подобные сроки — они для паролей, хешированных MD5. От которого везде отказываются как могут. Он считается криптографически нестойким: во-первых, он подвержен коллизиям (т.е. два совершенно разных пароля могут дать одинаковый хеш), а во-вторых он имеет недостаточную вычислительную сложность. Т.е. тот факт, что даже на моём старом железе я могу перебирать восемь миллиардов паролей в секунду — он из-за этого происходит.
А недавно я попробовал сломать бекап смартфона Apple. Для тёщи, которая раскокала телефон вдребезги, успев, правда, незадолго до сделать ему бекап. Но вот беда — она забыла пароль от бекапа! Она только знала, что пароль восьмизначный.
Хеш пароля для айфонного бекапа берётся в файле Manifest.plist. Этот файл скармливается вот этому сайту, например, и тебе дают хеш.
Так вот хеш там — какой-то проприетарный. И имеет настолько высокую вычислительную сложность, что на моей видеокарте котохеш перебирает комбинации со скоростью… 83 варианта в секунду. Надо отдать должное чувству юмора разработчиков котохеша: во время работы оно показывает, сколько времени осталось до перебора всех вариантов. Так вот в данном случае оно говорит, что работа программы закончится после следующего Большого Взрыва 😀
Вот так вот Плотнег лососнул тунца.
Огромный респектищще Эпплу — я в очередной раз убедился, что уж с чем-чем, а с надёжностью шифрования у них всё всегда было в полном порядке. Огромным плюсом является то, что Эппл контролирует весь цикл производства телефона — от железа до софта. Поэтому что, как и каким способом — всегда было хорошо известно и задокументированно. Ну и традиционно, пнём Ведроид 🙂 На Ведроидах, кто шифрует что и как — а хер его знает! Кто из производителей как захотел, тот так и шифрует. И скажи ещё спасибо, если задокументировано. А могут и тово, на хрен послать.
Делюсь опытом.
Сначала как обычно, зачищаем. Экран в виде фольги и целлофановую обёртку пар надо аккуратно, по возможности, обрезать, не трогая голый проводок (выделен красненьким):
Этот проводок надо загнуть назад вдоль кабеля, и обмотать его конец липкой медной фольгой в один-два слоя. Важно, чтобы у медной фольги клей был токопроводящим.
Расплетаем пары, строим в нужном порядке. Я обычно жму 568B, так как мне не нужна обратная совместимость с телефоном. Надеваем разъём RJ45. Вот тут хорошо видно загнутый проводок, и как металл экрана разъёма прижимается к медной фольге. Кроме того, в этом разъёме пары проталкиваются сквозь него, и обрезаются ножом на клещах одновременно с обжимкой. Клещи нужны специальные, но они незначительно дороже, а времени экономится много. Не надо строго ровно обрезать пары, чётко нужной длины, и т.д. Сунул, обжал-обрезал, да пошёл.
Обжимаем, аккуратно обрезаем проводок экрана, надеваем защитный колпачок. Получаем…Слава Україні!
Довольно печальные перспективы, скажем прямо.
Есть такой старый анекдот. В России две проблемы: дороги и дураки. И если нагнать бульдозеров, грейдеров, бетономешалок и асфальтоукладок, то одну из них можно решить. Но вот что делать с дорогами — решительно непонятно.
Вот такие мысли пришли в голову по просмотру этого видео. Я, конечно, полагал, что производство современных процессоров это ультравысокие технологии, но не знал, например, что налаживание всего производства с нуля — это реально неподъёмная задача. Ведь даже такие, казалось бы, тривиальные задачи надо решить, как выпуск специальных стиральных машин. Чтобы стирать костюмы, в которых люди в чистых комнатах ходят. А потом ещё сделать к этим машинам специальный стиральный гель, который не даёт частиц. И костюмы сшить, а для них сделать специальную ткань, которая опять же — не даёт частиц и волокон. И маски, обратно, не дающие волокон. И шлемы, и бахилы, и многое ещё чего.
И это так — фигня по большому счёту. Самое главное — откуда мы будем брать оборудование для фотолитографии? Контор, выпускающих его в мире, менее пяти штук, и на 80% это голландцы (вот уж не подумал бы). Они занимаются этим уже десятками лет, пробежать такой срок быстро невозможно.
Да что говорить, когда даже казалось бы тривиальный фундамент для завода стоит десятки миллионов долларов, потому как он от вибраций грунта отвязан, и там на каждом столбе по три сейсмометра, ставить техпроцесс на паузу если что. Как быстро можно научиться такое строить?
А софт для дизайна самих процессоров? Который тоже уже пишется десятилетиями? Нет, конечно, софт-то можно скоммуниздить, но…
Можно без всего этого? Можно! Но на выходе не сделать ничего сложнее i80286 или Z80. Про единицы нанометров можно забыть… ну просто сразу.
Отсмотрел не отрываясь всё видео, очень интересное. И без ентой вашей политики. Просто специалисты в своём деле рассказывают свои мысли.
Хороший лонгрид на Wired. В целом, ничего такого выдающегося — глубинный анализ данных, кластеринг тысяч кошельков, принадлежащих одному владельцу, анализ траффика. Но читать интересно.
Ссылка на академическое исследование.
Блокчейн, будучи по своей природе публичным, не может вечно прятать свои секреты. Именно поэтому, кстати, я со скепсисом отношусь к переводу каких-то голосований в блокчейн. Ибо основа основ — тайность голосования — улетучивается моментально.