Category: it

Category was added automatically. Read all entries about "it".

IPFCP, ой, то есть ICFPC-2020

Ровно 11 часа назад закончился ICFPC 2020. Так как я предусмотрительно взял выходной на остаток дня, готовьтесь, сейчас буду РАССКАЗЫВАТЬ. Отчет за прошлый год тут.

Тэ минус семь дней

За неделю до соревнования организаторы начали выкладывать затравочки. Выглядели они примерно так:

Больше сообщений здесь.

Энтузиасты быстро сообразили, что это закодированные числа и простые операции, типа сложить-умножить-больше-меньше. Делать с этим было особенно нечего, разве что написать парсер-сериализатор. Вдруг пригодится. Я написал (спойлер: не пригодился :). 

Все это сопровождалось довольно милыми инсценировками от лица сотрудников вымышленной уральской обсерватории. Примерно такими:

Сразу видно, ребятам было весело! Да и какой программист не мечтает напялить халат, сунуть в карман перфокарты, перейти на язык международного научного общения — примитивный английский с очень сильным акцентом — и хотя бы на секунду представить, что занимается настоящей наукой, а не этим, прости господи, реактом.

Перечитав свой отчет за прошлый год, я также решил подготовиться инфраструктурно. Чтобы не тратить ценное время на javax.swing.JFrame jframe = new javax.swing.JFrame() во время соревнования. Хоть задание и неизвестно, можно сделать что-то универсальное, типа запускателя задач, загрузки реплеев, и так далее. Как-то так выглядело:

По выравниванию кнопок и дерганью панелек можете оценить, какой из меня Свинг-программист (никакой). Спойлер: тоже не пригодилось :)

Опять же, по следам прошлого года, я решил брать не Кложу, а Джаву. Соображение было такое, что байтики перекладывать в Кложе все равно не особо удобно, скорость программы перевешивает скорость разработки, а Раст я так и не выучил за год. Короче, компромис.

Под это дело я завербовал двух местных единомышленников (@intelliyole и @pdrobushevich, спасибо вам, если вы это читаете!), мы приехали в офис JetBrains в Мюнхене, я нарисовал нашему телеграмчику логотип и мы стали с ужасом ждать пятницы.

Команда называлась Please disable AdBlock
Команда называлась Please disable AdBlock

Тэ ноль

В момент старта соревнования... ничего не произошло. Точнее, выложили еще пачку картинок, и... все! Самое удивительное ощущение от соревнования, что вот оно, началось, а что делать — непонятно! Мы готовы, сидим, на низком старте, все JIT-ты прогреты, а куда программировать — непонятно!

Офигиваем от отсутствия задания.
Офигиваем от отсутствия задания.

Первые пять часов чат сообщества пытался коллективно угадать назначение символов и что же, собственно, нужно делать. Не все давалось легко: например, вот этой функции так и не придумали названия. До самого конца соревнования во всех документах она так и проходила как f38.

А вот это просто милая отсылка к Пионерам, сразу видно, культурные люди соревнование проводят:

Тэ плюс 4:30

Только в 19:30 (!) наконец-то выложили задание. Стало можно запрогать хоть что-то. @Yole написал нам первую версию интерпретатора, которая смогла посчитать функцию 2^N на инопланетном языке и ушел спать. Правда, galaxy.txt она считать отказалась, а почему — непонятно.

Я, как настоящий человек-сова на кокаине, подхватил эстафету, потыкал Джавную версию и сел писать свою версию на Кложе. И это, скажу я вам, совсем другие ощущения. Как будто ты вышел на трек в кирзовых сапогах, и даже какое-то время в них бежал, и вдруг сменил их на удобные спортивные кроссовки. Не то чтобы в Кложе какие-то особенные фичи я заиспользовал, нет: самый обычный код, парсинг строки, тусовка массивов. Просто там все удобнее сделано! Циклы, ифы, функции, коллекции. Даже в сравнении с самой последней 14-й Джавой, со всеми ее рекордами, стримами, ломбуками и стейт-оф-зе-арт ИДЭ от работодателя. Последний раз на Кложе я писал в 2018, с тех пор поработал на Расте, Джаве, Котлине, C++, но за эти три дня ощутил снова, как в первый раз: Кложа — язык, наиболее близкий к форме мыслей программиста. Пишешь как думаешь. И это, ребята, дорогого стоит. И это еще до того, как начнутся по-настоящему продвинутые фичи. Короче, писать можно на чем угодно, но получать удовольствие, по-настоящему, — только от Кложи.

За ночь с первого дня на второй я этот интерпретатор написал. Это, собственно, субъективно, и была лучшая часть соревнования. Во-первых, пять-восемь часов самозабвенного кодинга под звуки спящих птиц, медленно всходящего солнца, ночных мусоровозов и неврозных автосигнализаций.

Во-вторых, я наконец-то пощупал лямбда-исчисление руками. То есть я про него конечно слышал, но глубоко не вникал. Тут же мы собственно компьютер на нем написали, по пути разобравшись, как люди выкручиваются, чтобы простые и привычные конструкции в него засунуть. Вот это B, C, K, W system и вот это SKI combinator calculus и вот это Logic and predicates и вот это Pairs. Скажем, cons/car/cdr очень остроумно придуманы:

true  := λx.λy.x
false := λx.λy.y
cons  := λx.λy.λf.f x y
car   := λp.p true
cdr   := λp.p false

То есть cons (pair) это такая частично-вычисленная лямбда от трех аргументов, замкнутая на два. Третий аргумент — это функция, которую cons потом к первым двум аргументам и применит. Собственно, чтобы получить первый аргумент из cons (car), мы ему передаем функцию от двух аргументов, которая возвращает первый и игнорирует второй, cons ее вызывает, и вуаля: мы достали голову списка!

Я этого как-то не знал, и было очень интересно узнать. Действительно остроумно же! Жить так нельзя, конечно, но для теории программирования важно все равно.

Наконец, третий счастливый момент связан с тем, во что эта программа выливается. Представьте себе, сижу я всю ночь, ковыряюсь примерно в таком:

и таком:

и вот спустя часов восемь возни с двухбуквенными идентификаторами, ручным декодированием бинарных кодировок, собирания в уме списков из cons-ячеек, программа наконец запускается и СОВЕРШЕННО НЕОЖИДАННО выводит В ТЕРМИНАЛ, одно из самых некрасивых мест на планете, такое:

Более того, спустя еще несколько часов выклянчивания подсказок в чате, исправления багов, приделывания таки свинг-окошка на экране ВНЕЗАПНО рисуется такое:

И это, скажу я вам, офигенный драматургический момент. Как выход из платоновской пещеры практически.

Задокументировано!
Задокументировано!

Тэ плюс 20 часов

На этом хорошие новости, да и соревнование в целом, для меня закончились. Оказалось, что запустить галактику — полдела. Это обязательное условие, но оно не засчитывается никак. Чтобы получить хоть одно очко, нужно что-то с этой галактикой сделать. Только неизвестно что. Помните старые поинт-энд-клик квесты вроде Петьки и Василия Ивановича, где нужно из дамской сумочки, валенка и мясорубки догадаться собрать пулемет?

Тут примерно то же самое, только на инопланетном языке, с пиксельной графикой и без какого-либо feedback loop. Вот я прокликиваю через пару задачек:

Типа, вот так вот. Милая пиксельная графика, да! Но никаких дополнительных пояснений, контекста, намеков, ничего вообще нигде было. Что это? Что это значит? Что с этим можно сделать? Надо ли вообще что-то с этим делать? Продвигаюсь ли я вперед или топчусь на месте? Ситуация осложнялась тем, что интерпретатор написал ты сам. То есть ты никогда не знаешь, где действительно загадка, где просто «фантазия художника», где задание, где тебе пытаются что-то сказать, а где просто оформление, где баг твоей реализации, а где баг организаторов (было и такое).

Например. В левом верхнем углу галактики (важное место, да?) нарисовано:

Что читается как: ap ap mul pwr2 34 ?. Что не очень много смысла имеет, потому что даже по количеству ap неверно. Вот как это понимать? И что с этим делать? И так в каждом квесте в лучшем случае (тут хотя бы прочитать можно).

Насколько это сложно? Из двухсот начавших соревнование команд только одна (!) сообразила, что нужно было делать, и только через 11 часов после начала соревнования. Вторая подтянулась на T+20, всего к моменту окончания лайтинг раунда «что-то» сделали 5 команд. Всего ПЯТЬ команд смогли сделать ПЕРВЫЙ шаг (и тольк две из них — второй и далее). Кто-то из них в чате писал, что не знает, что именно они сделали. Даже спустя все три дня я до сих пор не знаю, что конкретно требовалось сделать и за что давались очки.

Тэ плюс 24 часа

Вторые сутки я отходил от ночного марш-броска и ничего не делал. Ребята что-то поковыряли, но особо мы никуда, кажется не продвинулись.

Тэ плюс 48 часов

Первые несколько часов ушли на то, чтобы просто разобраться в происходящем. Паша пытался сделать сабмишн, который бы проходил минимальный тест (отправлял команды JOIN и START), но из-за отсутствия репортинга ошибок (любого, вообще) это оказалось сложнее, чем кажется.

Если перепрыгнуть сразу к выводам (а дойти до них было непросто), нужно было управлять кораблем, но правила сражений неизвестны, формат команд неизвестен, вообще ничего неизвестно, кроме докер-образа, в котором надо сдавать задание. Причем это не временное ограничение, а именно принципиальная позиция, суть соревнования. Это соревнование не алгоритмов, и не программирования вообще, а квестовой смекалочки.

Примерно так выглядят те крупицы знаний, которые сбросили нам организаторы:

И это, собственно, момент, где я из соревнования по большому счету выбыл. То ли я тупой, то ли мой мозг как-то по-другому устроен, но с самого начала соревнования я не разгадал НИ ОДНОЙ загадки и ни до чего сам не догадался. И это не преувеличение, я не скромничаю и не имею в виду «очень мало догадался». Нет, буквально НИ-ЧЕ-ГО. ВСЁ происходящее я понимал или из дискорд-чата, где другие такие же бедолаги делились крупицами знаний, либо из подсказок организаторов, которые обычно выдавались на сутки позже для совсем тупых вроде меня.

А вот один из организаторов сжалился надо мной и подписал стрелочками для тупых, что один зеленый квадрат — это туториалы, а другой идентичный квадрат — «мультиплеер»:

В общем я очень хотел, но не смог играть. Я запустил корабль и он полетал по орбите, но это все, что я смог сделать за сутки. Дальше просто стена, что делать — непонятно. Все более успешные команды сбежали из чата, и дух коллективной разгадки тайн и научной коллаборации быстро выдохся.

Я, конечно, не могу оценить, как игра происходила на высших уровнях, может быть, там открывалась какая-то глубина происходящего, но из того, что было доступно мне — корабль мог летать, мог стрелять и мог взрываться. При этом взрыв приводил к немедленному проигрышу, то есть не очень понятно зачем нужен. Стрельба не приносила никакого эффекта — все игры, которые я видел, даже у топовых команд, если и пытались стрелять, это никак на результат не влияло. Игры всегда завершались либо по истечении лимита ходов, либо падением одного из участников на планету. Повлиять на орбиту противника никак нельзя, столкновений нет, то есть, буквально, единственная действенная стратегия — ждать и надеяться, чтобы противник упал первым.

Я бы хотел искать алгоритмы получше, обдумывать стратегии, сравнивать варианты, писать код, оптимизировать код — да на любую осмысленную деятельность я был готов, жаждал даже, да даже зашиваться от количества работы или от сложности проблемы был бы рад, но увы, видимо, не в этот год.

Что понравилось

Принудительный ликбез по лямбда-исчислению.

Душевные театральные постановки.

Отличная пиксельная графика и стильные интерфейсы настолько минимальными средствами.

Красивая виртуальная машина и написанная на ней программа. Я не устаю поражаться, насколько много всего (целую интерактивную галактику, квесты, туториалы, реплеи и мультиплеер) удалось запрограммировать и запаковать в такой примитивный формат как голое лямбда-исчисление и что оно очень даже сносно работало. Чувствую себя прикоснувшимся к самым основам компьютер сайнса.

Что не понравилось

Высокий, рискну даже сказать, неприступный порог входа, фактически лишивший возможности участвовать в соревновании.

Туториалы, блокирующие тебе саму возможность участия в ладдере. К счастью, кто-то в чате хакнул образ программы и нашел способ их пропустить.

К смеху, даже после всех обсуждений и после окончания соревнования у меня до сих пор нет идей, как некоторые из них проходить. Напоминаю, что по официальной версии они являются обязательными.

Излишняя завязанность на сервер даже там, где это не нужно. Скажем, локальные туториалы и локальный сингл-плеер требуют наличия сервера, хотя логически он ни за чем не нужен. Это печально, потому что в прошлом году после окончания соревнования я еще несколько недель с ним ковырялся, переписывал на расте, в общем, всячески взаимодействовал.

Смешно, что хотя локальные игры и требуют сервера, против сервера нельзя поиграть тестовую игру. Нужно самому городить два локальных инстанса, соединять их, и т.п. Хотя казалось бы.

Другая очевидная проблема завязанности на сервер: ошибки 400, таймауты, сброс стейта игры, внезапное возрождение предыдущего стейта и полное отсуствие контроля над всем этим. Когда ты не уверен в том, насколько хорошо работает твой эмулятор, твой прокотол общения, твой бот, добавление в этот микс случайных не зависящих от тебя ошибок не очень помогает понимать происходящее.

Отладки и ошибок нет от слова совсем. Что-то не так? Пошел нахуй. Вот тебе, список из нуля: (0). Нет, серьезно. Так выглядят ошибки. Список из нуля. Не просто ноль. Список. (cons 0 nil). На любой чих или это, или 400 иди нахуй, без сообщения.

Излишняя, как мне показалось, запутанность схем отправки/взаимодействия с сервером организаторов. Из-за этого я не могу, например, показать вам код программы, а человек с улицы не может уже попробовать в игру поиграть (нужен ключ, выдававшийся при регистрации).

Слишком большое количество ресурсов, информация по которым была размазана примерно равномерно и все из которых регулярно обновлялись:

Очень большая задержка в обновлении ладдера. После отправки своей версии требовалось несколько часов (!), чтобы узнать, как выступила одна из твоих версий.

Шрифт JebBrains Mono вместо Fira Code на сайте 😘

Что удивило

Очень неожиданный формат, заставший врасплох. Чувство новизны оно такое, может не из самых приятных, зато позволяет почуствовать себя живым.

Что у меня что-то не влезло в монитор :)

Внезапно, меня поблагодарили в титрах. Мама, я теперь медиа!

С большой вероятностью меня прочитают организаторы, так что во-первых привет-привет!, а во вторых спасибо и вам тоже за такие крутые американсие горки!

Себе на будущее

Надо таки делать свой визуализатор. Второй год подряд мне кажется, что предоставленного организаторами окажется достаточно, тем более что в обоих случаях они неплохи. Но потом в какой-то момент ты вдруг понимаешь, что уже четыре часа как накликиваешь одни и те же тривиальные операции, стартуешь по два параллельных процесса в консоли, копируешь айдишку из одного в другой, что это ужас-ужас, но ты вроде как бы уже и привык. Особенно не помогает, что четкого перехода из «я ничего не понимаю что надо делать вообще» в «я все понял, тестирую гипотезы и мне нужна максимальная эффективность в их запуске» нет, поймать этот момент крайне трудно.

Нет, свою жизнь надо автоматизировать, и чем раньше, тем лучше. Конкретно в этом случае мне потребовалось некоторе время, чтобы понять, что вся та сложная виртуальная машина на 320 кб лямбд для отображения стейта, да и для игры вообще, не нужна. То есть она как бы нужна, но не нужна. Это сложно объяснить, короче. Мораль такая, что свой визуализатор будет нужен.

Напоследок вот вам глаза «Ивана Зайцева, астронома», которые смотрели на нас из каждой ссылки на его гитхаб. Пусть и на вас смотрят, прямо в душу:


Почему JetBrains не напишет легковесную IDE

Еще в 2011 я публично отказался от ИДЕ и так с тех пор и живу: TextMate, Vim, Sublime, LightTable, VS Code, снова Sublime.

И вот год назад я устроился в JetBrains. Нет, мое отношение не поменялось: я все еще считаю, что в ИДЕ программировать не надо. У меня на столе усердно копится папочка Annoying IDE(A), а Джаву и Котлин я все так же пишу в Sublime Text.

Поменялось вот что. Раньше я думал, что IDE это такие цитадели зла, что их специально делают сложными и неудобными, ну или не специально, а просто сил не хватает сделать аккуратными и легковесными. Могли бы, да не смогли.

Сейчас, посмотрев на Idea, и на Java-тулинг, и на Android Studio, я понимаю, что это принципиальное противоречие: в самой идее IDE заложена сложность, кривость и неудобство. Легковесная IDE не может существовать, потому что мир вокруг сложен.

Давайте подумаем, что ИДЕ нам дает. Syntax highlighting, Go to definition, Find usages, Show hierarchy, Structural rename, и допустим Run configurations, то есть возможность все это как-то запускать (в том числе и под дебаггером). Все это сами по себе вполне легковесные функции, так-то. Легко представить их чисто интерфейсно в, скажем, в Vim или VS Code, ничего принципиально сложного или развесистого они в себе не несут. Так в чем же проблема?

Проблема в том, что чтобы они работали, нужно вот прям все-все знать о проекте в целом. Язык программирования, допустим, маленький и фиксированный, с ним просто. Поэтому Syntax highlighting, для которого дальше одного файла смотреть не нужно, есть в самых легковесных редакторах. А вот как проект настроен и как билдится, вот тут-то адок и начинается. Миллионы билд-систем, некоторые из которых императивные и тюринг-полные, два миллионна фреймворков, миллион в квадрате интеграций, все это кривое, косое, уникальное, как блядь снежинка, общается друг с другом не пойми как, пишет файлы, теряет файлы, не видит очевидного, лезет куда не нужно, зависит друг от друга, ломается и занимается при этом довольно тривиальными вещами, что обидно.

Особенно меня впечатлила Android Studio. Она как бы на основе Idea, но делается гугловцами. Гугл, как известно, принципиально не может ни во что простое и понятное, но тут это возведено в принцип. Android Studio — это не продукт, это папка scripts на всех языках мира, собранная напрямую с машин разработчиков гугла, поверх которой натянут разве что чудом не разваливающийся интерфейс, который хочется пристрелить из жалости. Если бы в мире Mad Max писали программы, их писали бы именно как Андроид Студию.

При этом Андроид Студия это и есть ИДЕ в самом чистом виде: адок, который хоть как-то работает и который хоть во что-то скачиваемое упакован. Это и есть его основная польза. Проблема не в том, что ИДЕ плохо сделана, проблема в том, что от нее хотят работы с вещами, которые сами по себе безумно сложные. Почему они сложные — ну, ответ в человеческой природе, человек слаб, и да, это сложность на пустом месте, только для ИДЕ это данность, а не пространство для дизайна. Как только ИДЕ станет легковесной, она перестанет быть ИДЕ.

Из этого можно сделать очень простой вывод. Если не хочется сложности, хочется легковесности, простоты, удобства, менять надо не ИДЕ и не редактор. Менять надо то, на чем программируешь. Выберешь правильный язык, правильную экосистему, а там окажется, что и тулинг приятный, и ИДЕ простые и логичные.

Композируй это

Познакомился с Jetpack Compose. Это такой новый фреймворк «декларативного» UI для Андроида от Гугла. Потому что Гуглу, как обычно, мало одного нового «декларативного» фреймворка для Андроида (Flutter), и они решили делать сразу несколько. А чтобы ни кто не путался, делают их максимально похожими. Серьезно, авторы за ланчем обмениваются идеями и добавляют в оба.

Почему «декларативный» в кавычках? «Декларативные» UI-фреймворки — это новая волна, начатая Реактом и продолженная Flutter, SwiftUI, и вот теперь Jetpack Compose. Декларативные они в очень пост-ироничном смысле: упор в них как раз делается на описание UI в коде. А код, даже чисто функциональный, никак не может быть декларативным. Иерархия примерно такая:

  • Декларативный.
  • Чистый функциональный.
  • Императивный.

Понятно, что все эти фреймворки по уши сидят в императивности. Вот SQL декларативный. Prolog декларативный. Блин, даже XML/HTML/templates декларативные! А в том, чтобы позвать функцию, получить результат и обработать его, подергав попутно удобно подложенные глобальные процедуры, ничего декларативного нет. Но XML из моды вышел, А СЛОВО КРАСИВОЕ, чего слову пропадать?

Так вот, «декларативные» фреймворки, как их называют, содержат что-то вроде VDOM, а точнее концепцию top-down rerendering. Это когда твоя функция должна посчитать, как в текущий момент UI должен выглядеть, полностью с нуля (сгенерить VDOM), а задача фреймворка — привести UI в соответствие с этим представленим путем минимальных модификаций. В противовес старой ООП-UI модели, где эта задача ложилась на программиста и он неизбежно ныл и косячил. Раньше: panel1.close(); new panel2().open(), сейчас fun Window() = if (x) new panel1() else new panel2(); rerender(Window()); Мутабельный граф внутри все равно есть, только ходит с ним общаться сам фреймворк, ну, потому что код довольно однообразный был все равно.

Декларативность тут в том смысле, что фреймворк только описывает, как ему хотелось бы видеть UI, а не создает его самостоятельно. Ну натянуто, конечно, но хотя бы видна мысль. Почему первый «декларативный» фреймворк называется React, а не Declare, например, я если честно не знаю. Он ведь ни в одном месте даже не реактивный.

Так вот, особенно смешно в контексте спора за чистоту терминов смотреть именно на Compose, где весь API построен на мутейтящих глобальное состояние ПРОЦЕДУРАХ (ага, они еще бывают). То есть буквально () -> Unit. Код предполагается писать вот так (на выделение не смотрите, просто скриншотил в туториале):

Почему у Column такой большой отступ я вообще понятия не имею, в Котлине с форматтингом вообще плохо
Почему у Column такой большой отступ я вообще понятия не имею, в Котлине с форматтингом вообще плохо

Человек, опытный в Котлине, может заподозрить тут потенциальную возможность здравого смысла. Например, в Котлине есть все инструменты, чтобы Text() внутри, скажем, Column, на самом деле не просто вызывал функцию Text(), а дергал бы какой-то хитрый метод на внешнем скоупе (колумне как раз) с неявным ресивером и что-то куда-то там добавлял (количество неявностей в таком дизайне оставим без обсуждения). Но нет. Text(), как и все остальное здесь, – обычные процедуры. Зови в любом месте. Где позвал, там компонент и добавится. Императивочка-с.

Экспозиция закончилась, можно наконец перейти к сути поста. Идея делать такое АПИ — видимо, призрачное счастье разработчиков. Действительно, что может быть проще, чем написать:

Column {
   Button()
   Text()

Максимально лаконичное API, да? Но если присмотреться, мы увидим, что Column принимает не список детей, а замыкание. Почему это? Спросите вы. А потому что это гребаные процедуры, вот почему. Придумав такое API, ты невольно загнал себя в угол — его нужно держать строго определенным образом, и никак иначе. Удобно в простых примерах, а дальше начинаются сложности.

Мы, программисты, привыкли, что в коде можно делать много разных вещей. И нам это нравится! Можно принимать значения, передавать значения, трансформировать значения, обрабатывать значения. Но вы поняли, наверное, уже, к чему я веду, да? Компоуз решил нас этой радости, потому что его API ничего не принимает и не возвращает. Там нет значений. Его API можно только позвать, конец истории. Нельзя написать функцию, которая сортирует компоненты. Которая вставляет разделитель в список компонентов. Нельзя даже нормально вложить один компонент в другой без создания анонимной лямбды. Потому что и компонентов-то нет. Только лямбды. 

А лямбды это что? Это худший из возможных форматов хранения данных. Хуже структур, понятно, и даже хуже чем ООП. Лямбда — это черный ящик, черная дыра, максимально негибкое, неудобное и безполезное явление, на которое ни посмотреть, ни потрогать, ни сообщение послать, ни разобрать, ни распечатать, ни сравнить, а только обернуть в другую такую же гребанную лямбду или передать дальше. Лямбды невозможно упростить — они всегда только растут, толстеют, как слои лука у Шрека или жировые прослойки на твоей слоеной архитектуре. Максимально вредный объект, особенно как основа API. И поверьте, внутри Композа (да и снаружи) этих лямбд хоть лопатой жуй, и они все анонимные, и ничего не принимают и не возвращают, и от неявных ресиверов зависят, и друг друга заворачивают и разворачивают (ха-ха, шучу, лямбду нельзя развернуть!) и они анонимные все! А, это уже было. Ну вы поняли.

Лирическое отступление. Вообще общую адекватность автором можно оценить по вот такому интересному коду:

Это чтобы если ты пишешь a.ref=b то произошло бы на самом деле b?.value=a. Чем первое лучше второго я боюсь даже спрашивать. Серьезно, за психическое здоровье опасаюсь, если узнаю ответ.

Другой пример странного, кхм, изобретения, это то что они перегрузили (!) оператор (!!) унарный (!!!) плюс (!!!!) делать что-то нетривиальное. То есть оператор конечно довольно бестолковый, но все равно — что???

)

Так вот. Поинт. Насколько я понимаю, единственный смысл тащить дизайн UI в код — в том, чтобы работать с UI как с кодом. Потому что по всем остальным параметрам как раз декларативный XML выигрывает — дизайнер-визуализатор писать проще, анализ проще, оптимизаций доступно больше, перформанс лучше, быстрый релоад можно сделать. Но если ты от всего этого добровольно отказался, перешел в код, но все что ты можешь в этом коде делать — это аккуратно его держать, строить только специально оформленные функции и звать их в определенной последовательности, но никак не обрабатывать значения — зачем было заморачиваться? Это какое-то специальное программирование, очень странная дисциплина.

В каком-то интервью Артемий Лебедев объяснил, в чем проблема эргономичных вещей, не конкретных, а вообще, по жизни. Почему они не становятся мейнстримом. Потому что их создатели думают об одном каком-то, пусть даже основном, способе использования, и гипероптимизируют под него, забывая про все остальные. Так же и тут. Самый удобный АПИ у нас уже есть — это функции с явным списком аргументов и возвращаемым значением. И все. Конец истории. Лучше не будет. Серьезно. Не надо мудрить, хитрить, не надо придумывать «более удобный DSL», не надо аннотации придумывать, не надо компилятор форкать, не надо вообще программисту помогать вызывать функции. Лучше все равно не сделаете, а проблем на разгребание всего этого — создадите. Лучшая помощь — оставить нас в покое и дать писать обычный код. Будете проектировать свой UI-фреймворк — не ошибитесь.


Good times create weak men

Есть такой очень важный доклад Jonathan Blow - Preventing the Collapse of Civilization. Смотреть прям обязательно. Это такой Software Disenchantment только с анализом причин и выводом.

Так вот, в нем утверждается что современные программисты, стоя на плечах гигантов, утратили способность писать фундаментальные вещи и вообще простой, быстрый, надежный софт. Good times create weak men:

Ну а логика очень проста: предыдущее поколение сделало X, следующее пишет Y на X и ему не очень нужно и вообще не интересно, как X внутри устроено и как сделать такое же с нуля. Повторить N раз.

При этом тревогу никто не бьет: всем кажется, если мы умели делать X, а научились делать Y, то теперь мы умеем делать и X, и Y. Что не совсем верно, потому что знания (экспертиза!) сами по себе вообще говоря не передаются (это одна из самых важных и новых для меня мыслей доклада), а необходимости практиковать X нет, соответственно он благополучно забывается. Docker и Electron — самые популярные технологии сегодняшнего дня. Обе не про что-то новое или фундаментальное, а про то, чтобы тихонько спрятать сложность под ковер, понять, разобраться или изменить которую у нашего поколения уже не получается.

И все бы хорошо, но лестница абстракции выросла уже настолько, что ошибки и дыры в сумме дают весьма существенный, заметный и неприятный результат. У нас сейчас есть на порядки более быстрые компьютеры, которые работают хуже, медленнее и ненадежнее, такой вот парадокс. Решение? Разобрать все, начать потихоньку уменьшать, заменять и переделывать, а экспертизы-то нет!

Все это немножко отдает дедовским ворчанием, и вообще как-то не ощущалось без хороших наглядных примеров. Пока я не набрел на annoying.technology, клон нашего grumpy.website. Ребята не побоялись поставить себе macOS Catalina, и вот где, оказывается, цирк!

Переключение чатов тормозит: https://annoying.technology/posts/e500c236b5e2853a/

Вместо следующего трека показывается через-один-следующий https://annoying.technology/posts/ee91b37183818d7b/

Песни показываются по два раза https://annoying.technology/posts/991e8babac1f6dc4/

Рендеринг разъезжается https://annoying.technology/posts/802dfae3517d4419/

Элементы списка не выделяются https://annoying.technology/posts/da8e5b3f56d9f767/

Клик на элементе выбирает другой элемент https://annoying.technology/posts/04769fafdac16826/

Программа конфликтует сама с собой https://annoying.technology/posts/c1f50e78a65d2ce3/

Программа рандомно отписывает от подкастов https://annoying.technology/posts/5c942a7b43a4a8b4/

Скачка не завершается https://annoying.technology/posts/50a5965493785fdb/

И это только первые две страницы!

Что показательно, это не какие-то случайные заскоки или ушлые маркетинговые решения. И не то чтобы они пытались что-то инновационное сделать. Нет, это самые простые и банальные вещи, какие только могут быть, вещи, которые компьютеры делали 30 лет без особых проблем, которые ipod с ЖК экраном и мощностью в 1/10 наручных часов успешно решал, и они их фейлят. Ты просишь человека открыть шкаф, а он обосрался. Не в смысле не смог, а буквально наложил в штаны вместо этого. Примерно такой уровень сложности задачи.

Вот как программируют современные программисты. Как думаете, сколько этот код продержится? https://twitter.com/argentumko/status/1210532125637611521
Вот как программируют современные программисты. Как думаете, сколько этот код продержится? https://twitter.com/argentumko/status/1210532125637611521

Причем, как правильно замечено в одном из постов, это не какие-то маргинальные программы непойми кого. Это флагманские Эппловые продукты, с помощью которых вообще-то в первую очередь рекламировалась эта самая новая ось. То есть не применим аргумент недосмотрели, не было времени, занимались чем-то другим — нет, можно быть уверенным, что огромное количество ресурсов было потрачено и огромное количество глаз смотрело именно на эти самые приложения. И ВСЕ РАВНО НЕ СМОГЛИ!

Понимаете? Понимаете, насколько все плохо? Одна из самых влиятельных технологических компаний в мире, которая может нанять кого угодно и в каких угодно количествах, бренд которой построен на супер качественном и вылизанном софте, компания, которая не выпускает «бета продуктов», которая МОГЛА в прошлом (документальный факт), НЕ СМОГЛА! Не «не захотела», не «выбрала неверное направление», не «переоценила свои силы», не «промахнулась с первого раза» а тупо, банально хотела, очень хотела, но не смогла.

И такое, ну, вообще вокруг нас. Новый Gmail работает хуже старого. Новый Твиттер медленнее и косячнее старого. Новый Youtube рисует меньше, а тормозит больше. Про macOS и iOS мы уже поговорили. Даже когда ситуация и задача фиксирована, а качество все падает и падает. Это даже не worse is better, потому что ничего нового не производится, место на рынке не делится, компания, принципы, приоритеты, пользователи не меняются. Буквально, те же самые люди делают тот же самый продукт. И выходит хуже и хуже.

Вот что печально.

Будущее программирование-2

Интересно, что хоть я в своем предыдущем посте явно и написал, что работа в облаке и работа в браузере — две совершенно перпендикулярных оси, я все равно получил пару комментариев от людей, которым кажется, что ЕСЛИ ты хочешь чтобы IDE работала в облаке, НЕОБХОДИМО, чтобы она работала в браузере.

если у тебя браузер лишь отвечает за фронт, то ресуркоёмкие вещи (индексация всякая, подсказочки, рефакторинг, компеляция) можно отдать серваку (по-моему пока ms додумались до language server, не?).
Не секрет, что многие считают идею очень прожорливой, поэтому мне кажется это было бы отличным выходом запихнуть иде в браузер где все сложные и ресурсоемкие операции выполнются на сервере, а тебе предоставляется только окошко терминал.

Поэтому я на всякий случай повторю еще раз:

Можно сделать локальную, прожорливую ИДЕ нативно. Классика: IDEA, Eclipse, Visual Studio. Подход прост и понятен всем.

Можно сделать облачную ИДЕ в браузере: Cloud9, Jupyter. Это то, что считалось будущим программирования, но пока стало очень нишевой штукой. Но это НЕ единственный возможный вариант.

Можно сделать локальную, прожорливую ИДЕ в браузере. Это то, что сделали VS Code и Atom. Не очень понятно, что они от этого выиграли, кроме того, что попали в волну, когда всем показалось, что будущее за JavaScript.

Можно сделать облачную ИДЕ с нативным приложением. Примеров ИДЕ пока нет, но самому подходу сто лет, называется тонкий клиент, отлично себя зарекомендовал.

Никто не мешает отгружать вычисления, ворочать облачными ресурсами и делать все остальное, НЕ будучи засунутым в браузер. Еще раз: браузер это довольно странная, во многом ограниченная и компромиссная платформа, которая дает leverage простым веб-страницам, но стоит начать делать что-то чуть более сложное (да, приложения, причем ЛЮБЫЕ приложения, даже самые элементарные), как она тут же начинает путаться под ногами и мешать.

Ну серьезно, подумайте, вот начали вы облачную ИДЕ делать, чем браузер вам поможет? HTTP-клиентом? Серьезно, там больше НИЧЕГО нет, одни ограничения.

Да, у веб-страниц есть ОЩУЩЕНИЕ что они легковеснее, чем нативные ИДЕ. Но это только ощущение. Если нужна максимальная производительность, то внезапно оказывается, что JS очень медленный язык, грузит он не так уж и мало, интерпретирует долго и КАЖДЫЙ РАЗ.

Единственное, почему, как мне кажется, в умах облачное == браузерное это репутация нативных ИДЕ как прожорливых монстров. Но это просто XCode или там Idea так написаны, как супер-комбайны «все и сразу». Они портят репутацию нативных ИДЕ, но это не значит что любые нативные ИДЕ должны быть такими. Нативные приложения могут быть легкими, шустрыми, простыми. Так мало кто делает, но это возможно и гораздо проще, чем заставить быстро работать браузер.

Будущее программирование

Я тут сделал доклад в JetBrains (внутренний, сорян) про будущее IDE. И после доклада было много вопросов из серии “Но ведь будущее определенно за Х, а вы его даже не рассматриваете”. Отвечаю.

— Почему вы не делаете IDE для браузера?

Visual Studio Code Online
Visual Studio Code Online

Делать IDE в браузере особого смысла нет. Да, лет десять назад, на волне успеха Google Docs всем казалось, что сейчас вообще все переедет в веб: и фотошоп, и обработка музыки, и монтаж видео, даже игры пытались. И, разумеется, программирование. Оказалось (внезапно, да) что браузер это довольно неудобная и ограниченная фигня и сидеть в нем добровольно никто не хочет. То есть это и так было понятно, просто лет десять назад казалось, что щас гугл с майкрософтом напрягутся и подтянут веб до нужного уровня. Тогда думать так было нормально. Сегодня это уже наивно, потому что мы видим, что по факту никто ничего никуда не подтянул, наоборот, закручивают гайки и делают из веба платформу для документов. 

Ну и десять лет назад, может быть, кому-то и казалось, что веб это дивный новый мир, но сегодня уже совсем не так ясно, зачем вообще лезть в браузер? От попадания туда у приложений не возникает магически каких-то волшебных свойств, которые невозможно было бы организовать на десктопе. Наоборот, многие полезные свойства гарантированно теряются: шорткаты сильно ограничены, drag-n-drop, файлы, интеграция в систему, перформанс. Зачем, мистер Андерсон, зачем? Если будущее приложений (вообще любых, кстати) и лежит где-то, то точно не в браузере.

— Но ведь есть WebAssembly!

Естественно, в таких дискуссиях неизбежно всплывает веб-ассемблер. Что тоже мне не очень понятно: веб ассемблер это такой способ запустить C++ в браузере. Но тут мы приходим опять же к вопросу: а зачем вообще запускаться в браузере? Что там есть такого, чтобы сначала усложнять себе жизнь, а затем эти проблемы героически решать?

— Но ведь если IDE написать для браузера, ты сразу сможешь запуститься на любом устройстве?

Типа да, но то, что ты сможешь запустить, будет настолько ущербным, неудобным и бесполезным, что можно сразу распускать сотрудников и объявлять себя банкротом. Плюс это наивное представление бэкенд-разработчиков и линуксоидов, что главная проблема кросс-платформенной разработки — хоть как-то запуститься, а там разберемся.

Нет, ребята, запинать код — не такая уж и проблема. Проблема — это чтобы продукт выглядел уместно в той среде, где запускается. Чтобы вел себя адекватно. Чтобы интегрировался. Поэтому write once, run anywhere это довольно наивная утопия, посмотрите хотя бы на кошмар UI-библиотек на Java. Гораздо здравомысленнее выглядит подход Flutter, которые сразу говорят: под каждую платформу виджеты свои, пишите дважды. Да, это тяжеловато разработчикам, зато прекрасно для тех, кто будет приложением пользоваться. Оптимизировать разработку продукта под время/удобство разработчика вообще путь в никуда. А если писать UI-код под каждую платформу заново звучит страшновато, то посмотрите на разработчиков игр — они под каждую консоль просто всю игру заново пишут, иногда это даже разные команды. И ничего, живут как-то, игры выходят, оптимизируются под особенности железа, используют фичи платформы. Игроки довольны.

— Ноутбуки говно, будущее за планшетами, ультимативной мобильностью и работой из купе поезда Москва-Владивосток. А что, разве нет?

Да, раз в год в интернете очередной персонаж объявляет год отказа от ноутбуков и программирования на айпаде. Да, так можно сделать. Можно найти способ, придумать, извернуться. Вопрос только: зачем?

Да, когда вышел iPad, никто не понимал, зачем он нужен. Да что уж, тогда и про смартфон было не все понятно. Да, были мысли, что за iPad-ом будущее. Были мысли, что сейчас везде всунут тачскрин, каждый ноутбук станет трансформером, майкрософт вон вообще придумывало, как так извернуться, чтобы приложения работали сразу во всех условиях одинаково. 

Но время прошло. Айпаду уже почти 10 лет, и за это время стало понятно, что у каждого из устройств есть свой sweet spot. Для телефона это приложения, доступ к которым нужен на бегу. Для ноутбука — серьезная офисная работа. Для планшета — чтение и рисование? Так или иначе, у каждой задачи есть свой максимально удобный форм-фактор, максимально подходящий набор приложений, максимально подходящая обстановка. Скажем, для рисования это действительно экран с пером, а не ноутбук, не аудиоколонка и не телефон. Для прослушивания музыки — умная колонка, а айпад с ноутбуком будут overkill. А вот для программирования — десктоп с большим монитором, настоящей клавиатурой и мышкой/трекпадом. Все остальное — компромисс.

Да, можно программировать и на ноутбуке, почти ничего не потеряв. Можно программировать и на айпаде. Можно и на телефоне, наверное, и даже на часах. Вопрос же не в том, как может извернуться человек. А в том, что вот перед вами программист, решивший остаток своих дней посвятить созданию программ. Предположим, чисто гипотетически, что например IntelliJ IDEA УЖЕ существует для всех на свете возможных платформ, включая MiFit. Так вот, зачем, какая сила даже чисто теоретически может этого человека заставить выбрать устройством работы с кодом айпад, а не нормальную рабочую станцию? Даже при прочих равных. Ну не сможет он, бедняга, поехав в отпуск и оставив ноутбук на работе, поправить десять строчек кода. Сможет только (и будет) смотреть мультики с детьми. Настолько ли это большая проблема? Настолько ли частая? И та ли эта ситуация, вокруг которой мы должны строить будущее для всех остальных?

Спасибо, кстати, что хотя бы никто не спросил, почему мы ничего не планируем для VR-а.

— За чем же тогда будущее? На что ориентироваться?

(окей, это я уже сам себе вопрос задаю, хочется какой-то позитивный месседж в конце оставить)

Есть несколько универсальных констант, на которые можно ориентироваться всегда и никогда не прогадаешь. Это так же верно сейчас, как было 10 лет назад и как будет через 10 лет.

Во-первых, компьютеры никуда не денутся именно для программистов. Может быть, часть каких-то приложений будет постепенно уходить с них на другие форм-факторы (телефон, планшет, часы), но не IDE.

Кросс-платформенная разработка важна как минимум для трех главных платформ: macOS, Windows, Linux. Пользуясь случаем, хочу напомнить, что настоящий язык по-настоящему кросс-платформенной разработки — никакая не Java, и все еще не JavaScript и уж конечно не WebAssembly, а C++. Вот уж что-то, что действительно runs anywhere.

Скорость всегда будет одной из главных фич любой программы, и уж конечно IDE. Взлет Sublime Text, Atom и VS Code связан не с успехом JavaScript, а с тем, что ждать, пока запустится Visual Studio/XCode/Eclipse/IDEA нет ну никаких сил. Если хотите расширить доступность вашей IDE — надо не выпускать ее под iPad, а лучше снизить потребление памяти вдвое. Пользуясь случаем, напомню, что по части скорости обскакать Atom/VS Code все еще есть куда (с Sublime Text уже сложнее).

Наравне со скоростью всегда будет цениться хороший UX. Буквально, если вам нужно ворваться на рынок IDE — просто берете и делаете нормально. Тут как-то даже и конкуренции особой нет.

Вот, например, я потихоньку собираю скриншоты проблем в Idea и VS Code (для отдельного поста):

Пользуясь случаем, напомню, что количество фич ≠ хороший UX. Мало сделать правильные фичи, нужно еще удержаться и не делать неправильные/ненужные/бесполезные. Feature bloat — анти-фича, и это как раз та дыра, куда сейчас летит VS Code. У них слишком много рук и слишком много свободного времени, поэтому на запуске она уже выглядит как зведолет. А значит, это еще одна возможность обскакать лидера рынка.

В общем, если будете вдруг делать IDE — успехов!

pub mod fiasco

Лучший язык, в котором правильно сделаны модули (ну или неймспейсы) — Кложа. Один файл === один неймспейс. Неймспейс может называться только так, как называется файл, и никак иначе. И лежать он должен тоже ровно по пути пакета. То есть (ns me.tonsky.hello) может и должен лежать в me/tonsky/hello.clj и нигде иначе. Сначала меня это почему-то напрягло — эй! свободу ограничивают! а как же самовыражение??? Это при том что в остальном Кложа — довольно либеральный язык и позволяет любую другую дичь творить спокойно и вообще говоря это чуть ли не единственное место, где абстракция «как организовать свой проект на файловой системе» протекла в язык, который, вообще говоря, весь такой интерпретируемый, динамичный, код может есть с руки и про файлы ничего не знает.

Но потом я проникся и оценил, особенно когда в других языках поработал. Кайф в том, что это не позволяет разводить бардака. Потому что в жизни, даже если все люди хорошие, рукопожатные и намерения у всех без исключения самые добрые, если бардак физически что-то не мешает развести — его разведут. Ну вот Кложа мешает. Живите с этим. И живут! И как живут!

Тут-то судьба забросила меня в Балтийское море, на остров Котлин. У Котлина какой основополагающий принцип? Если где-то что-то запрещают, у нас разрешают! Все обиженные, обездоленные приходите к нам и творите что хотите. Этот же принцип применен и к файловой системе. В Джаве ведь как? Один файл == один класс. Какое расточительство! В Котлине один файл == сколько угодно классов, объектов, функций, констант и чего угодно еще. Более того, файл может объявлять объекты в пакете, в котором он даже не находится. То есть какой-нибудь src/main/kotlin/me/tonsky/hello.kt может спокойно объявлять package go.fuck.yourself; и никому за это ничего не будет!

Что же тут не так? Помимо самоочевидного бардака, становится довольно сложно понять, где что находится. Скажем, ищу я класс me.tonsky.Draggable. Смотрю в me/tonsky/ папку а там layout.kt, main.kt и scene.kt. Ну офигеть! Класс может быть в любом. То есть на самом деле это не один файл содержит множество объектов. Это один модуль размазан на несколько файлов с ничего не говорящими названиями. Разница тонкая, но существенная.

Вы, конечно, скажете: дисциплина, братан! Большие, важные классы рассовывай как в Джаве, по классу на файл. А всякую мелочевку и сопутствующий хлам клади там же рядом, чтобы файлов не плодить. Но это ведь еще хуже! Большие классы я как-нибудь уж запомню, а вот маленькие вещи хотелось бы как раз уметь находить как-то более предсказуемым способом.

Все это, конечно стимулирует продажу IDE от одноименной компании, но почувствуйте разницу! Язык, разработанный на деньги IDE вендора, и язык, который при разработке не предполагал, что у вас вообще будет какой-то редактор (а судя по форматированию классов в clojure.lang писал его Рич в блокноте и пропорциональным шрифтом).

А потом вскрывается еще одна беда — разные файлы-то, получается, срут в общее пространство имен! То есть если ты в oops.kt написал val default = 1, то у тебя вдруг перестал работать wtf.kt про который ты даже не слышал, просто потому что он тоже определил val default = 0 когда-то а в алфавите W идет после O. Никакой изоляции. Не будешь же, в самом деле, по папке с одним файлом заводить на каждый класс. Сомнительное, короче, удобство.

А потом я пришел в Раст. Его систему с модулями я настолько не понял, что специально сейчас сидел перечитывал. Итак:

Официальная документация объясняет как объявлять модули, в том числе вложенные, внутри одного файла. Объяснению посвящены четыре главы из пяти. Очень подробно и наглядно объясняется все, кроме того, зачем кому-то когда-то это может в принципе понадобиться. Естественно никто так не делает.

Раст, как и многие начинающие программисты, живет в заблуждении, что модули бывают вложенными. И что эта вложенность может быть зачем-то нужна, что модуль-родитель и модуль-ребенок связаны чем-то большим, чем общим префиксом имени.

Как следствие, Раст позволяет ссылаться на над/под-модули с помощью относительных путей. Я тоже думал, что это давно пройденный урок и уже все без исключения на планете знают, насколько это хреновая идея: относительные пути не ищутся, легко путаются, плохо рефакторятся, плохо копи-пастятся и вообще слишком хрупки и зависимы от контекста, чтобы экономия пары-тройки букв оправдывала их существование. Просто сразу нет.

Раст позволяет импортить как модули, так и отдельные типы. Причем синтаксис общий. Что создает еще больше путаницы. Модуль — это неймспейс, средство изоляции имен, не больше. Тип — это уже что-то полезное. Давайте уже как-то разделять.

Видимо, по старой доброй C-традиции, в Расте сделали include вместо import. То есть когда ты говоришь use module, ты не просто создаешь некий синтаксический псевдоним, действующий исключительно до конца файла для разрешения имен. Нет, ты буквально добавляешь все что было в module в текущий файл. Не сослался, а скопировал и вставил себе. Это плохо, потому что вместо понятной модели «есть штука, она одна и существует там, где написана, плюс есть способы сослаться на штуку, псевдонимы, они могут быть любыми» мы получаем «одна и та же штука, размноженная N раз в N местах». А я еще удивлялся, почему одни и те же функции и из std::, и из core:: торчат. Вот почему!

Ну и на вишенку, модуль определяется не в том файле, где он написан, а в его родителе! Скажем, если вы сделали govno.rs, и написали в нем код, вы потом идете в lib.rs и в нем уже пишете mod govno;. Или, если хотите, определить его публично, pub mod govno;. То есть понимаете, да? Если вам интересно, торчит ли govno.rs наружу, вы не можете зайти в него и посмотреть. Вам нужно сообразить, кто его родитель, найти в этом родителе (в произвольном достаточно месте) надпись mod govno; и там узнать, есть ли префикс pub у него. Если вы хотите создать какой-то достаточно глубокий модуль, скажем, kak::zhe::vse::zaebalo, вам нужно пойти и создать всех промежуточных родителей и в каждом написать ровно по одной строчке:

lib.rs:
pub mod kak;

kak.rs:
pub mod zhe;

kak/zhe.rs:
pub mod vse;

kak/zhe/vse.rs:
pub mod zaebalo;

kak/zhe/vse/zaebalo.rs:
<your code here> 

В каком-то смысле это все следствие относительности имен и «удобства» их использования. В каком-то — следствие концепции вложенности. Этот пример прекрасно ее иллюстрирует: слишком много возни, слишком много вопросов, а в чем профит не ясно. Скажем, если модуль kak будет публичным, zhe — нет, vse — тоже нет, и наконец zaebalo — публичным. Смогу я его в конце концов заимпортить? Если нет, то в чем смысл pub в pub mod zaebalo;? Если да, то в чем смысл того, что промежуточные модули — приватные? И сколько файлов мне придется посетить, чтобы вычислить, доступен ли zaebalo для импорта?

Короче. Я не очень понимаю, как тут можно запутаться, но опыт показывает что путаются все и постоянно. Модули — плоские. Пути — абсолютные. Один файл === один модуль. Все, что надо знать про модуль, написано в нем самом. Будете делать свой язык — смотрите не объебитесь.


С высоты-3

Пост вызвал некоторую дискуссию, в связи с чем я не перестаю удивляться, насколько людям кажется что мир устроен так как им хочется а не так как он устроен на самом деле. Многие живут мыслью что то что они (ну или я) пишу это не настоящая Кложа, а где-то там далеко есть настоящая, и если сильно припрет то взял type hints и поправил и так-то и пишут настоящие джедаи. У них все всегда сразу достигает JVM-уровня скорости потому что они сразу везде указывают примитивные лонги и вообще все специфицируют и раскладывают сразу оптимально. Ну или разложат если будет нужно.

Я тоже так думал и даже рекламировал этот троп когда-то. Многим показалось, что мы как-то не так написали программу и поэтому она весьма посредственно работала. Типа, был выбор, писать быстро и писать медленно, и мы выбрали медленно, но был еще вариант быстро и мы его не взяли и это наша ошибка. Не то что мы специально не взяли, мы может и не знали, но нормальные программисты на нашем месте бы увидели и взяли и все бы у них было хорошо.

Так вот. Я сам не то чтобы чужд оптимизациям и натягиванию ужа на ежа. Я потратил достаточно много времени, пытаясь делать разные вещи быстрее, чем они есть. Придумывал какие-то оптимизированные defrecords в DataScript. Менял функции на макросы для инлайнинга. Городил макро-DSL для работы с массивами. Писал макросы, которые эмитят сразу оптимальный JS. AOT-прекомпилял Кложу в классы для быстрого стартапа. Видел тоже разного: всякие библиотеки для быстрой математики, патченные исходники с отложенной инициализацией var-ов, фоновые «прогретые» JVM для быстрого старта. Даже мантра «держи репл всегда запущенным» в общем-то про то, как бороться со тормозами на старте Кложи. Про все это можно сказать одно: это очень изнурительно, и удовольствия в этом никакого нет, только сложность и постоянное разочарование.

И в какой-то момент меня отпустило и я стал относиться к этому гораздо проще: вот есть язык, он предлагает такой вот способ писать программы. У этого способа есть определенные преимущества, какие-то, может быть, недостатки, и определенная цена, в том числе по производительности, которую все осознавали когда делали язык или выбирали его себе. И вот это просто место, с которым надо смириться, зафиксировать, что да, это осознанное решение, мы платим цену, и платить ее. Не пытаться обмануть систему. Не пытаться делать из того, чем язык является, то, чем он не является. Это всегда выходит дороже, сложнее, бесконечно коряво, недоделанно и в конечном счете не стоит усилий. Если бы был нормальный способ не платить цену, ее бы никто не платил.

Но если уж ввязался, то просто делай как все — будет проще, приятнее и честнее. Если язык предлагает records, бери и используй records, а не городи свой хитрый макрос на deftypes. Если нужно позвать функцию — значит, нужно позвать функцию. Если компилятор при этом продалбывает arity в метаданных, чтож — значит, продалбывает, такова цена. Так устроен язык. Хорошо, если это просто по недосмотру и можно отправить патч в компилятор. Если нет, что ж. Все равно нормальный, обычный код, собранный из того, что дают, в конечном счете, на длинной дистанции, выигрывает именно своей простотой и нормальностью. Потому что локальные оптимизации всегда останутся локальными и будут только мешаться под ногами непредвиденным образом; чем дальше, тем больше.

Нет особой доблести в том, чтобы задачи, которые плохо решаются, например, в Кложе, решать именно на Кложе. Мы же взяли ее чтобы было приятно программировать, а не чтобы бороться с фундаментальным устройством языка и идиоматичным кодом. Не надо пытаться писать на Кложе как на Котлине, как не надо пытаться писать на Котлине как на Кложе. Если уж взял ООП язык, то пиши уже блин классы. Конечно, попробовав ЛИСП, хочется везде засунуть неполную, багнутую, наполовину реализованную его версию, но это обещает только унылый доморощенный цирк и бесконечные головняки, ничего больше.

Какая цель была у моего эксперимента с переписыванием, если мы даже не выжали по максимуму что можно было ни из Кложи, ни из Раста? А цель очень простая — оценить не какой-то там теоретически возможный предел, который тибетские монахи могут достигнуть на языке путем десятилетней медитации. А оценить какая получается программа в среднем, когда ее пишут обычные люди в обычные, отнюдь не бесконечные сроки, и когда им нужно балансировать фичи/качество/дедлайн, а не выдрачивать микроцикл до пикосекунд.

Как верно подметил древнегреческий поэт Архилох (да, я тоже только что его нагуглил и тоже только что офигел), в критической ситуации ты не вырастаешь до уровня своих ожиданий, а падаешь до уровня своей подготовки. Ваша программа не будет написана из тысячи выдроченных микроциклов, она будет написана из тысячи самых обычных, рядовых функций, на многие из которых никто даже второй раз никогда не посмотрит, не то что оптимизации начнет расставлять. Поэтому глупо жить мечтами, что если быстрый код в принципе, теоретически, как-то где-то можно написать, то он везде почему-то будет написан. Не будет. Потому что это неудобно, противоестественно, не нужно. Из «на Кложе можно писать быстро» не следует «код на Кложе будет быстрый». Не будет.

В этом и смысл выбора наиболее подходящего языка: нужные тебе качества получаются естественно, сами собой, без борьбы против системы. Отсюда:

[...] при разработке на Кложе удобно думать в математических понятиях (а хешмэп это пожалуй самая близкая к функции структура данных). При разработке на Расте это кажется прямо-таки немного противоестственным, и хочется уже взять плоский кусок памяти, и как-то там его расчерчивать.

Язык определяет мышление, best tool for the job, вот это все. Банально, но на конкретном примере оно всегда как-то доходчивее.

С высоты-2

В предыдущем посте я разочаровывался в Clojure, а точнее в тех задачах, которые хочу на ней решать. С языком-то все нормально, он ровно то, за что себя выдает. Просто до какого-то момента и для каких-то задач на это удобно закрывать глаза, ну а мне уже не удобно.

Ну и что я сделал. Я пошел учить Rust. Не, ну интересно же, как компьютеры сегодня могут, если их правильно попросить.

Чтобы потренироваться я портировал на Раст наше решение из ICFPC. Причем портировал точь-в-точь: все те же структуры данных, те же алгоритмы, те же константы. Ну разве что не персистентные: там, где в Clojure update, в Rust у меня clone() и только потом push/insert, потому что в комплекте персистентные структуры не идут, да и так идиоматичнее. Важно: я не пытался что-то улучшить, срезать углы, реализовать покрасивее, нет: я написал ровно то, что мы и на Clojure написали. Ну, чтобы сравнение было честным.

Как только мой решатель начал что-то решать, я сразу же побежал сравнивать производительность. Rust ожидаемо вырывался вперед, но не на безумные цифры. Типа, вместо 4-5 секунд на задачу решал за три. Я даже собрался уже разоблачающий пост писать, что мол язык не важен, важны структуры данных и алгоритмы, в них весь перформанс, а не в том, на каком языке вы их записали. Потом, правда, коллеги подсказали, что я забыл снять с ручника, то есть запускал Rust в debug-билде. Ну и конечно, стоило поставить --release, как скорость выросла раз в двадцать. Впечатляет, да?

Самое печальное тут в том, что это все время на одну и ту же работу. Чистый оверхед. Программа на Clojure не выдает какой-то более умный или точный или качественный ответ. Она приходит к тому же финишу, только к ногам привязаны огромные 20-кратные гири. Раст на одном ядре обгоняет Кложу на двенадцати ядрах в 3,5 раза!

Можно было бы сказать «но это же низкоуровневый язык, как на нем можно что-то писать»? Писать было непривычно, потому что язык новый, но по ощущениям ничего особенно сложного, когда научишься. Приходится внимательно следить, что в каком порядке выделяется и кто куда что передает, но в нормальной программе оно обычно и так нормально разложено. Скажем так, Раст не дает тебе развести беспорядок там, где другие языки даже бы не обратили внимания. Да, это еще одна забота, но не ужас-ужас что прям программировать невозможно. Кода кстати сравнимо, 800-900 строк.

Зато 17 раз!!! UPD: 32 раза!!! Оказывается, дефолтные хэши в Расте криптографические и ими никто не пользуется.

Исходник и голые цифры. Выводы делайте сами.


ICFPC 2019

В этот понедельник закончился трехдневный марафон под названием ICFPC. Это такое соревнование, где команды программистов со всего мира пытаются на время как можно лучше решить некую задачу. В этот раз – обход лабиринтов с разным доп. инвентарем. Условия можно прочитать здесь. Это как бы отчет, но на самом деле памятка самому себе на случай, если буду играть еще через год.

Мне очень понравилось. То есть я конечно устал как собака, но есть что-то приятное в том что этот опыт а) имеет конечную продолжительность, а не тянется годами, как основная работа. И б) можно полностью отдаться задаче, не думая о том зачем это все и что ты делаешь со своей жизнью. Такой вот повод упоенно фигачить на полной скорости какое-то время, чтобы ветер свистел в ушах. Ну и просто весело.

Очень любопытно посмотреть, чего ты стоишь. В голове-то ты мог много себе про себя нафантазировать, а тут вот объективная реальность, ладдер, и ты либо можешь компьютер заставить делать что ты хочешь, либо не можешь. Никаких «если бы», никаких «возможно, наверное, мне кажется». Мы довольно посредственно выступили (на момент закрытия 29 место из 142 участвовавших, в лучший свой момент были на пятом).

Исторический скриншот. Дальше мы сильно сдали
Исторический скриншот. Дальше мы сильно сдали

Участвовали втроем, я в первый раз. Как я понял, средний размер команды ~5 человек, не редкость и восемь встретить. Втроем у нас довольно хорошо делились области ответственности, было бы больше появился бы организационный оверхед (как мне кажется). Восемь человек я бы вообще офигел менеджить и вообще ничего бы не написал, наверное. С другой стороны, больше рук – можно попробовать больше подходов. Можно вложиться в инфрастуктуру. Наверное.

Задача достаточно нетривиальная, чтобы решить ее до конца было в принципе невозможно. Но и не супер-сложная, чтобы как-то ее решить можно было бы даже иногда и руками (ну, самые простые примеры). Как правило это значит перебор вариантов в каком-то NP-полном поле, соревнование эвристик.

Собери бонусы, закрась лабиринт
Собери бонусы, закрась лабиринт

Clojure, несмотря на все плюсы языка высокого уровня и быстрого iteration time, по ощущениям подошла довольно плохо. Потому что все упирается в перформанс. Можно сколько угодно рассуждать про «глобальные оптимизации против локальных», ненавидеть байтоебство, мыслить как стратег с высоты птичьего полета и гордиться тем, что не знаешь, как устроен компьютер, но это все и в императивных языках можно делать. Они же не отнимают способности мыслить и планировать. Да, механика записи мысли чуть более многословна, ну зато оно того стоит. Плюс за три дня вы разницы может и не заметите даже. А вот по перформансу заметите, еще как. Как ни крути, а команда, которая обсчитает за условное время X в два раза больше вариантов, чем ее конкурент, будет в топе выше. КАК НИ КРУТИ. Больше здесь строго лучше. Либо больше итераций, больше вариантов попробовать, либо решения будут более глубокими, а значит и очков принесут больше.

ICFPC это как раз такой случай, когда лучше чуть больше устать но получить программу которая будет нагружать процессор по делу, а не только мусор за юзером подбирать. К тому же, как ни странно, старые императивные языки может и не очень легко позволяют до энтерпрайзных масштабов раздувать программы, но что-что а бегать по массивам и мутировать структуры они похлеще функциональных могут. Ирония – соревнование приурочено к конференции по функциональному программированию, а побеждают в нем все стабильнее C++ и императивщина.

Выглядит красиво, жаль вся эта мощь обслуживает всякое говно вроде lazy sequences, primitive boxing, high-order functions вместо того, чтобы решать задачу
Выглядит красиво, жаль вся эта мощь обслуживает всякое говно вроде lazy sequences, primitive boxing, high-order functions вместо того, чтобы решать задачу

Сейчас я думаю, что даже если бы мы выбрали просто Java с unboxed примитивами и примитивными массивами, было бы качественно лучше. C++/OCaml/Rust может быть дали бы еще 1,5-2 раза прирост, но это уже не изменило бы ситуацию качественно. Но может и нет, цифры так, с потолка.

Про типизацию – да, было определенное количество багов, связанных с опечатками и лукапами не в тех структурах. Конечно типы бы от этого спасли. Но был и интересный момент, когда под конец соревнования понадобилось кардинально поменять интерфейс решателя задач, и вот тут отсутствие типов позволило мне зарефакторить решатель, оставив генератор (вторую большую часть программы) на старых структурах. В статически типизированном языке мне пришлось бы рефакторить всю программу целиком, что съело бы ценное время. Конечно, это просто забавный аргумент, курьез, я его привожу тут только потому, что все остальные традиционные скучные примеры традиционно указывают в обратную сторону.

Да, я думаю именно в этой ситуации—сверхинтенсивной коллаборации над одним маленьким сверхчасто редактируемым куском кода—типы бы больше помогли, чем мешали — их нужно немного, по сути это структуры даже просто, которые спасли бы от глупых опечаток. В более спокойной обстановке, без цейтнота, оба примера, и опечатки, и рефакторинг, не имели бы такого веса, когда есть и тесты, и время сделать все нормально.

Кстати, многие ошибки, которые все-таки у нас были, были связаны с подстановкой переменной того же типа, где никакая система типов бы никого не спасла. Ну оно и не удивительно, когда у тебя большая часть программы, процентов 90, гоняет инты направо и налево. Это же алгоритмы.

не с этого хакатона, но смысл такой же
не с этого хакатона, но смысл такой же

Очень важно оказалось докапываться до причин каждой странности. Удивительно, на самом деле, насколько программа может как-то работать и выдавать решения, имея локальные проблемы и ошибки в каких-то местах. Почти как нечто живое, выживающее. Пару багов мы поймали просто глазами, когда увидели, что бот иногда на пару ходов ведет себя странно, хотя и решает в итоге все задачи.

лабиринты, генерируемые нашим алгоритмом, имели хорошо узнаваемый вид
лабиринты, генерируемые нашим алгоритмом, имели хорошо узнаваемый вид

Очень важна базовая гигиена. Ну там код неиспользуемый удалять, переменные нормально называть, на функции разбивать нормально где нужно, не писать по два-три раза почти одно и то же, если уже написано. Казалось бы, тоже — хакатон, вы через три дня все это выкините, так ли это важно? Вот оказалось что да. Потому что там где в обычном проекте косяки может через полгода-год всплывут, здесь если ты что-то поленился, коллега уже через полчаса об это споткнется. Причем споткнется обязательно, потому что кода мало и все используют всё постоянно. Так что лучше пять минут потерять, но поправить самому, пока контекст у тебя в голове, чем заставить коллег тебя материть и тебя же дергать. Чисто по времени выгоднее. Несмотря на.

Пилу нужно точить. Как бы ни казалось, что три дня уж без удобств можно прожить, удобства все-таки решают. Мы очень страдали от отсутствия визуализатора. Организаторы предлагали готовый, но в браузере (на ScalaJS кстати), и это не оч удобно было (для каждого запуска нужно было накликать мышкой и выбрать два раза через диалог выбора файла два файла).

Визуализатор организаторов
Визуализатор организаторов
ух как же меня бесило выбирать эти файлы каждый раз!
ух как же меня бесило выбирать эти файлы каждый раз!

Самое большое, чего там не хватало — пошагового реплея, перемотки назад и вперед, ну и доп информацию тоже иногда хочется какую-то вывести. Как разбился лабиринт, что думает бот, такое. Я написал в какой-то момент простой визуализатор через println и clear screen, он даже мультики показывал типа, но хотелось бы чего-то более удобного и универсального.

То же самое касается проверок на ошибки, на тупизну, на то что задача в принципе дорешивается. Причем желательно чтобы это был код независимый от основной codebase — какое-то довольно продолжительное время мы отправляли задачи и не знали, что часть из них тупо не принималась организаторами, хотя мы думали, что все решили. Тесты, конечно, писать некогда. Но вот ассерты, ассерты помогают. Иногда как раз такие странные косяки ловить, когда вроде и все еще работает, но какое-то ожидание нарушено, и значит где-то что-то пошло не так, как ты думал.

Приходить надо было подготовленным. У ребят, например, из контура, была инфраструктура заготовлена: сервера, гоняющие задачи, сбор ответов, дашборд, сравнение. Мы этого, конечно, не знали, у нас в лучшем случае запустил программу на ноуте — в терминал вывалился результат. Пик инфраструктуры.

Очень пожалел, что не сделали систему сбора и записи всех прогонов, чтобы из всего массива запусков периодически выбирался бы лучший вариант. Ведь если на какой-то специфичной версии алгоритма какая-то специфичная карта особенно удачно решилась, нет причин не отправлять это решение, даже если алгоритм потом менялся десять раз. Ну и сравнивать эффективность решений наглядно было бы полезно (мы потом похожую штуку сделали, но решения надо было вручную в репозиторий коммитить, такое себе).

Вторая безусловно полезная штука, которой нам не хватало — центр координации, который бы следил, какие задачи где считаются, и раздавал работу. Так можно было бы и решать быстрее (запустил на всех ноутах, и задачи считаются разные, не пересекаются), и гипотез разных потестировать, и на дашборд красиво вывести. Ведь известно заранее, что будет N задач, у каждой есть вход и выход, инфраструктура под это довольно универсальная получается.

Как правильно распределять силы я пока не понял. Я выложился по максимуму в первый день (до 6 утра, на следующий встал в 11) чтобы как можно больше впихнуть в Lightning Round (первые 24 часа). В результате весь второй день был как в тумане и работалось как на автопилоте. В третий зашли нормально, я переписал алгоритм даже, но тоже было очень тяжело. Возможно, здоровый сон каждый день (ну ок, кроме последнего) суммарно дал бы больше эффективности за три дня, чем такое.

Перерыв на обед
Перерыв на обед

В целом мне кажется, мы выступили неплохо для первого раза, но в целом неудовлетворительно. По ощущением наших сил едва хватило, чтобы выкатить самый простой жадный алгоритм с самым простым lookahead и мы даже не приступили к стадии, когда тестировали бы разные гипотезы и прочие умные идеи бы пробовали. То есть просто боролись со сложностью задачи.