МАТЕМАТИКА ЖИЗНИ

С егодняшние суперкомпьютеры производят триллионы операций в секунду, суперпрограммы, написанные лучшими математиками, обыгрывают чемпиона мира по шахматам, просчитывают прогноз погоды и строят модели ядерных взрывов. Так неужели эти умники не могли заранее просчитать, к чему, скажем, приведут рыночные реформы? Или оценить, стоило ли затевать конфликт в Чечне?

«ГОРИЗОНТ ПРОГНОЗА»

Недавно российские математики сделали удивительное открытие, правда, пока еще плохо известное человечеству. А зря!

— Механика Ньютона поставила крест на вечном двигателе 1-го рода; термодинамика — на вечном двигателе 2-го рода; теория относительности доказала, что в нашем мире ничто не может двигаться быстрее скорости света, и ввела понятие «горизонта событий», из-за которого принципиально не может поступить к нам никакая информация, — рассказывает заместитель директора Института прикладной математики им. Келдыша РАН Георгий Малинецкий. — А математика открыла так называемый горизонт прогноза. Например, выяснилось, что никакие самые совершенные методы не позволяют с высокой точностью предсказывать погоду более чем за две недели. Это невозможно в принципе. За этим порогом полная неопределенность. Это отражение принципа неопределенности в макромире, сформулированного нобелевским лауреатом Вернером Гейзенбергом. То есть дело не в том, что мы чего-то не знаем, а в том, что так устроен мир, что некоторые вещи непознаваемы в принципе.

Но зато российские математики показали, что мир в XXI веке ожидают «знаковые» катастрофы. Кстати, к тем же результатам пришли ученые других стран, в частности, американского Института сложности, возглавляемого нобелевскими лауреатами Марри Гелл-Маном и Брайеном Артуром. Оказалось, что многие вроде бы абсолютно далекие друг от друга масштабные кризисы и катастрофы — землетрясения, аварии, обвалы на бирже, эпидемии, социальные политические потрясения — имеют похожие математические сценарии.

Когда происходит крупная катастрофа, эксперты ссылаются на невероятное стечение обстоятельств. Но отчего эти обстоятельства сходятся в одном месте и в одно время, если проектировщики специально ведут мозговые штурмы, придумывают фантастические сценарии событий, закладываются «на дурака». Порой вероятность катастрофы не больше, чем падения огромного астероида на Землю. Но случается! Вспомним Чернобыль, «Челленджер», «Курск», трагедию 11 сентября в Нью-Йорке, недавнюю аварию «Колумбии», масштабные отключения электроэнергии в США и Европе. Фатальное невезение? Нет, математическая закономерность!

— Многие века мы жили в мире нормального распределения, — объясняет Малинецкий. — Поясню на простом примере. Можете вы на улице встретить человека ростом три метра? В принципе да. Но вероятность настолько мизерна, что в реальности ею можно пренебречь. Но оказалось, что есть явления, которые закону нормального распределения не подчиняются. Это как бы другой мир, здесь маловероятные события должны случаться не потому, что кто-то нажал не ту кнопку или спекулянт Сорос обвалил фондовый рынок, а просто обязаны по природе вещей!

Одна из примет вступления в этот новый мир — буровые платформы в Северном море и Мексиканском заливе. Вероятность их аварии — одна на 20 миллионов лет! На порядок надежней, чем АЭС! И тем не менее на 15 платформах уже произошли крупные аварии!

Рубикон перейден. За несколько десятилетий человек обрел такую фантастическую силу, такую инструментальную мощь! Он породил сложнейшие технические, экономические, политические и другие системы с гигантскими причинно-следственными цепочками, где одно маловероятное событие влечет за собой другое. Добавьте сюда глобализацию мира, огромную нагрузку на биосферу, демографические проблемы. В такой сложнейшей системе слабое воздействие вызывает лавину событий.

Но наиболее тревожно, что системы, живущие по новым правилам, сами по себе стремятся к критическому состоянию, как бы тянутся к катастрофам. Вывод: человечество оказалось в совершенно новой для себя ситуации. Известный немецкий ученый Ульрих Бек утверждает, что именно сейчас происходит эпохальное историческое событие: переход от постиндустриального общества к обществу риска.

Что же в этих условиях предлагает наука? Ответ очевиден: человечество уже не может себе позволить и дальше развиваться методом проб и ошибок. Слишком высока цена неверного шага. Его надо просчитывать.

ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ ЖУРАВЛЕВА

Сегодня уже не верится, что когда-то в нашей стране бурно обсуждали: может ли машина мыслить? Сейчас уже вполне ясно — может!

В информатике специалисты в области искусственного интеллекта это особая каста — элита. Для них компьютерные монстры, сражающиеся с Каспаровым и Крамником, не более чем гигантские арифмометры. Математики научили компьютер решать, на первый взгляд, совершенно неприступные, даже абсурдные задачи — с неполной, противоречивой, косвенной информацией. Ключ к ним нашел основатель отечественной научной школы академик Юрий Журавлев. Сегодня он руководит секцией вычислительной математики и информатики Российской академии наук.

И вот что удивительно! Хотя его теория уже лет 20 как опубликована во всех ведущих журналах мира, применить ее не могут ни в России, ни за рубежом. Владеют этим сложным методом лишь несколько десятков учеников Журавлева, настолько она сложна.

— Метод родился, когда премьер-министр СССР Косыгин дал задание создать интеллектуальную систему, помогающую при поиске золота, — вспоминает Юрий Иванович. — Подход был такой: вначале понять, как человек ищет драгоценный металл, а затем смоделировать найденный алгоритм в компьютере. Я около года выпытывал у геологов их секреты, наконец понял — никакой строгой модели поиска у них нет. А есть косвенные признаки: скажем, такой-то цвет камней, такой-то ландшафт и т.д. Всего около двухсот! Но в трех местах с такими признаками золото есть, а в десяти с точно такими же — нет. Задача глухая! Этот хаос не загонишь ни в какие формулы.

И все же Журавлеву удалось выявить в хаосе определенную закономерность. Правда, с точки зрения классической математики, все выглядело совершенным бредом. Академик Виктор Глушков, стоявший у истоков отечественной кибернетики, назвал тогда «алгоритм Журавлева» чистейшим шаманством. Но этот шаманизм вопреки всему заработал и помог отыскать несколько золотоносных месторождений.

К сожалению, этот математический алгоритм был «заточен» только на золото. Поиск, скажем, нефти, угля, руды, решение других задач всякий раз надо было начинать с нуля: собирать спецов, год выуживать секреты, писать программы. Вот тогда-то Юрий Журавлев и совершил главное дело жизни: разработал алгоритм-универсал — ключ сразу для многих замков.

И сегодня системы искусственного интеллекта, созданные уже учениками Журавлева, трудятся в самых разных областях: ищут неисправности в технических системах, ставят медицинские диагнозы, предсказывают по формулам свойства химических соединений и лекарств, ведут дистанционное зондирование местности и т.д.

ПРОТИВ ЗАПАДНОГО «НАДСМОТРЩИКА»

И вот недавно группа математиков Вычислительного центра РАН создала алгоритм уже следующего поколения, который решает совершенно новый, еще более сложный класс задач: к примеру, как выявить мошенников на биржевых торгах. С ними пока не могут справиться нигде в мире.

Когда-то биржа была ареной битвы оголтелых брокеров. Сейчас страсти кипят в мозгу компьютера, где каждую секунду совершаются сотни сделок купли-продажи. И так изо дня в день, из месяца в месяц. Рутина. Но опытный спекулянт ждет момента. Точнее, готовит его, режиссирует. Он полагается не на случай, а на собственные извилины. И вот вроде бы обычная, ничем не примечательная сделка вызывает настоящий обвал курсовой стоимости. Денежные ручейки десятков тысяч игроков стекаются в один карман. Так в минуты сколачиваются целые состояния. Причем мошенники, искусственно вызывающие панику и обваливающие рынок, работают столь искусно, что поймать их за руку практически невозможно.

Московская межбанковская валютная биржа, опасаясь подобных махинаций, закупила на Западе самого крутого компьютерного «надсмотрщика» за поведением игроков. Однако очень скоро «варяг» сдался, поскольку был запрограммирован на цивилизованного спекулянта. Наш игрок оказался ему не по зубам. Тогда-то биржевики и призвали на помощь математиков. Те справились.

Насколько успешно ловит мошенников созданная отечественными математиками система, сами авторы умалчивают: у ММВБ свои секреты. Но есть косвенные признаки, что теперь торги на бирже ведутся цивилизованно: созданная специалистами ВЦ РАН система стала победителем конкурса «Русские инновации», а один из ее авторов Константин Воронцов, лауреат конкурса молодых ученых, награжден медалью Российской академии наук.

Математики дали своему детищу пусть и мудреное, но точное название — «Анализ клиентских сред». Он оказался применим в области розничной торговли, которая вся построена на неопределенной человеческой психологии. Вот, скажем, крупный магазин со своей клиентурой. На дисконтной карте каждого клиента записана вся его «товарная история»: когда, что, где, сколько приобрел. Копаясь в тысячах таких историй, алгоритм старается «рассортировать» людей по группам пристрастия. И выявляются неожиданные вещи: вроде бы совершенно разные люди, а почему-то выбирают вполне определенные марки стиральных машин и модели ботинок, сорта подсолнечного масла и вина. Разобравшись со вкусами покупателей, компьютер совершенно иначе расставит товар на полках, повысив продажи.

Другая сфера, где уже работает новая интеллектуальная система, — энергетика. Сегодня экономисты РАО «ЕЭС», торгующие электроэнергией на Северо-Европейской энергетической бирже, за день вперед имеют прогноз цен на будущие сутки.

И вот вам еще одна очень заманчивая для математиков задача. Нынче головная боль каждого банка — выдача кредита. Казалось бы, почему не выдать ссуду, если каждый клиент просвечен насквозь? Известна вся его кредитная и финансовая история: как платит налоги, какой у него счет, застрахован ли. Но это на Западе, а у нас все во тьме. Так вот можно «просветить» любого клиента и понять, достоин ли он доверия и на какую сумму. Алгоритмы, созданные в ВЦ РАН, «заточены» именно под такую информацию — косвенную, неполную, разноречивую. И ее можно получить, задав клиенту несколько, на первый взгляд, незначительных вопросов.

НА КЛАДБИЩЕ ДАННЫХ ВХОД ЗАПРЕЩЕН

Сегодня в ведущих странах мира компьютерный прогноз превратился в индустрию. Например, «электронный мозг» правительства США — «РЭНД Корпорейшн». Наиболее важные проекты «проигрываются» на компьютерных моделях, и только потом принимаются окончательные решения. Но раз они такие умные, почему проморгали атаку террористов на «близнецов»?

— Прогноз не катехизис на все случаи жизни, он составляется под конкретную задачу, — говорит Георгий Малинецкий. — Ответ зависит от исходных данных и правил игры. Думаю, в нынешние модели такие действия террористов не закладывали, но в новых их наверняка учтут. Но то, что США на протяжении последних десятилетий занимают лидирующее положение в мире, доказывает — их ученые правильно прогнозируют ход событий. Кстати, недавно американцы опубликовали прогноз до 2015 года, в котором утверждается, что России грозит территориальный распад.

— И насколько это соответствует вашим расчетам?

— А мы не просчитывали этот вариант. Высшее руководство перед нами таких задач не ставит. Могу только сказать, что наша страна, не успев стать по-настоящему постиндустриальной, ближе многих подошла к черте риска. Ученые сравнили важнейшие показатели общества и экономики со значениями, считающимися в мире катастрофическими. По двадцати пунктам мы уже попали в критическую область! Особо тяжелое положение в промышленности. Скажем, износ оборудования в химическом комплексе около 80%, свыше 200 крупнейших водохранилищ эксплуатируются без ремонта более 50 лет.

В этой ситуации управление рисками — это уже не вопрос технических и даже политических решений, а выбор стратегии страны.

— А может, на такие исследования нет спроса потому, что не верят чиновники в возможности математики? Вот если бы вы, к примеру, заранее предсказали сенсацию на тех выборах, когда победил Жириновский, или что президентом станет Путин. Или спрогнозировали дефолт 1998 года.

— Ой! Прогнозировать итоги выборов очень простая задача. Американские математики, например, угадали их исход в одном из штатов с точностью до 95%. А дефолт российские ученые предсказали за три года! И толку? Скажем, в нашем институте рассматривали программу развития, представленную группой Германа Грефа. Попросили ребят из правительства: покажите модели, на которых все базируется. Молчание!

Сейчас надвигается новый вал реформ: пенсионная, ЖКХ, энергосистемы. Споры кипят бурные, у всех свои доводы, от которых у простого человека голова идет кругом. Казалось бы, почему сначала не проверить реформы на математических моделях? Увы, шансов на это немного. И причина не в чьей-то злой воле. Для создания алгоритмов ученым требуется исходная информация о работе министерств и ведомств. А это святая святых, куда посторонним вход категорически запрещен. Пользуясь терминологией Познера: вот допустят, значит, наступили новые времена.

В материале использованы фотографии: Reuters

Прогнозы и прогнозные сайты

Утверждать, что какой-то прогнозный сайт дает точную инфу по сравнению с другими – моветон. Тем более, что большинство погодных сайтов дают прогнозы НЕ на основании какой-то «своей» виртуальной модели глобального климата, а являются агрегаторами собирающими картину на основе данных от основных «гуру погоды».

Самый популярный в Красной Поляне сайт погоды это yr.no.

Удобный интерфейс, представление данных в табличном и графическом виде, есть возможность скачать прогноз в формате ПДФ. Есть отдельная опция Avalanche post

Им пользуются (в числе других прогнозных сайтов) на ГК «Роза Хутор», «Красная Поляна» для составления собственных прогнозов. ГТЦ «Газпром» — Росгидрометом.

Но в связи с короновирусом волотильностью рынков падением рубля нестабильностью климата, в последнее время прогнозы yr.no глубже двух суток — похожи на черновики поэта Пушкина записки сумасшедшего пробу пера юного метеоролога. Недельный прогноз часто переписывается (ежесуточно) причем в диапазоне от «ясно» до «месячная норма осадков за сутки». 10-дневный прогноз давно уже не смотрю – Camedi Club пока смешнее. Хотя приход циклона сайт предсказывает с точностью 1-3 дня. По моим наблюдениям прогнозы этого сайта по осадкам часто завышены.

Использую иногда «Яндекс», анимацию на карте — для понимания глобальных процессов, отслеживания циклонов, температурных фронтов.

Недавно стал смотреть Windi – очень продвинутый ресурс (как я понимаю – агрегатор).

Очень большое количество опций, русифицированный и главное дает сравнительную таблицу моделей прогноза, по которым делает агрегацию .

Колдовство с прогнозными сайтами дает возможность более ли менее точно за пару дней предсказать павдердей. Это значит взять билеты «под снег», а нам освободить эти дни под павдердей.

Неплохой инсайд иногда публикует лавинная служба УГ «Роза Хутор» в своем инстаграмме https://www.instagram.com/stories/rosa.avalanchecontrol/

И Макс Панков (работник лавинной службы «Красная Поляна») на своей личной странице https://www.facebook.com/max.pankov.5

Ну и личные знакомства с работниками лавинных и трассовых служб никто не отменял. Когда ты узнаешь об открытии трасс или подъемников на 10-30 раньше всех – бесценно!

История измерения атмосферного давления

Мы живем на дне огромного воздушного океана, называемого атмосферой. Все изменения, которые происходят в атмосфере, непременно оказывают влияние на человека, на его здоровье, способы жизнедеятельности, т.к. человек является неотъемлемой частью природы. Каждый из факторов, определяющих погоду: атмосферное давление, температура, влажность, содержание в воздухе озона и кислорода, радиоактивность, магнитные бури и др. оказывает прямое или косвенное воздействие на самочувствие и здоровье человека. Остановимся на атмосферном давлении.

Атмосферное давление — это давление атмосферы на все находящиеся в ней предметы и Земную поверхность.

В 1640 году великий герцог Тосканский решил устроить фонтан на террасе своего дворца и приказал для этого подвести воду из ближайшего озера с использованием всасывающего насоса. Приглашенные флорентийские мастера сказали, что это невозможно, потому что воду нужно было всасывать на высоту более 32 футов (более 10 метров). А почему вода не всасывается на такую высоту, объяснить не могли. Герцог попросил разобраться великого ученого Италии Галилео Галилея. Хотя ученый уже был стар и болен и не мог заняться экспериментами, он все-таки предположил, что решение вопроса лежит в области определения веса воздуха и его давления на водную поверхность озера. За разрешение этого вопроса взялся ученик Галилея Эванджелиста Торричелли. Для проверки гипотезы своего учителя он провел свой знаменитый опыт. Стеклянную трубку длиной 1 м, запаянную с одного конца, заполнил полностью ртутью, и плотно закрыв открытый конец трубки, перевернул ее этим концом в чашку с ртутью. Часть ртути из трубки вылилась, часть осталась. Над ртутью образовалось безвоздушное пространство. Атмосфера давит на ртуть в чашке, ртуть в трубке тоже давит на ртуть в чашке, так как установилось равновесие, то эти давления равны. Рассчитать давление ртути в трубке означает рассчитать давление атмосферы. Если атмосферное давление повышается или понижается, то столбик ртути в трубке соответственно повышается или понижается. Так появилась единица измерения атмосферного давления – мм. рт. ст. – миллиметр ртутного столба. Наблюдая за уровнем ртути в трубке, Торричелли заметил, что уровень меняется, значит, он не является постоянным и зависит от изменения погоды. Если давление повышается, погода будет хорошей: холодной – зимой, жаркой – летом. Если давление резко понижается, значит, ожидается появление облачности и насыщение влагой воздуха. Трубка Торричелли с приставленной линейкой представляет собой первый прибор для измерения атмосферного давления – ртутный барометр. (Приложение 1)

Создавали барометры и другие ученые: Роберт Гук, Роберт Бойль, Эмиль Марриот. Водяные барометры сконструировал французский ученый Блез Паскаль и немецкий бургомистр города Магдебурга Отто фон Герике. Высота такого барометра составляла более 10 метров.

Для измерения давления пользуются различными единицами: мм ртутного столба, физическими атмосферами, в системе СИ – Паскалями.

Связь между погодой и атмосферным давлением

В романе Жюль Верна «Пятнадцатилетний капитан» заинтересовало описание о том, как понимать показания барометра.

«Капитан Гуль, хороший метеоролог, научил его понимать показания барометра. Мы вкратце расскажем, как надо пользоваться этим замечательным прибором.

1. Когда после долгого периода хорошей погоды барометр начинает резко и непрерывно падать это верный признак дождя. Однако если хорошая погода стояла очень долго, то ртутный столбик может опускаться два-три дня, и лишь после этого произойдут в атмосфере сколько-нибудь заметные изменения. В таких случаях чем больше времени прошло между началом падения ртутного столба и началом дождей, тем дольше будет стоять дождливая погода.
2. Напротив, если во время долгого периода дождей барометр начнет медленно, но непрерывно подниматься, можно с уверенностью предсказать наступление хорошей погоды. И хорошая погода удержится тем дольше, чем больше времени прошло между началом подъема ртутного столба и первым ясным днем.
3. В обоих случаях изменение погоды, происшедшее сразу после подъема или падения ртутного столба, удерживается весьма непродолжительное время.
4. Если барометр медленно, но беспрерывно поднимается в течение двух-трех дней и дольше, это предвещает хорошую погоду, хотя бы все эти дни и лил, не переставая, дождь, и vice versa. Но если барометр медленно поднимается в дождливые дни, а с наступлением хорошей погоды тотчас же начинает падать, хорошая погода удержится очень недолго, и vice versa
5. Весной и осенью резкое падение барометра предвещает ветреную погоду. Летом, в сильную жару, оно предсказывает грозу. Зимой, особенно после продолжительных морозов, быстрое падение ртутного столба говорит о предстоящей перемене направления ветра, сопровождающейся оттепелью и дождем. Напротив, повышение ртутного стол ба во время продолжительных морозов предвещает снегопад.
6. Частые колебания уровня ртутного столба, то поднимающегося, то падающего, ни в коем случае не следует рассматривать как признак приближения длительного; периода сухой либо дождливой погоды. Только постепенное и медленное падение или повышение ртутного столба предвещает наступление долгого периода устойчивой погоды.
7. Когда в конце осени, после долгого периода ветров и дождей, барометр начинает подниматься, это предвещает северный ветер в наступление морозов.

Вот общие выводы, которые можно сделать из показаний этого ценного прибора. Дик Сэнд отлично умел разбираться в предсказаниях барометра и много раз убеждался, насколько они правильны. Каждый день он советовался со своим барометром, чтобы не быть застигнутым врасплох переменой погоды.»

Я провел наблюдения за изменением погоды и атмосферным давлением. И убедился, что существует эта зависимость.

Дата

Температура, °С

Осадки,

Атмосферное давление, мм рт.ст.

Наше baseline-решение

Ради экономии ресурсов построим отдельный классификатор для каждого из трёх городов. На основе данных с телефонов в каждом квадрате посчитаем простые признаки: число пользователей, среднее значение и дисперсию уровня сигнала. Дисперсия тут выступает как наиболее простой вариант оценки изменения сигнала по времени.

Добавим к этим признакам усреднённые погодные данные с десяти ближайших метеостанций. Поскольку станции есть не в каждом квадрате, используем k-мерное дерево (k-d tree) для быстрого поиска ближайших соседей. Поверх всех признаков обучим классификатор на CatBoost с параметрами по умолчанию и посмотрим на полученные метрики.

Вот неплохое видео про принцип k-d tree:

На написание baseline у нас ушло меньше суток, но затем мы поняли, что задействовали лишние данные: в обучающую выборку случайно попали предсказанные значения «из будущего». Пришлось срочно устроить себе ночной мини-хакатон перед основным хакатоном — итоговая версия базового решения, где мы не нарушаем наши собственные правила, была готова за считанные часы до соревнования. В сумме двое сотрудников Яндекс.Погоды потратили на подготовку данных и разработку baseline около двух полных рабочих недель.

Радиолокатор метеорологический (МРЛ)

Первые радиолокационные станции, которые поступили метеорологам после войны, могли обнаруживать только кучево-дождевые облака с опасными явлениями. Несколько десятилетий ушло на их модернизацию и разработку измерительных схем, которые могли извлекать информацию не только из высоты радиоэха, но и из результатов отраженных от облаков сигналов. Возможность наблюдать появление опасных явлений, рассчитывать их скорость и направление перемещения надолго позволили МРЛ занять лидирующие позиции в штормовом оповещении.

Метеорологический радиолокатор уже 60 лет является незаменимым прибором для обнаружения явлений, которые сопутствуют конвективным облакам – гроз, града, ливней, шквалов.

Метеорологические некогерентные радиолокаторы определяют ОЯ (опасные явления) по косвенным признакам – измерениям высоты верхней границы радиоэха и отражаемости кучево-дождевой облачности, и принимают решение с помощью радиолокационных критериев опасности.

Периодичность обновления стыкованной карты сети неавтоматизированных МРЛ один раз в три часа устраивала не всех потребителей. Работы по автоматизации процессов наблюдения на МРЛ по началу раз в час, затем каждые 30 минут и, наконец, каждые 15 минут заняли в общей сложности три десятилетия.

В республике Беларусь наблюдения проводятся на трех радиолокаторах: аэропорт Минск-2 (1987 года выпуска, модернизированн в 2003 г.), аэропорт г. Брест (МРЛ-5 1991 г. выпуска, автоматизирован в 2006 г) и в городе Гомель на МРЛ-2 (1975 г. выпуска).

В 2009 году в аэропорту Минск-2 взамен МРЛ-5 установлен доплеровский МРЛ «Meteor 500-С». В апреле 2011 г. «Meteor 500-С» введен в оперативную работу. Новый ДМРЛ работает в автоматическом режиме, что позволяет полностью сканировать радиолокационное пространство каждые 15 минут.

Минск-2. МРЛ-5 и ДМРЛ Метеор 500-С

Приёмо-передатчик и антенный блок ДМРЛ Метеор 500-С на вышке высотой 30 метров

Установка алгоритма сканирования пространства и последущая обработка первичных радиолокационных данных производится специальным программным комплексом. В Бресте – это «АКСОПРИ», в Минске – «Метеор-Метеоячейка» разработки ИРАМ и «Rainbow» разработки Selex Sistems. В Гомеле — «Rainbow» разработки Selex Sistems.

МРЛ-5 – некогерентный метеорологический радиолокатор. Данный МРЛ определяет ОЯ (опасные явления) по косвенным признакам – измерениям высоты верхней границы и отражаемости сигнала от облачности и принимает решение с помощью радиолокационных критериев опасности. Радиус обнаружения опасных явлений этими МРЛ не превышает 200 км. Таким образом, три МРЛ «обслуживают» до 2/3 территории РБ.

Внедрение взамен устаревших МРЛ-2 и МРЛ-5 более современных автоматизированных доплеровских радиолокаторов, позволяет получать информацию об облаках и осадках в режиме реального времени. Доплеровские МРЛ позволяют получать информацию о ветровом режиме как в облаке, так и вне его, т.е., при «чистом небе».

Доплеровские МРЛ позволяют улучшить предсказания о сдвиге ветра, что важно для полетов авиации, существенно улучшить обнаружение шквала, смерча, града, точно прогнозировать количество осадков.

Для получения радиолокационной информации со всей территории РБ и с территории прилегающих к республике стран-соседей требуется установка, по крайней мере, еще двух МРЛ – в г. Гродно и в г. Витебске.

В настоящее время передача радиолокационных данных с ДМРЛ Минск-2 и МРЛ Брест потребителям происходит в двоичном коде BUFR FM-94. Наряду с этим, для совместимости c сетью неавтоматизированных радаров радиолокационная информация кодируется также кодом RADOB. RADOB – старый код, описывающий поле радиоэхо с дискретностью 60х60 км. Поступает на узлы связи в виде обычных буквенно-цифровых телеграмм.

С егодняшние суперкомпьютеры производят триллионы операций в секунду, суперпрограммы, написанные лучшими математиками, обыгрывают чемпиона мира по шахматам, просчитывают прогноз погоды и строят модели ядерных взрывов. Так неужели эти умники не могли заранее просчитать, к чему, скажем, приведут рыночные реформы? Или оценить, стоило ли затевать конфликт в Чечне?

«ГОРИЗОНТ ПРОГНОЗА»

Недавно российские математики сделали удивительное открытие, правда, пока еще плохо известное человечеству. А зря!

— Механика Ньютона поставила крест на вечном двигателе 1-го рода; термодинамика — на вечном двигателе 2-го рода; теория относительности доказала, что в нашем мире ничто не может двигаться быстрее скорости света, и ввела понятие «горизонта событий», из-за которого принципиально не может поступить к нам никакая информация, — рассказывает заместитель директора Института прикладной математики им. Келдыша РАН Георгий Малинецкий. — А математика открыла так называемый горизонт прогноза. Например, выяснилось, что никакие самые совершенные методы не позволяют с высокой точностью предсказывать погоду более чем за две недели. Это невозможно в принципе. За этим порогом полная неопределенность. Это отражение принципа неопределенности в макромире, сформулированного нобелевским лауреатом Вернером Гейзенбергом. То есть дело не в том, что мы чего-то не знаем, а в том, что так устроен мир, что некоторые вещи непознаваемы в принципе.

Но зато российские математики показали, что мир в XXI веке ожидают «знаковые» катастрофы. Кстати, к тем же результатам пришли ученые других стран, в частности, американского Института сложности, возглавляемого нобелевскими лауреатами Марри Гелл-Маном и Брайеном Артуром. Оказалось, что многие вроде бы абсолютно далекие друг от друга масштабные кризисы и катастрофы — землетрясения, аварии, обвалы на бирже, эпидемии, социальные политические потрясения — имеют похожие математические сценарии.

Когда происходит крупная катастрофа, эксперты ссылаются на невероятное стечение обстоятельств. Но отчего эти обстоятельства сходятся в одном месте и в одно время, если проектировщики специально ведут мозговые штурмы, придумывают фантастические сценарии событий, закладываются «на дурака». Порой вероятность катастрофы не больше, чем падения огромного астероида на Землю. Но случается! Вспомним Чернобыль, «Челленджер», «Курск», трагедию 11 сентября в Нью-Йорке, недавнюю аварию «Колумбии», масштабные отключения электроэнергии в США и Европе. Фатальное невезение? Нет, математическая закономерность!

— Многие века мы жили в мире нормального распределения, — объясняет Малинецкий. — Поясню на простом примере. Можете вы на улице встретить человека ростом три метра? В принципе да. Но вероятность настолько мизерна, что в реальности ею можно пренебречь. Но оказалось, что есть явления, которые закону нормального распределения не подчиняются. Это как бы другой мир, здесь маловероятные события должны случаться не потому, что кто-то нажал не ту кнопку или спекулянт Сорос обвалил фондовый рынок, а просто обязаны по природе вещей!

Одна из примет вступления в этот новый мир — буровые платформы в Северном море и Мексиканском заливе. Вероятность их аварии — одна на 20 миллионов лет! На порядок надежней, чем АЭС! И тем не менее на 15 платформах уже произошли крупные аварии!

Рубикон перейден. За несколько десятилетий человек обрел такую фантастическую силу, такую инструментальную мощь! Он породил сложнейшие технические, экономические, политические и другие системы с гигантскими причинно-следственными цепочками, где одно маловероятное событие влечет за собой другое. Добавьте сюда глобализацию мира, огромную нагрузку на биосферу, демографические проблемы. В такой сложнейшей системе слабое воздействие вызывает лавину событий.

Но наиболее тревожно, что системы, живущие по новым правилам, сами по себе стремятся к критическому состоянию, как бы тянутся к катастрофам. Вывод: человечество оказалось в совершенно новой для себя ситуации. Известный немецкий ученый Ульрих Бек утверждает, что именно сейчас происходит эпохальное историческое событие: переход от постиндустриального общества к обществу риска.

Что же в этих условиях предлагает наука? Ответ очевиден: человечество уже не может себе позволить и дальше развиваться методом проб и ошибок. Слишком высока цена неверного шага. Его надо просчитывать.

ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ ЖУРАВЛЕВА

Сегодня уже не верится, что когда-то в нашей стране бурно обсуждали: может ли машина мыслить? Сейчас уже вполне ясно — может!

В информатике специалисты в области искусственного интеллекта это особая каста — элита. Для них компьютерные монстры, сражающиеся с Каспаровым и Крамником, не более чем гигантские арифмометры. Математики научили компьютер решать, на первый взгляд, совершенно неприступные, даже абсурдные задачи — с неполной, противоречивой, косвенной информацией. Ключ к ним нашел основатель отечественной научной школы академик Юрий Журавлев. Сегодня он руководит секцией вычислительной математики и информатики Российской академии наук.

И вот что удивительно! Хотя его теория уже лет 20 как опубликована во всех ведущих журналах мира, применить ее не могут ни в России, ни за рубежом. Владеют этим сложным методом лишь несколько десятков учеников Журавлева, настолько она сложна.

— Метод родился, когда премьер-министр СССР Косыгин дал задание создать интеллектуальную систему, помогающую при поиске золота, — вспоминает Юрий Иванович. — Подход был такой: вначале понять, как человек ищет драгоценный металл, а затем смоделировать найденный алгоритм в компьютере. Я около года выпытывал у геологов их секреты, наконец понял — никакой строгой модели поиска у них нет. А есть косвенные признаки: скажем, такой-то цвет камней, такой-то ландшафт и т.д. Всего около двухсот! Но в трех местах с такими признаками золото есть, а в десяти с точно такими же — нет. Задача глухая! Этот хаос не загонишь ни в какие формулы.

И все же Журавлеву удалось выявить в хаосе определенную закономерность. Правда, с точки зрения классической математики, все выглядело совершенным бредом. Академик Виктор Глушков, стоявший у истоков отечественной кибернетики, назвал тогда «алгоритм Журавлева» чистейшим шаманством. Но этот шаманизм вопреки всему заработал и помог отыскать несколько золотоносных месторождений.

К сожалению, этот математический алгоритм был «заточен» только на золото. Поиск, скажем, нефти, угля, руды, решение других задач всякий раз надо было начинать с нуля: собирать спецов, год выуживать секреты, писать программы. Вот тогда-то Юрий Журавлев и совершил главное дело жизни: разработал алгоритм-универсал — ключ сразу для многих замков.

И сегодня системы искусственного интеллекта, созданные уже учениками Журавлева, трудятся в самых разных областях: ищут неисправности в технических системах, ставят медицинские диагнозы, предсказывают по формулам свойства химических соединений и лекарств, ведут дистанционное зондирование местности и т.д.

ПРОТИВ ЗАПАДНОГО «НАДСМОТРЩИКА»

И вот недавно группа математиков Вычислительного центра РАН создала алгоритм уже следующего поколения, который решает совершенно новый, еще более сложный класс задач: к примеру, как выявить мошенников на биржевых торгах. С ними пока не могут справиться нигде в мире.

Когда-то биржа была ареной битвы оголтелых брокеров. Сейчас страсти кипят в мозгу компьютера, где каждую секунду совершаются сотни сделок купли-продажи. И так изо дня в день, из месяца в месяц. Рутина. Но опытный спекулянт ждет момента. Точнее, готовит его, режиссирует. Он полагается не на случай, а на собственные извилины. И вот вроде бы обычная, ничем не примечательная сделка вызывает настоящий обвал курсовой стоимости. Денежные ручейки десятков тысяч игроков стекаются в один карман. Так в минуты сколачиваются целые состояния. Причем мошенники, искусственно вызывающие панику и обваливающие рынок, работают столь искусно, что поймать их за руку практически невозможно.

Московская межбанковская валютная биржа, опасаясь подобных махинаций, закупила на Западе самого крутого компьютерного «надсмотрщика» за поведением игроков. Однако очень скоро «варяг» сдался, поскольку был запрограммирован на цивилизованного спекулянта. Наш игрок оказался ему не по зубам. Тогда-то биржевики и призвали на помощь математиков. Те справились.

Насколько успешно ловит мошенников созданная отечественными математиками система, сами авторы умалчивают: у ММВБ свои секреты. Но есть косвенные признаки, что теперь торги на бирже ведутся цивилизованно: созданная специалистами ВЦ РАН система стала победителем конкурса «Русские инновации», а один из ее авторов Константин Воронцов, лауреат конкурса молодых ученых, награжден медалью Российской академии наук.

Математики дали своему детищу пусть и мудреное, но точное название — «Анализ клиентских сред». Он оказался применим в области розничной торговли, которая вся построена на неопределенной человеческой психологии. Вот, скажем, крупный магазин со своей клиентурой. На дисконтной карте каждого клиента записана вся его «товарная история»: когда, что, где, сколько приобрел. Копаясь в тысячах таких историй, алгоритм старается «рассортировать» людей по группам пристрастия. И выявляются неожиданные вещи: вроде бы совершенно разные люди, а почему-то выбирают вполне определенные марки стиральных машин и модели ботинок, сорта подсолнечного масла и вина. Разобравшись со вкусами покупателей, компьютер совершенно иначе расставит товар на полках, повысив продажи.

Другая сфера, где уже работает новая интеллектуальная система, — энергетика. Сегодня экономисты РАО «ЕЭС», торгующие электроэнергией на Северо-Европейской энергетической бирже, за день вперед имеют прогноз цен на будущие сутки.

И вот вам еще одна очень заманчивая для математиков задача. Нынче головная боль каждого банка — выдача кредита. Казалось бы, почему не выдать ссуду, если каждый клиент просвечен насквозь? Известна вся его кредитная и финансовая история: как платит налоги, какой у него счет, застрахован ли. Но это на Западе, а у нас все во тьме. Так вот можно «просветить» любого клиента и понять, достоин ли он доверия и на какую сумму. Алгоритмы, созданные в ВЦ РАН, «заточены» именно под такую информацию — косвенную, неполную, разноречивую. И ее можно получить, задав клиенту несколько, на первый взгляд, незначительных вопросов.

НА КЛАДБИЩЕ ДАННЫХ ВХОД ЗАПРЕЩЕН

Сегодня в ведущих странах мира компьютерный прогноз превратился в индустрию. Например, «электронный мозг» правительства США — «РЭНД Корпорейшн». Наиболее важные проекты «проигрываются» на компьютерных моделях, и только потом принимаются окончательные решения. Но раз они такие умные, почему проморгали атаку террористов на «близнецов»?

— Прогноз не катехизис на все случаи жизни, он составляется под конкретную задачу, — говорит Георгий Малинецкий. — Ответ зависит от исходных данных и правил игры. Думаю, в нынешние модели такие действия террористов не закладывали, но в новых их наверняка учтут. Но то, что США на протяжении последних десятилетий занимают лидирующее положение в мире, доказывает — их ученые правильно прогнозируют ход событий. Кстати, недавно американцы опубликовали прогноз до 2015 года, в котором утверждается, что России грозит территориальный распад.

— И насколько это соответствует вашим расчетам?

— А мы не просчитывали этот вариант. Высшее руководство перед нами таких задач не ставит. Могу только сказать, что наша страна, не успев стать по-настоящему постиндустриальной, ближе многих подошла к черте риска. Ученые сравнили важнейшие показатели общества и экономики со значениями, считающимися в мире катастрофическими. По двадцати пунктам мы уже попали в критическую область! Особо тяжелое положение в промышленности. Скажем, износ оборудования в химическом комплексе около 80%, свыше 200 крупнейших водохранилищ эксплуатируются без ремонта более 50 лет.

В этой ситуации управление рисками — это уже не вопрос технических и даже политических решений, а выбор стратегии страны.

— А может, на такие исследования нет спроса потому, что не верят чиновники в возможности математики? Вот если бы вы, к примеру, заранее предсказали сенсацию на тех выборах, когда победил Жириновский, или что президентом станет Путин. Или спрогнозировали дефолт 1998 года.

— Ой! Прогнозировать итоги выборов очень простая задача. Американские математики, например, угадали их исход в одном из штатов с точностью до 95%. А дефолт российские ученые предсказали за три года! И толку? Скажем, в нашем институте рассматривали программу развития, представленную группой Германа Грефа. Попросили ребят из правительства: покажите модели, на которых все базируется. Молчание!

Сейчас надвигается новый вал реформ: пенсионная, ЖКХ, энергосистемы. Споры кипят бурные, у всех свои доводы, от которых у простого человека голова идет кругом. Казалось бы, почему сначала не проверить реформы на математических моделях? Увы, шансов на это немного. И причина не в чьей-то злой воле. Для создания алгоритмов ученым требуется исходная информация о работе министерств и ведомств. А это святая святых, куда посторонним вход категорически запрещен. Пользуясь терминологией Познера: вот допустят, значит, наступили новые времена.

В материале использованы фотографии: Reuters

История измерения атмосферного давления

Мы живем на дне огромного воздушного океана, называемого атмосферой. Все изменения, которые происходят в атмосфере, непременно оказывают влияние на человека, на его здоровье, способы жизнедеятельности, т.к. человек является неотъемлемой частью природы. Каждый из факторов, определяющих погоду: атмосферное давление, температура, влажность, содержание в воздухе озона и кислорода, радиоактивность, магнитные бури и др. оказывает прямое или косвенное воздействие на самочувствие и здоровье человека. Остановимся на атмосферном давлении.

Атмосферное давление — это давление атмосферы на все находящиеся в ней предметы и Земную поверхность.

В 1640 году великий герцог Тосканский решил устроить фонтан на террасе своего дворца и приказал для этого подвести воду из ближайшего озера с использованием всасывающего насоса. Приглашенные флорентийские мастера сказали, что это невозможно, потому что воду нужно было всасывать на высоту более 32 футов (более 10 метров). А почему вода не всасывается на такую высоту, объяснить не могли. Герцог попросил разобраться великого ученого Италии Галилео Галилея. Хотя ученый уже был стар и болен и не мог заняться экспериментами, он все-таки предположил, что решение вопроса лежит в области определения веса воздуха и его давления на водную поверхность озера. За разрешение этого вопроса взялся ученик Галилея Эванджелиста Торричелли. Для проверки гипотезы своего учителя он провел свой знаменитый опыт. Стеклянную трубку длиной 1 м, запаянную с одного конца, заполнил полностью ртутью, и плотно закрыв открытый конец трубки, перевернул ее этим концом в чашку с ртутью. Часть ртути из трубки вылилась, часть осталась. Над ртутью образовалось безвоздушное пространство. Атмосфера давит на ртуть в чашке, ртуть в трубке тоже давит на ртуть в чашке, так как установилось равновесие, то эти давления равны. Рассчитать давление ртути в трубке означает рассчитать давление атмосферы. Если атмосферное давление повышается или понижается, то столбик ртути в трубке соответственно повышается или понижается. Так появилась единица измерения атмосферного давления – мм. рт. ст. – миллиметр ртутного столба. Наблюдая за уровнем ртути в трубке, Торричелли заметил, что уровень меняется, значит, он не является постоянным и зависит от изменения погоды. Если давление повышается, погода будет хорошей: холодной – зимой, жаркой – летом. Если давление резко понижается, значит, ожидается появление облачности и насыщение влагой воздуха. Трубка Торричелли с приставленной линейкой представляет собой первый прибор для измерения атмосферного давления – ртутный барометр. (Приложение 1)

Создавали барометры и другие ученые: Роберт Гук, Роберт Бойль, Эмиль Марриот. Водяные барометры сконструировал французский ученый Блез Паскаль и немецкий бургомистр города Магдебурга Отто фон Герике. Высота такого барометра составляла более 10 метров.

Для измерения давления пользуются различными единицами: мм ртутного столба, физическими атмосферами, в системе СИ – Паскалями.

Связь между погодой и атмосферным давлением

В романе Жюль Верна «Пятнадцатилетний капитан» заинтересовало описание о том, как понимать показания барометра.

«Капитан Гуль, хороший метеоролог, научил его понимать показания барометра. Мы вкратце расскажем, как надо пользоваться этим замечательным прибором.

1. Когда после долгого периода хорошей погоды барометр начинает резко и непрерывно падать это верный признак дождя. Однако если хорошая погода стояла очень долго, то ртутный столбик может опускаться два-три дня, и лишь после этого произойдут в атмосфере сколько-нибудь заметные изменения. В таких случаях чем больше времени прошло между началом падения ртутного столба и началом дождей, тем дольше будет стоять дождливая погода.
2. Напротив, если во время долгого периода дождей барометр начнет медленно, но непрерывно подниматься, можно с уверенностью предсказать наступление хорошей погоды. И хорошая погода удержится тем дольше, чем больше времени прошло между началом подъема ртутного столба и первым ясным днем.
3. В обоих случаях изменение погоды, происшедшее сразу после подъема или падения ртутного столба, удерживается весьма непродолжительное время.
4. Если барометр медленно, но беспрерывно поднимается в течение двух-трех дней и дольше, это предвещает хорошую погоду, хотя бы все эти дни и лил, не переставая, дождь, и vice versa. Но если барометр медленно поднимается в дождливые дни, а с наступлением хорошей погоды тотчас же начинает падать, хорошая погода удержится очень недолго, и vice versa
5. Весной и осенью резкое падение барометра предвещает ветреную погоду. Летом, в сильную жару, оно предсказывает грозу. Зимой, особенно после продолжительных морозов, быстрое падение ртутного столба говорит о предстоящей перемене направления ветра, сопровождающейся оттепелью и дождем. Напротив, повышение ртутного стол ба во время продолжительных морозов предвещает снегопад.
6. Частые колебания уровня ртутного столба, то поднимающегося, то падающего, ни в коем случае не следует рассматривать как признак приближения длительного; периода сухой либо дождливой погоды. Только постепенное и медленное падение или повышение ртутного столба предвещает наступление долгого периода устойчивой погоды.
7. Когда в конце осени, после долгого периода ветров и дождей, барометр начинает подниматься, это предвещает северный ветер в наступление морозов.

Вот общие выводы, которые можно сделать из показаний этого ценного прибора. Дик Сэнд отлично умел разбираться в предсказаниях барометра и много раз убеждался, насколько они правильны. Каждый день он советовался со своим барометром, чтобы не быть застигнутым врасплох переменой погоды.»

Я провел наблюдения за изменением погоды и атмосферным давлением. И убедился, что существует эта зависимость.

Дата

Температура, °С

Осадки,

Атмосферное давление, мм рт.ст.

Прогнозы и прогнозные сайты

Утверждать, что какой-то прогнозный сайт дает точную инфу по сравнению с другими – моветон. Тем более, что большинство погодных сайтов дают прогнозы НЕ на основании какой-то «своей» виртуальной модели глобального климата, а являются агрегаторами собирающими картину на основе данных от основных «гуру погоды».

Самый популярный в Красной Поляне сайт погоды это yr.no.

Удобный интерфейс, представление данных в табличном и графическом виде, есть возможность скачать прогноз в формате ПДФ. Есть отдельная опция Avalanche post

Им пользуются (в числе других прогнозных сайтов) на ГК «Роза Хутор», «Красная Поляна» для составления собственных прогнозов. ГТЦ «Газпром» — Росгидрометом.

Но в связи с короновирусом волотильностью рынков падением рубля нестабильностью климата, в последнее время прогнозы yr.no глубже двух суток — похожи на черновики поэта Пушкина записки сумасшедшего пробу пера юного метеоролога. Недельный прогноз часто переписывается (ежесуточно) причем в диапазоне от «ясно» до «месячная норма осадков за сутки». 10-дневный прогноз давно уже не смотрю – Camedi Club пока смешнее. Хотя приход циклона сайт предсказывает с точностью 1-3 дня. По моим наблюдениям прогнозы этого сайта по осадкам часто завышены.

Использую иногда «Яндекс», анимацию на карте — для понимания глобальных процессов, отслеживания циклонов, температурных фронтов.

Недавно стал смотреть Windi – очень продвинутый ресурс (как я понимаю – агрегатор).

Очень большое количество опций, русифицированный и главное дает сравнительную таблицу моделей прогноза, по которым делает агрегацию .

Колдовство с прогнозными сайтами дает возможность более ли менее точно за пару дней предсказать павдердей. Это значит взять билеты «под снег», а нам освободить эти дни под павдердей.

Неплохой инсайд иногда публикует лавинная служба УГ «Роза Хутор» в своем инстаграмме https://www.instagram.com/stories/rosa.avalanchecontrol/

И Макс Панков (работник лавинной службы «Красная Поляна») на своей личной странице https://www.facebook.com/max.pankov.5

Ну и личные знакомства с работниками лавинных и трассовых служб никто не отменял. Когда ты узнаешь об открытии трасс или подъемников на 10-30 раньше всех – бесценно!

Решения участников

Предоставленные всем командам данные занимали около 30 гигабайт. Дополнять их мы не запрещали, однако требовали, чтобы в обучающей выборке были только данные от пользователей — просто потому, что именно в них заключался весь смысл хакатона. Другими словами, база показаний телефонных датчиков давления подошла бы — если бы кто-то из участников смог её раздобыть. Но как уже было сказано, мы недаром ограничились только цифрами с любительских метеостанций и от операторов. Найти в интернете другую подходящую информацию не удалось практически никому — а те, кому удалось, всё равно от этого ничего не выиграли.

30 гигабайт в условиях очень ограниченного времени — не так уж мало. Мы предупредили участников, что им придётся либо использовать для машинного обучения свои ноутбуки, либо арендовать облачные мощности.

Идея яндексоидов

Решение, предложенное моими коллегами из проекта YT, сводилось к генерации хороших признаков и обучению классическим методом (градиентный бустинг над решающими деревьями). Ребята использовали CatBoost — возможно, из-за патриотизма к Яндексу, но по их словам, наша библиотека показывала «значительно более» удачные результаты, чем другие.

Самыми лучшими признаками были данные с любительских метеостанций. На их основе считались различные статистики: среднее, максимум, минимум, дисперсия и т. п. Стоит отметить, что использовались показания ближайших станций и ещё нескольких — распределённых вокруг целевого квадрата. Это распределение не было по-настоящему равномерным: в России и так не очень много устройств Netatmo, а таких, которые всегда в онлайне и с разрешения пользователя транслируют показания в интернет, ещё меньше.

Пользовательские признаки, например средняя скорость движения людей в целевом квадрате, тоже сыграли свою роль, хоть и не очень большую. Суммарно получилось около 7 тысяч признаков — которые, конечно, можно было отфильтровать, не потеряв в качестве модели. Но у команды хватило ресурсов на обучение с таким количеством, поэтому оптимизация толком не требовалась. Сам CatBoost обучали практически на дефолтных параметрах: тюнинг приводил к совсем незначительным изменениям в качестве, а времени отнимал порядочно.

Идеи победителей

Улучшение набора признаков
Во-первых, поиск ближайших метеостанций в базовом решении был, конечно, максимально наивен: расстояние вычислялось по евклидовой метрике. Сравнивать географические координаты подобным образом не совсем правильно, поэтому многие сразу же предложили корректное вычисление расстояния на сфере.

Во-вторых, как уже было сказано выше, число станций невелико, и информация с нескольких ближайших из них не всегда даёт полную картину. Бывает так, что все станции расположены на северо-востоке, где сейчас идёт дождь, а погода на западе совершенно другая. Одна из команд разбила каждый квадрат на шесть секторов и наладила поиск ближайших метеостанций по всем секторам в отдельности.

В-третьих, базовая модель обрабатывала данные за каждый следующий час вне зависимости от значений, полученных ранее. Участники ещё одной команды наладили подсчёт различных статистик от временных рядов — которые, в свою очередь, были построены на основе предоставленных нами данных.

База мобильных операторов оказалась менее полезной. Часть команд добавила дополнительные признаки на основе данных о силе сигнала, но выяснилось, что они не дают значительного прироста. С другой стороны, во время обсуждения результатов обладатели первого места сообщили, что неплохой вклад в модель обеспечила текущая средняя скорость перемещения пользователей. И ведь правда — в случае дождя люди склонны двигаться быстрее, чтобы где-нибудь спрятаться. А другой участник немного улучшил результат, когда учёл, что во время осадков людей на улице становится меньше.

Улучшение самой модели
Все команды через какое-то время обнаружили, что модель, обученная на общем массиве данных по трём городам, работает заметно лучше, чем если обучаться на каждом городе в отдельности.

Затем по законам жанра следовало попробовать несколько библиотек и поиграть с настройками гиперпараметров. Помимо традиционного XGBoost команды решили использовать LightGBM от Microsoft. Мнение участников: CatBoost работает не хуже, но несколько медленнее конкурентов. Зато многие отметили, что модель на основе CatBoost менее склонна к переобучению: результат на скрытой тестовой выборке практически не отличался от результата на отладочной выборке.

_{Слайд из презентации участников}

Командам совсем не хватило времени на стекинг (то есть на построение ансамбля из алгоритмов) — хотя обладатель четвёртого места задействовал полученные градиентным бустингом предсказания, чтобы обучить модель, похожую на свёрточную нейросеть (!).

Все обладатели призовых мест отлично поработали с факторами и особенно с показаниями любительских метеостанций Netatmo. Это было непросто: две соседние станции, одна из которых расположена под прямыми солнечными лучами, а другая – в тени, могут показывать температуру с разницей в 15–20 градусов. Раз участники за короткое время разобрались в подобных данных, значит, задачу можно было усложнить — и, например, вовсе исключить из обучающей выборки показания Netatmo.

Что касается использования результатов — признаки, полученные командами, станут первыми кандидатами на признаки в самом сервисе. И конечно, нам очень помог опыт подготовки базового решения. Оно объединяло данные нескольких типов, собранные вокруг нужного района, по принципу k-d tree. Именно так и нужно агрегировать разные сигналы, которые прямо или косвенно указывают на развитие погодной ситуации.

Нам понравилось проводить соревнование по data science в погоде. Возможная тема для следующего соревнования (не обязательно хакатона) — долгосрочные прогнозы. У нас есть информация о погодных условиях во всём мире за последние 40 лет. В этих данных стоит поискать закономерности: кажется, совсем скоро система сможет вам сказать, что через полтора месяца температура опустится ниже нормы и будет идти снег.