BRAIn Lab: Optimization and Beyond

📣 Уже завтра состоится презентация специализации «Прикладные исследования и разработки»

Если вы хотите:
🔹 стать востребованным учёным в области оптимизации и машинного обучения
🔹 получить уникальные знания в профильной сфере
🔹 стать частью академического сообщества
🔹 писать статьи и ездить на топовые конференции

…то вам к нам! 🚀

🎓 К отбору на специализацию приглашаются студенты 3 курса бакалавриата ФПМИ.

🧩Лаборатории, сотрудничающие со специализацией:

• Лаборатория фундаментальных исследований искусственного интеллекта, BRAIn Lab (рук. Александр Безносиков) 🙋

• Лаборатория платформенных решений и мультиагентных систем (рук. Иван Сгибнев)

• Лаборатория нейронных систем и глубокого обучения (рук. Денис Кузнецов)

• Лаборатория индустриального компьютерного зрения (рук. Егор Ершов)

• Лаборатория прикладных проблем компьютерного зрения (рук. Вадим Горбачев)

⏰ Когда: 22 октября, 19:00
📍Где: поточная аудитория Арктики

📚 Подробнее о специализации
📝 Подать заявку можно будет с завтрашнего дня, форму выложим в комментариях

Ждём вас! ✨

Владимир Алетов для московских долголетов (и не только)

Мы не только ведём научную работу в лаборатории, но и популяризируем искусственный интеллект: рассказываем о его доступности и безопасности, развенчиваем мифы. В рамках этой активности мы приняли участие в проекте Дептранса Москвы и прочитали две лекции на речном электротрамвае «Синичка» 🚢✨.

Владимир Алетов, научный сотрудник BRAIn Lab, рассказал о том, как ИИ «думает» до того, как пользователь увидит ответ: осветил темы обучения, файнтьюна и генерации. Также он разобрал, откуда берутся галлюцинации и как ломают LLM 🤖🧠.

«Публика была очень заинтересованной - рассказывать и отвечать на вопросы было увлекательно. Мы ехали с ЗИЛа до Новоспасского причала, вопросов оказалось так много, что я даже не успел раскрыть все темы. Здорово, что люди разных возрастов проявили интерес и хотели разобраться, что сейчас происходит с ИИ».

И о том, как ИИ работает, пока мы просто живём, рассказала Марина Кошелева, PR‑менеджер BRAIn Lab: 💬

«Я фанат „Синички“, поэтому, когда предложили, сразу согласилась. Удивило, что люди действительно пришли на лекцию, записывались специально. Оказалось немного сложно выступать из‑за того, что судно несколько раз делало промежуточные остановки на причалах и качалось».


📎 Презентацию Владимира для этого необычного выступления вы можете найти в комментариях!

А в каких нетривиальных местах приходилось выступать вам?

Присоединяйтесь к проектам BRAIn Lab и других лабораторий ИИИ МФТИ

В рамках проекта можно поработать над исследовательской задачей и получить результаты, которые станут основой научной статьи.

⌛Отбор уже начался и продолжится до 18 сентября.

Выбирайте направление — от больших языковых моделей и агентов до компьютерного зрения, биоинформатики и ML в физике ⬇️⬇️⬇️

BRAIn Lab (научный руководитель - Александр Безносиков)


Большие языковые модели, оптимизация, обучение с подкреплением и приватность данных. Среди задач — эффективное обучение LLM, выбор модели под запрос, исследование 3D-объектов и применение ML в химии и физике.

BRAIn Lab × VisionLabs (научный руководитель - Александр Безносиков и Анастасия Белозерова)


Прикладное машинное обучение и компьютерное зрение: проверка подлинности документов, трекинг людей и лиц, классификация автомобильных номеров и предсказание исходов раундов в Counter-Strike 2.



Лаборатория индустриального компьютерного зрения (научный руководитель - Егор Ершов)


Гиперспектральные изображения, синтетические данные и моделирование съёмки. Здесь исследуют перенос моделей с синтетики на реальные снимки, генерацию текстур и физические особенности камеры.

Лаборатория платформенных решений и мультиагентных систем (научный руководитель - Иван Сгибнев)


ИИ-агенты, малые языковые модели и работа с длинным контекстом. Среди проектов — генерация SQL-запросов, квантизация моделей, обучение агентов по демонстрациям пользователя и анализ медицинских изображений.

Лаборатория нейронных систем и глубокого обучения (научный руководитель - Денис Кузнецов)


Биоинформатика, геномные модели, поиск по документам и агентные системы. Можно исследовать ДНК, развивать память и RAG, учить агентов проектировать печатные платы или решать олимпиадные задачи по программированию.

Смотреть все проекты

Как присоединиться?
• Перейдите по ссылке, откройте подстраницу интересующего проекта и проверьте требования и наличие мест.
• Если места ещё есть — пришлите руководителю проекта ФИО, группу, CV и интро с фокусом на работу в AI (что читали, делали руками).

Когда договоритесь об участии, сообщите Александру Богданову — @d0dos.

Разбираем нашу новую работу — на этот раз с неожиданным выводом 😳

Rethinking the Role of Tensor Decompositions in Post-Training LLM Compression

https://arxiv.org/abs/2606.03465
https://github.com/brain-lab-research/TT-LLM

Тензорные разложения (Tucker, Tensor Train (TT)) выглядят идеальным инструментом для сжатия LLM: экспоненциальная компрессия, красивая теория, естественное соответствие структуре Transformer.

Но работают ли они на реальном деплое? Мы провели первое систематическое исследование — и ответ: нет.

🔍 Что мы сделали:

🔵проверили tensor- и matrix-разложения на dense (GPT-J 6B, LLaMA 2 7B) и MoE (Qwen3-30B-A3B, GPT-OSS-20B) архитектурах
🔵сравнили с квантизацией (RTN 4/8 бит) на одинаковых модулях
🔵нашли и формализовали фундаментальную причину провала

💡 Главный вывод: тензорные форматы оптимизируют не ту геометрию.

Tucker и TT минимизируют ошибку по Фробениусу, а функциональное поведение модели определяется операторной нормой. На спектрах весов LLM (а они с тяжелыми хвостами: α < 1/2 — мы измерили!) разрыв растёт полиномиально с размером слоя.

Плюс super-weights: чтобы восстановить один критический скаляр с помощью truncated SVD, нужен ранг 1500+. Практические ранги даже близко не подходят.

📊 Результаты:

🔵Даже в MoE, где эксперты «должны» быть избыточны, matrix-метод MoBE стабильно бьёт тензорный TD-MoE
🔵Простая RTN-квантизация без потерь качества даёт ≈18% сжатия — недостижимо для любого разложения
🔵LoRA-repair смягчает, но не лечит

Итог честный: тензорные разложения — не замена квантизации, а в лучшем случае дополнение. И теперь понятно, почему.

👇 Листай карточки — объяснили простым языком.

#разборстатьи@brainlaboratory

🧠Как мы делали ИИ-ассистента для египтологов

Год назад мы в BRAIn Lab c Институтом востоковедения РАН и с Yandex Cloud работали над агентом, который ищет ответы по базе из 800+ научных публикаций о некрополе Гизы на пяти языках: английском, французском, немецком, итальянском и русском🏺

Стоит признать: с момента запуска прошло достаточно времени, и часть решений, которые год назад выглядели новыми, сегодня уже не кажутся такими актуальными - индустрия ИИ-агентов ушла далеко вперёд.

⚡️То, что раньше требовало ручной настройки, сегодняшние агенты умеют делать сами — планировать шаги, выбирать инструменты, работать с мультимодальными данными.

На этом проекте мы увидели:
• где ассистентный подход работает отлично (поиск, ссылки, достоверность)
• а где уже нужны более автономные архитектуры (анализ иероглифов, большие гетерогенные архивы, самостоятельное расширение базы знаний)

Но, несмотря на то, что технологии не стоят на месте, сам проект не теряет ценности - и вот почему:
«Для нашей лаборатории такие проекты важны по нескольким причинам: молодые ребята пробуют силы на реальных задачах, мы внедряем ИИ там, где он полезен, и помогаем развивать отечественные модели и сервисы, давая командам развёрнутую обратную связь (текущий проект был реализован на Yandex AI Studio). А главное - нам было важно вернуть исследователю время. Учёный тратит почти весь ресурс, просто чтобы оставаться в курсе литературы, - эту рутину мы хотели отдать машине, но так, чтобы результату можно было доверять. Поэтому агент не сочиняет, а находит и всегда показывает, откуда взял информацию. То, что раньше занимало часы, теперь занимает минуты, и это подтвердили сами египтологи», - Александр Безносиков.

Что сделали и что получилось — читайте в статье ⬅️

📚 Курс «Методы и алгоритмы машинного обучения»

Наш курс по классическому ML, который мы развиваем последние два года, теперь можно взять как курс по выбору на ФПМИ.

💡 О чём будем говорить:
• виды задач в ML и классические подходы к их решению
• связь с математической статистикой — без неё никуда
• методы оптимизации в ML
• немного DL в финале

Глобальная цель — дать макро- и микропонимание идей машинки, подкрепив их хорошей математической базой и алгоритмической составляющей. Плюс интересные домашки и Kaggle-соревнование.

🎯 Для кого: в первую очередь зовём 3 курс ФПМИ — особенно если планируете связать себя с кафедрой ПИР или лабораторией BRAIn Lab. Всех остальных ждём вольнослушателями.

⚠️ Важно: мест всего 36, и есть отбор.
Чтобы попасть на курс, до 5 сентября включительно заполните небольшую форму. Без неё взять не сможем, даже если выберете курс в ЛК. Всем приглашённым напишем в ЛС.
🔗 форма

📋 Полная программа (и материалы прошлого года) — на гитхабе
📺 Записи прошлых лет можно найти на наших каналах на Youtube и на Rutube

По вопросам — в комментарии 👇

#образование@brainlaboratory

Собираемся в осень и подводим итоги лета с нашим ML-бинго ☀️

Мы решили подвести итоги лета, порефлексировать и сделать бинго ресерчера.

✅Отмечайтесь в комментариях: сколько пунктов вам удалось закрыть, и какие летние ML-активности мы забыли добавить.
Среди участников разыграем пять подписок на Яндекс Плюс 💛

⏰Результаты - 4 сентября в 15:00.


Ответ принимается цифрой, картинкой с отметками или комментарием (в общем, любой формат подойдёт!)

Считаем пункты и указываем в комментариях 👇

✈️ На прошлой неделе команда BRAIn Lab побывала на конференции UAI 2026 в Амстердаме, где представила работу “Markovian Compression: Looking to the Past Helps Accelerate the Future”.

В статье предлагаются марковские компрессоры BanLast и KAWASAKI, которые учитывают историю предыдущих передач и стараются не отправлять одни и те же координаты снова и снова. Это позволяет эффективнее использовать тот же коммуникационный бюджет в распределённом обучении.

🗣️Андрей Веприков о поздке:
Сама UAI оказалась камерной и дружелюбной конференцией. Программу можно было спокойно посмотреть почти целиком, а после докладов легко подойти к авторам и продолжить обсуждение без привычной суеты больших мероприятий. Такой формат помогает быстро получить представление о происходящем в сообществе и познакомиться с людьми, даже если твоя основная специализация лежит в смежной области.

Тематика uncertainty для меня не совсем привычная, поэтому в первые дни пришлось калибровать скорее собственную неопределённость в происходящем. Постепенно термины и основные вопросы начали складываться в более цельную картину.

В итоге поездка получилась полезной: удалось представить нашу работу, посмотреть на знакомые задачи с другой стороны и провести несколько интересных разговоров. Ну и Амстердам с его каналами, велосипедами и очень переменчивой погодой отлично дополнил впечатления от конференции"

Мы уже делали разбор этой статьи ранее.

А в комментариях вы можете ознакомиться с постером 👇

🪐Четыре статьи BRAIn Lab приняты на EMNLP 2026!

Мы рады сообщить, что сразу четыре наших работы прошли отбор на одну из главных мировых конференций по обработке естественного языка - EMNLP 2026.

💡 Что вошло в программу:

⏺Rethinking the Role of Tensor Decompositions in Post-Training LLM Compression - переосмысление тензорных разложений в квантовании LLM; статья во многом с отрицательными результатами, полезными сообществу.
⏺HARP: Hadamard-Preconditioned Adaptive Rotation Processor for Extreme LLM Quantization - обучаемое адамарово преобразование для квантования моделей.
⏺WRDO: Weighted Refusal Direction Optimization in Aligned Language Models - более эффективный способ внедрения направлений отказа (запрета определенных тематик) в LLM.
⏺Dynamic LoRA Rank Allocation via Simplex-Constrained Optimization - способ неравномерного и динамического распределения рангов LoRA, исходя из важности слоев с точки зрения оптимизации.

💅Интересно, что мы подаем статьи на EMNLP впервые. И такой результат не может не радовать и говорит о довольно активном освоении нами области NLP.

Благодарим всех авторов за проделанную работу и поздравляем с заслуженным успехом!

BRAIn Lab на KDD

🇰🇷В Корее проходит конференция KDD (Conference on Knowledge Discovery and Data Mining).

Прямо сейчас Александр Мясников представляет нашу статью на постерной сессии:
Hierarchical Mixture-of-Experts with Two-Stage Optimization — новый взгляд на оптимизацию MoE-архитектур.


Ещё две наши работы прошли на воркшопы:
• TensorKDD — тензорные разложения для пост-тренировочного сжатия LLM
• RelKD — инференс моделей с рассуждением в экстремально низкой точности

Если вы на конференции - подходите к постеру #109, пообщаемся 👋

Больше об атмосфере на конференции и из Чеджу в фотографиях 📸

Нишевые летние ивенты: от Байкала до Санкт-Петербурга 🌍

Лето - сезон научных путешествий, и не только заграницу😏. В июле наша лаборатория успела сорваться сначала на берега Байкала, потом - к набережным Петербурга. Два города, три события и разные форматы.

🏔 MOTOR-26

Первая остановка - берег Байкала, где прошла международная конференция https://conference.icc.ru/event/9/ (Mathematical Optimization Theory and Operations Research).

Дмитрий Былинкин выступил с докладом "Importance Compression: A New Sparsification Mechanism for Distributed Learning" - о новом механизме сжатия для распределённого обучения.

🔭 Байкальская школа по физике элементарных частиц и астрофизике

Там же заглянули на летнюю школу от Лаборатории ядерных проблем ОИЯИ (Дубна) - она проходила в посёлке Большие Коты, тоже на берегу Байкала.

В программе были лекции по физике нейтрино, гамма-астрономии, астрофизике высоких энергий, командная работа над научными проектами, доклады и постерные сессии. А также поход на гору Скрипер и купание в Байкале 🥶.

Дмитрий Былинкин рассказал, как ML помогает восстанавливать события по данным детекторов - реконструкцию частиц глазами нейросетей. Получился диалог физики высоких энергий и современного AI.

🎓 Летняя школа "Управление, информация и оптимизация" им. Б. Т. Поляка

В Санкт-Петербург BRAIn Lab приехала одновременно и как слушатели, и как спикеры. Традиционная https://ssopt.org/ объединила классическую теорию оптимизации, прикладной матричный анализ, а также круглые столы про AI Safety, применение ИИ в медицине и нейробиологии.

Наши три доклада на школе:

📌 "WeightLoRA: Keep Only Necessary Adapters" — Владимир Солодкин
📌 "Last-Iterate Convergence of Stochastic Optimization Methods: How to obtain High-Probability Guarantees" — Савелий Чежегов
📌 "Efficient LLM Pre-Training" — Глеб Молодцов

Глеб поделился впечатлениями:

"Я выступил с докладом, где предложил смотреть на оптимизаторы не только через призму сходимости, но и с учетом реальных ограничений по времени учета и памяти. Мне кажется, именно такой взгляд сегодня наиболее актуален для обучения LLM. Было особенно приятно видеть заинтересованность студентов: после лекции мы еще долго обсуждали современные работы, перспективные идеи и открытые вопросы в этом направлении"

Интересно, что еще три года ребята сами ездили на школу слушателями, а сейчас читают лекции, будучи опытными преподавателями и исследователями! 🥹

Что хотим сказать: мир науки - это частые путешествия: новые города, знакомства, рост и постоянный поиск точек, где твои знания оказываются полезны в совсем других областях, поэтому мы продолжаем искать 🔎

И вы присоединяйтесь к нам

Впечатления о поездке на ICML 🎓 Часть 2

В нашей делегации кроме опытных исследователей, которые презентовали свои работы на постерах и воркшопах, были и ребята, которые только начинают путь в науке 🌱 - студенты 2 курса совместной программы AI360 x МФТИ. Они проходят научную стажировку у нас в BRAIn Lab.

Что они рассказывают ⬇️

🟣Анастасия Сомова:
Больше всего понравилась постерная сессия - там было много работ по теме моего исследования.

Круто было не просто читать статьи, а лично обсуждать результаты с авторами. После этих разговоров появилось несколько идей для своей работы.

Помимо конференции, успела погулять по Сеулу, посмотреть достопримечательности и попробовать корейскую кухню 🍜. Специфично, но хотпот зашёл!

🟣Максим Иванов:
Для меня это была первая такая большая конференция - до этого был только на ICOMP 2025, а тут масштаб на порядки больше.

Больше всего понравился туториал по диффузионкам и флоу матчингу в первый день. Тема не моя, но за 3 часа объяснили всё почти с нуля и максимально понятно.

Ещё зацепили работы по агентам и RL - например, Maximum Likelihood RL дал новый взгляд на математику в RL 🧠

Классно понетворкал за шахматами ♟️ в первый день и налутал кучу мерча 🎁

Вне конфы много гулял - например, прошёл от Lotte Tower до отеля 15 км, но ради этого пришлось пожертвовать сном 😅

🟣Андрей Цуканов:
Я приехал на ICML послушать темы, близкие к моему проекту в лаборатории, плюс всё про агентов и RL 🤖

Больше всего запомнились два постера от Google - про ScientistOne и MARS (автономные системы для написания научных статей, возможно скоро появятся в экосистеме Google) 📄

Единственная сложность - общение с китайскими авторами из-за произношения, иногда приходилось переходить на переводчик.

В Сеуле успел побывать в Сеульском парке 🌳 и на территории дворца Кёнбоккун 🏯. Плюс просто гулял с ребятами по улицам, ресторанам и магазинам - всё понравилось!

🟣Николай Виноградов:
Я приехал в Сеул посмотреть на постеры, поговорить с людьми, узнать, кто чем занимается и куда всё движется. Надеюсь, скоро и сам смогу приложить к этому руку!

Впечатлили некоторые работы, где буквально одним движением достигаются большие улучшения. А еще был забавный случай: коллеги рассматривали постер, и тут подошёл человек и заявил, что сам это пробовал, и это не работает, всё обман. И совершенно непонятно, кому верить в такие моменты!

Успел вдоволь нагуляться по Сеулу: посетил Кёнбоккун и Олимпийский парк, прошёлся по улице Мёндон, и просто побродил по улочкам, впитывая местный колорит. Конечно, впечатлила Lotte World Tower - каждый раз, глядя на такое монументальное здание, испытываешь сильное удивление!

Поездки на ведущие конференции - одна из фишек обучения на программе AI360, и ребята ей воспользовались ✈️

Есть вопросы к ребятам?
Задавайте в комментариях 💬

Возвращаемся с обещанным разбором статьи, принятой на ACL 2026!

WeightLoRA: Keep Only Necessary Adapters

[ https://arxiv.org/pdf/2506.02724]
[ https://github.com/brain-lab-research/WLoRA]

Когда файн-тьюнишь LLM через LoRA, обычно делаешь примерно так: выбираешь слои, ставишь адаптеры на все из них и тренируешь. Логика понятна — чем больше параметров обновляешь, тем лучше.

Но есть нюанс.

Не все адаптеры одинаково нужны. Мы проверили на DeBERTa: из 36 адаптеров на self-attention слоях вклад у них в лосс очень разный. Часть из них почти ничего не делает. Зачем тогда держать их в памяти и тратить на них градиенты?

💡 Что мы предлагаем?

К каждому LoRA-адаптеру добавляем скалярный вес ωᵢ. В самом начале обучения (≈ 0.5% числа итераций) оптимизируем эти веса при ограничении на ℓ₀-норму: оставляем только Top-K адаптеров, остальные зануляем. Потом выкидываем ненужные и дальше тренируем как обычный LoRA.

Всё. Никакой сложной архитектуры поверх.

WeightLoRA+ идет чуть дальше: вместо того чтобы просто выбрасывать адаптеры, удваиваем ранг у оставшихся. Бюджет параметров тот же, что у LoRA, но распределён по важным слоям, а не равномерно по всем.

📊 Цифры:

🔵WeightLoRA: в ~2 раза меньше обучаемых параметров, качество сопоставимо с LoRA
🔵WeightLoRA+: LoRA-бюджет, лучше результат
🔵Проверили на DeBERTa, Llama3-8B, Qwen3-8B, Llama3.1-70B, BART
🔵GLUE, GSM8K, HellaSwag, BoolQ, ARC-C, SQuAD, XSum...

Один паттерн, который проявляется стабильно: глубокие слои важнее, value-проекции выбираются чаще query и key. Это метод находит сам, без подсказок

Подписывайтесь

#разборстатьи@brainlaboratory

Пришли результаты ICML

Мир ресерча в области ML и AI - постоянные американские горки.
🎢Пишешь статьи, подаешь, ждешь результат, который может быть непредсказуем.

В этот раз на https://icml.cc/Conferences/2026/Datesот нашей лаборатории прошли 4 статьи😇:

• One-Step Gradient Delay is Not a Barrier for Large-Scale Asynchronous Pipeline Parallel LLM Pretraining
• From Optimization to Generalization under Heavy-Tailed Data: The Role of Gradient Clipping
• Softsign: Smooth Sign in Your Optimizer For Better Parameter Heterogeneity Handling
• https://arxiv.org/abs/2601.01160

Поздравляем ребят! Позже вернемся с подробными разборами статей.

😐Уже неудивительно, что некоторые статьи, получившие хорошие отзывы и оценки на ревью, оказались в итоге со статусом реджект.

А мы снова покупаем билет на этот аттракцион, следующий - NeurlPS.

А как у вас дела с ICML?

Итоги ICLR 2026 ⛵️

Конференция подошла к концу, что мы успели за это время:

✋ Увидеться со старыми знакомыми, познакомиться с новыми людьми, вдохновиться исследованиями и покринжевать с некоторых
💡 Погрузиться в атмосферу, где чувствуешь себя частью глобального ресерча, науки и международных компаний
📍 Попутешествовать - мы поднимались к Христу, гуляли по Рио, купались в океане, кто-то из нашей группы успел слетать в Аргентину, а кто-то ещё добавил к ней Уругвай
🥳 Отпраздновать день рождения Александра Николаевича
📘 Выучить пару слов на португальском и испанском
✏️ Вдохновиться на следующие исследования и статьи

🔖 Впечатления участников о поездке

Александр Безносиков:
«Размер конференции напрягает: слишком большой поток работ, невозможно по достоинству оценить все, но найти 5-10 жемчужин для себя можно. Ну и не стоит забывать, что любая конференция - это возможность обогатиться не только по сутевой части, но и культурно».

Валерий Парфенов:
«Масштаб ощущается, но к нему быстро привыкаешь, а вот энергию и теплоту сообщества замечать не перестаёшь.
Oral переоценены (по крайней мере десятиминутные), постеры гараздо полезнее - предметное общение с автором в разумном темпе».

Даниил Медяков:
«Я сравниваю ICLR с AAAI конференцией, на которой тоже был в этом году. Заметил, что координальных отличий два: выступать с постером на ICLR намного приятнее - по одной из работ было множество заинтересованных людей и в целом атмосфера на постерных сессиях намного живее. Oral выступления, к сожалению, снова разочаровали. В целом видно, что конференция немного выше уровнем, чем AAAI.”

Obrigado за внимание, увидимся на разборах статей!

Апрель...

- время пробуждения после зимы и начало периода айс-латте 🧊☕️

📍В этом апреле лаборатория BRAIn снова представлена на конференции Data Fusion в секции "Математическая оптимизация".
С докладом будет выступать глава лаборатории Александр Безносиков.

📍В середине месяца в стенах Физтех-лицея, научный сотрудник лаборатории, Дмитрий Былинкин расскажет о методах глубокого обучения в физическом моделировании на конференции IT Purple.

А уже 20 апреля мы летим в 🇧🇷 на конференцию ICLR c постерными выступлениями по принятым статьям, о которых рассказывали

Регистрация на https://data-fusion.ru/ и https://it-purple.ru/ еще открыта, а с ICLR будем вещать сами🌴

🌿 На очереди разбор следующей статьи с ICLR

https://openreview.net/pdf?id=zOWljZMbCm

💡 О чём статья?
В последнее время всё больше задач фомулируются в федеративном сеттинге: данные распределены по множеству слабо связанных устройств.

Это вызывает две дополнительные проблемы:
⋅ Communication Bottleneck: агрегировать веса модели с сотен и тысяч устройств долго;
⋅ Data Heterogeneity: данные пользователей могут иметь существенно разные распределения (например, у кого-то фото только котов, у кого-то - только собак). Это бьёт по эффективности классических подходов.

Сообщество продвинулось в решении этих проблем изолированно, что удобно для анализа. Но на практике эти сложности не приходят по одной.

🎯 Что мы предлагаем?
Мы представляем ADI (Agnostic DIANA) - алгоритм, который впервые эффективно объединяет адаптивное взвешивание клиентов и сжатие коммуникаций.

⚠️ С чем пришлось столкнуться по пути?
⋅ Для назначения весов могут требоваться дополнительные коммуникации, обостряющие проблему дорогих пересылок;
⋅ Выбранная agnostic стратегия взвешивания меняет постановку и превращает задачу классической минимизации в седловую;
⋅ Ограничение на единичную сумму весов влияет на геометрию задачи;
⋅ Механизмы компрессии и взвешивания интерферируют в теоретическом анализе.

✅ Ключевые результаты:
📄 Теория: Доказали сходимость для выпуклых и невыпуклых задач, даже при использовании стохастических оракулов и частичной доступности клиентов.
🔨 Практика: Эксперименты на CIFAR-10/100 показывают, что ADI обходит бейзлайны, которые решают только одну из проблем, особенно в условиях сильной гетерогенности.
🔥 Эффективность: 
⋅ Адаптивная схема взвешивания назначает веса автоматически без дополнительной информации и тяжелых пересылок;
⋅ Продвинутая схема компрессии позволяет избежать накопления ошибки;
⋅ Optimistic шаги дополнительно снижают нагрузку на вычисление и передачу градиентов;
⋅ ADI не требует пересылки полных градиентов даже с малой вероятностью (что можно увидеть не у всех аналогов).

✨ Почему это важно?
Мы показали, что компрессия и взвешивание могут эффективно работать в тандеме. Это открывает новые возможности для решения реальных федеративных задач. Наш алгоритм спроектирован с упором на эффективность, а теоретический анализ покрывает практически значимые сценарии.

#разборстатьи

▫️▫️▫️▫️▫️▫️▫️ 🌸▫️▫️

Сегодня мы отрываем от сердца и показываем вам лучшую и самую красивую часть нашей лаборатории💃.

🌷Поздравляем вас, все девушки науки и образования, с восьмым днём весны! Красоты и счастья в сердце, спокойствия от тревог и забот и только самых интересных и лучших проектов!

А в карточках делимся фактами о наших девушках!
⤵️⤵️⤵️

Sign-SGD via Parameter-Free Optimization: sign-оптимизация без ручного подбора размера шага

Сегодня разбираем статью, прошедшую на ICLR-26 и подготовленную совместно с комадной https://research.yandex.com/ (исследователи пишут про принятые статьи в канале https://t.me/MLunderhood).

💡 О чём работа?
Sign-SGD любят за простоту и «дешевую» память: вместо полноценных градиентов можно передавать/хранить только их знаки — удобно и для распределенного обучения, и на одном устройстве.

Но у него, как и у других классических оптимизаторов, есть большая практическая боль: эффективный шаг (stepsize) заранее не выбрать, потому что он зависит от неизвестных свойств каждой отдельной задачи — и в итоге всё упирается в тюнинг.

⚠️ Почему это проблема?
В больших моделях, например LLM, подбор learning rate — это не «пара запусков», а полноценный grid search + поиск расписания (schedule), что:
⋅ тратит GPU-часы и деньги;
⋅ делает метод тяжело переносимым между задачами/датасетами.

🎯 Что мы предлагаем?
Мы строим parameter-free Sign-SGD: алгоритм сам подстраивает шаг обучения на каждой итерации, без рестартов и без дополнительного поиска гиперпараметров.

Ключевая идея — оценивать глобальные константы задачи, от которых зависит оптимальный шаг (в частности, гладкость и начальное приближение с точки зрения функции), по текущей информации о градиентах.

🧩 Что внутри (если коротко, но по делу):
⋅ ALIAS: алгоритм на основе Sign-SGD с автоматическим выбором шага.
⋅ Сценарии: разобраны детерминированный, стохастический и распределённый алгоритмы для обучения.
⋅ Momentum-вариант (в духе Adam): чтобы подтянуть практическую эффективность, сохранив parameter-free идею.
⋅ Memory-efficient версия: вариант, который хранит только знаки прошлых градиентов для подбора шага и сохраняет адаптивность (важно для памяти).
⋅ Бонус: в экспериментах видно, что с нашим подбором шага автоматически возникает косинусное расписание, без явного cosine scheduler.

📊 Эксперименты
Проверили на задачах, где тюнинг особенно дорог:
⋅ pre-training LLaMA (130M и 350M параметров);
⋅ fine-tuning Swin Transformer (28M параметров). 
⋅ другие задачи из бенчмарка AlgoPerf.

🔥 Итог
Наши parameter-free варианты по качеству обучения сопоставимы с “затюнеными” Sign-SGD и AdamW (где lr подбирали через grid search + cosine schedule), и при этом убирают дополнительные расходы на подбор.
Это даёт примерно ~1.5× ускорение end-to-end по сравнению с запусками, где lr подбирают сеткой.

✨ Почему это важно?
⋅ Меньше ручного тюнинга → быстрее обучение на любых задачах
⋅ Sign-оптимизация остается “дешевой” по памяти → меньше затрат на GPU-ресурсы
⋅ Работает в реалистичных режимах → стохастика, распределенка

📎 https://openreview.net/pdf?id=yDLD3D95w3
💻 https://github.com/brain-lab-research/ALIAS