Авторские инженерные воркшопы на темы Как обуздать потоки больших данных и MLOps практики

О практических инструментах и стратегиях для работы с высокоскоростными потоками данных в реальном времени.

  • Архитектура: Какие системы OSS использовать?
  • Обработка: Как принимать, обрабатывать и анализировать данные «на лету», а не кусками (batch).
  • Масштабирование: Как проектировать систему, чтобы она выдержало рост нагрузки.
  • Постановку задач: как от бизнес-проблемы прийти к работающему алгоритму.

Как поставить машинное обучение на конвейер: сделать ML-разработку надёжной, воспроизводимой и автоматизированной инженерной практикой, а не хаотичными экспериментами

  • Версионирование: Не только кода, но и данных и моделей
  • Автоматизация: CI/CD для ML-моделей: автоматическое тестирование, обучение и развёртывание.
  • Мониторинг: Как следить за качеством модели после запуска в промышленной эксплуатации .
  • Инфраструктура: Контейнеризация (Docker) и оркестрация (Kubernetes) для моделей.

Встречались с ИТ командой

Авторские инженерные воркшопы на темы Платформа управления данными TData

О практическом применении корпоративных инструментов компании TData простым языком и демонстрацией работы с данными для партнерских программ

Блок 1 «Сценарии использования платформы TData. Цифровые продукты: Дашборды»

Блок 2 «Сценарии использования платформы TData. Контракт данных. Потоковые данные и Data-as-a-Service»

Блок 3 «Сценарии использования платформы TData. Цифровые продукты: машинное обучение и AI. Data-as-a-Knowledge»

Воркшопы с демонстрациями и кодом предоставлены для

Авторская лекция на тему Тернистый путь от Цифры до ИИ

О практических сложностях и подводных камнях внедрения искусственного интеллекта в бизнес, когда за магией нейросетей скрывается огромная работа с данными, инфраструктурой и людьми. ИИ — это не «волшебная кнопка». Реальный путь к интеллектуальным системам лежит через:

  • Данные: их сбор, очистку и организацию («цифровой» этап).
  • Инфраструктуру: технологии и платформы, которые всё это поддерживают.
  • Людей: командную работу и трансформацию бизнес процессов.
  • Постановку задач: как от бизнес-проблемы прийти к работающему алгоритму.

Успешный ИИ-продукт строится на фундаменте качественной цифровизации, а не приходит на смену ей

Встречались с участниками конференции

Авторская лекция на тему ИИ — реальность или виртуальность?

ИИ стирает грань между реальным и цифровым миром, создавая новые реальности, влияя на наше восприятие и поднимая вопрос: что теперь вообще можно считать «настоящим»?

  • 4 технологическая революция и бизнес модели
  • задача машинного обучения терминами бизнеса
  • план и факт в машинном обучении и в бизнесе
  • цифровой бизнес продукт = алгоритм машинного обучения?
  • как сделать чтобы алгоритм работал на бизнес?
  • нужна ли математика бизнесу?
  • правильное общение с ИИ — половина дела!?
  • интеграция ИИ в бизнес. Как его воспитывать и поддерживать?
  • можно ли автоматизировать ИИ и поставить на поток создание цифровых продуктов основанных на ИИ? 

Встречались с бизнес-командой

Авторский курс Корпоративный Дата Инженер

Курс был обмечен Data Award 2024

Кому подойдет курс?
Обучение для сотрудников компании, которые уже работают с данными, знакомы с основами программирования на языке Python и не планируют на этом останавливаться.

Дата-специалисты, которые специализируются на одной области знаний – ETL, аналитика, BI, системная разработка, сопровождение. Весь цикл работы с данными они могут не представлять. Итог программы для них – систематизация знаний по всему циклу работы с данными, практическое использование инструментов компании на всем цикле работы с данными.

Бизнес-пользователи, которые работают с данными в режиме self-service – работают с OLAP кубами, создают BI-отчеты в self-service контуре. Многие бизнес-пользователи натыкаются на потолок в технических знаниях – не понимают как настроить ETL-процессы, не понимают какие дата-инструменты полезны, не знают как правильно построить витрину. Итог обучения для них – понимание всего цикла работы с данными и освоение корпоративных инструментов в компании.

ИТ-специалисты из смежных подразделений. Они могут хорошо знать SQL или быть разработчиками, но хотеть перейти в направление Big Data. Итог программы для них – понимание всего цикла работы с данными – от загрузки до визуализации, освоение инструментария для возможности практического выполнения всего цикла.

Блок 1 «SQL и Python»

Блок 2 «Работа с большими данными в Hadoop / S3»

Блок 3 «Работа с большими данными в GreenPlum»

Блок 4 «Работа с большими данными в ClickHouse»

Блок 5 «Работа с потоковыми данными»

Блок 6 «Работа с трансформацией данных в рамках ETL / ELT / EL процессов»

Блок 7 «EDA анализ. Машинное обучение»

Обучились по курсу

Авторский курс Введение в Реляционные Базы Данных

Кому подойдет программа?
Студентам инженерных ВУЗов и специалистам, кто хочет стать на путь работы с базами данных

Курс основан на литературе представленной ниже и на моем опыте работы в роли Инженера и Архитектора Данных

Обучились по курсу

Авторская онлайн-программа Культура данных в бизнесе

Цифровые данные — новое «сырье» в современной экономике. Поэтому эффективно собирать и анализировать информацию, а также принимать решения, основываясь на данных, теперь не просто конкурентное преимущество, а необходимые компетенции для специалистов любой сферы.

Онлайн-программа «Культура данных в бизнесе: строим дата-ориентированную компанию» поможет за 6 занятий научиться работать с данными и изучить практические стратегии внедрения дата-ориентированного подхода в бизнес.

Кому подойдет программа?
Менеджерам, руководителям команд и специалистам, которые хотят построить эффективную культуру работы с данными в компании.

Блок 1 «Строим дата-ориентированную компанию»

  • цифровые данные и цифровая трансформация
  • как работает пирамида данных?
  • структурированные и неструктурированные данные
  • цифровое целеполагание и сценарии применения архитектур данных

Блок 2 «Архитектура и бизнес»

  • бизнес-требования цифрового продукта и логический дизайн
  • физическая архитектура и цена данных
  • хорошие и не очень примеры цифровой трансформации бизнес процессов
  • импортозамещение и как избежать vendor-lock?

Блок 3 «Команда платформы данных»

  • роли инженеров в современной дата ориентированной компании. От дата инженера до PROMPT аналитика
  • компетенции и зоны ответственности в команде
  • как стимулировать развитие команды платформы и инженера в частности

Блок 4 «Data Governance»

  • основные драйверы Data Governance «на пальцах»
  • главные компоненты построения дата-ориентированной компании
  • каталогизаторы… от мастер данных до metadata-driven подхода

Блок 5 «Цифровые продукты и сервисы»

  • от «данные-как-сервис» до «модели-как-сервис»
  • данные-как-знания… что это такое и как с этим работать?
  • витрины данных (dashboards и scoreboards)
  • примеры архитектур цифровых сервисов
  • для чего нужен аудит цифровых сервисов?
  • стандарт создания цифрового сервиса CRISP-DM

Блок 6 «Искусственный Интеллект или Инвестиционная Иллюзия»

  • что такое ИИ? Новая игрушка или нечто большее?
  • Каик задачи решает ИИ и как его знания применять в бизнесе?
  • стандарт создания цифрового сервиса, основанного на ИИ — CRISP-ML

Обучились по программе

Авторская онлайн-программа Архитектор данных

Программа повышения квалификации направлена на подготовку архитекторов данных и нацелена на изучение основных методов, принципов, стандартов работы с цифровыми данными и получение знаний и навыков для разработки или модернизации архитектуры предприятия / компании / бизнес процесса. 

Архитектор данных — специалист по доступности, безопасности и актуальности данных, отвечающий в организации за проектирование систем и процессов, с помощью которых хранятся и используются данные. В их сфере ответственности проектирование разнообразных типов структур данных (от конвейеров и баз данных до хранилищ и облачных систем). Наличие в команде компетентного специалиста — архитектора данных во много определяет успех реализации проектов, связанных с искусственным интеллектом.

Кому подойдет программа?
Специалистам, имеющих высшее или среднее профессиональное образование в области информационных технологий (работа с данными и/или искусственным интеллектом / машинным обучением), а также лиц, получающих высшее или среднее профессиональное образование в области информационных технологий.

Модуль 1 «Введение в роль архитектора данных»

Модуль 2 «Обработка цифровых данных»

Модуль 3 «Основы машинного обучения»

Модуль 4 «Нейронные сети и глубокое обучение»

Модуль 5 «Управление проектами в области цифровых данных и ИИ»

Модуль 6 «Дополнительные главы по дата инженерии и исследованию данных»

Обучились по программе

Авторская онлайн-программа SQL для начинающих специалистов

Комплексная онлайн-программа по реляционным базам данных и языку SQL с погружением в одну из самых популярных промышленных систем управления базами данных (РСУБД) — PostgreSQL с подготовленными кейсами на основании цифровых данных организации.

Кому подойдет программа?
Программа рассчитана на начинающих с нуля, но построена так, чтобы привести учащихся к уровню junior-специалиста. Для начинающих аналитиков данных (Data Analysts): идеальная база для будущих аналитиков. Модули 1 и 2 практически полностью покрывают весь необходимый SQL-инструментарий для работы с данными, построения отчетов и дашбордов.

Модуль 1 «Основы SQL и проектирование БД»

Модуль 2 «Аналитика и OLAP»

Модуль 3 «Дополнительные возможности PostgreSQL»

Обучились по программе

Авторская онлайн-программа SQL для продвинутых специалистов

Продвинутый практический курс по внутреннему устройству, оптимизации и автоматизации работы с PostgreSQL, с элементами использования Python и искусственного интеллекта. В отличие от базовых курсов по SQL, здесь глубоко рассматривается не просто написание запросов, а то, как СУБД работает изнутри и как заставить ее работать максимально эффективно..

Кому подойдет программа?
Это курс для тех, кто уже перешел от основ SQL к реальной работе и столкнулся с вопросами производительности, сложной бизнес-логикой и необходимостью автоматизации. Он дает глубокое инженерное понимание PostgreSQL и вооружает современными инструментами (Python + AI) для решения сложных задач.

Модуль 1 «Внутреннее устройство PostgreSQL»

Модуль 2 «Программирование на стороне СУБД (PL/pgSQL)»

Модуль 3 «Сложные запросы, оптимизация и современные инструменты»

Модуль 4 «Аналитика с использованием Python и LLM-моделей«

Обучились по программе

Авторский курс Корпоративный Дата Аналитик

Кому подойдет курс?
Обучение для сотрудников компании, которые плотно работают с данными (например в электронных таблицах), но хотят расширить свои знания и автоматически искать причинно-следственные связи в данных, применять алгоритмы математической статистики / машинного обучения, делать выводы из данных и возможно встать на путь корпоративного Дата-Журналиста.

Блок 1 «Технологии для обработки цифровых данных»

Блок 2 «Статистика и первые выводы из цифровых данных»

Блок 3 «EDA анализ цифровых данных и поиск причинно-следственных связей»

Блок 4 «Аналитика больших данных и машинное обучение»

Блок 5 «Обработка естественного языка»

Блок 6 «Алгоритмы компьютерного зрения»

Обучились по курсу