Инфосистемы Джет: Доклад «Data‑driven‑подход к анализу данных» - видео HD
Для существования нашего сайта необходим показ рекламы. Просим отнестись с пониманием и добавить сайт в список исключений вашей программы для блокировки рекламы (AdBlock и другие).
Инфосистемы Джет 140 роликов
Доклад «Data‑driven‑подход к анализу данных» - видео.
Что делать, когда данных становится больше, а качественных решений — нет?
Павел Егоров разбирает большие вызовы data-подхода:
• почему 40% времени data-специалисты тратят впустую из-за плохого качества данных
• как дата-каталоги и глоссарии спасают от хаоса в показателях (один KPI считают шестью разными способами!)
• зачем внедрять «дата контракты» между бизнесом и IT — как в поставках молока
• почему Lakehouse вытесняет классические хранилища и когда переходить на него
Смотрите, чтобы увидеть живые кейсы из промышленности, ритейла и банков.
00:01:00 — Рост данных: IoT, машинное зрение, телеметрия, ERP.
00:04:05 — Проблема №1: недостаток данных для обучения ML-моделей.
00:07:18 — Кейс: как в автосалонах один показатель продаж считали по-разному.
00:09:21 — Категорирование данных: ПДн, гостайна, коммерческая тайна.
00:10:36 — Производственные данные: почему «характеризующие» показатели никто не собирает.
00:12:18 — Ответственность за данные: КИП, финансы, ИБ.
00:13:34 — Интеграция Data Catalog с процессами разработки.
00:14:50 — Синергия с информационной безопасностью: поиск инцидентов через Data Lineage.
00:17:18 — Метрики эффективности: 40% трудозатрат экономят автоматизированные процессы.
00:18:22 — Архитектуры данных: Greenplum, Clickhouse, Lakehouse.
00:19:02 — Lakehouse на практике: S3 + Trino + Iceberg.
00:21:23 — Дата-контракты: как договориться с бизнесом о качестве данных.
00:25:00 — Автоматическое сканирование BI-отчётов и баз данных.
00:26:28 — Концепция дата-контрактов: по аналогии с поставками молока.
00:28:21 — CI/CD для данных: автоматические проверки кода и качества.
00:31:58 — Интеграция с Telegram: нотификации об ошибках в режиме реального времени.
00:33:14 — Почему PostgreSQL не подходит для аналитики.
00:34:29 — Greenplum vs. Lakehouse: когда что выбирать.
00:38:00 — DBT: шаблонизация разработки и переносимость кода.
00:39:48 — Кейсы: Авито (1+ ПБ), Тинькофф.
00:41:24 — Архитектура дата-платформы: ETL, Kafka, NiFi, Airflow.
00:43:01 — Виртуализация данных через Trino.
00:44:32 — REST-запросы через SQL: снижение порога входа.
00:45:55 — Пилот с ArenaData: API-коннекторы, стриминг, CDC.
00:48:08 — Итог: единая точка доступа, автоматизация, качество.
00:50:22 — Ответ про поиск скрытых зависимостей в данных.
00:53:02 — Внедрение Data Governance: бюрократия vs. коммуникация с C-level.
#DataDriven #DataCatalog #BigData