DLC для выпускников core

Realtime Analytics Pipelines Π·Π° 2 мСсяца

На ΠΏΡ€Π°ΠΊΡ‚ΠΈΠΊΠ΅ собСрСтС ΠΈ ΠΎΡ‚Π»Π°Π΄ΠΈΡ‚Π΅ Ρ€Π°Π±ΠΎΡ‡ΠΈΠΉ realtime-ΠΊΠΎΠ½Ρ‚ΡƒΡ€: ΠΎΡ‚ CDC ΠΈ Kafka Π΄ΠΎ ΠΌΠ΅Ρ‚Ρ€ΠΈΠΊ, API, ΠΌΠΎΠ½ΠΈΡ‚ΠΎΡ€ΠΈΠ½Π³Π° ΠΈ Π°Π»Π΅Ρ€Ρ‚ΠΎΠ² Π½Π° SLA/freshness.

Π§Ρ‚ΠΎ Π½Π° Π²Ρ‹Ρ…ΠΎΠ΄Π΅: Π²Ρ‹ ΡƒΠΌΠ΅Π΅Ρ‚Π΅ Π½Π΅ Ρ‚ΠΎΠ»ΡŒΠΊΠΎ ΠΏΠΎΠ΄Π½ΡΡ‚ΡŒ стСк, Π½ΠΎ ΠΈ ΠΏΠΎΠΉΠΌΠ°Ρ‚ΡŒ Ρ‚ΠΈΠΏΠΎΠ²Ρ‹Π΅ ΠΏΠΎΠ»ΠΎΠΌΠΊΠΈ: Π»Π°Π³, schema drift, "ΠΏΠΎΡ‡Π΅ΠΌΡƒ Π΄Π°ΡˆΠ±ΠΎΡ€Π΄ Π²Ρ€Π΅Ρ‚ прямо сСйчас".

Postgres β†’ Debezium β†’ Kafka β†’ ClickHouse β†’ FastAPI

Для ΠΊΠΎΠ³ΠΎ / Π½Π΅ для ΠΊΠΎΠ³ΠΎ

Для ΠΊΠΎΠ³ΠΎ

НС для кого

Π§Ρ‚ΠΎ Π²Π½ΡƒΡ‚Ρ€ΠΈ: 4 Π»Π°Π±ΠΎΡ€Π°Ρ‚ΠΎΡ€Π½Ρ‹Ρ… + ΠΏΡ€ΠΎΠ΅ΠΊΡ‚

Π›Π°Π±Π° 1. CDC fundamentals

ПоднимаСм Postgres + Debezium + Kafka, провСряСм snapshot, INSERT/UPDATE/DELETE ΠΈ ΠΏΡ€ΠΎΡΡ‚ΡƒΡŽ ΡΠ²ΠΎΠ»ΡŽΡ†ΠΈΡŽ схСмы. Π‘ΠΌΠΎΡ‚Ρ€ΠΈΠΌ, Π³Π΄Π΅ Ρ€Π΅Π°Π»ΡŒΠ½ΠΎ ломаСтся ΠΊΠΎΠ½Ρ‚Ρ€Π°ΠΊΡ‚ Π΄Π°Π½Π½Ρ‹Ρ….

Π›Π°Π±Π° 2. Realtime-Π°Π³Ρ€Π΅Π³Π°Ρ†ΠΈΠΈ Π² ClickHouse

Π”Π΅Π»Π°Π΅ΠΌ ingestion ΠΈΠ· Kafka Π² ClickHouse, строим materialized views ΠΈ ΠΈΠ½ΠΊΡ€Π΅ΠΌΠ΅Π½Ρ‚Π°Π»ΡŒΠ½Ρ‹Π΅ Π°Π³Ρ€Π΅Π³Π°Ρ†ΠΈΠΈ. ΠŸΡ€ΠΎΠ²Π΅Ρ€ΡΠ΅ΠΌ, ΠΊΠ°ΠΊ дСрТится freshness ΠΏΡ€ΠΈ ΠΏΠΎΡ‚ΠΎΠΊΠ΅ событий.

Π›Π°Π±Π° 3. API-слой для ΠΌΠ΅Ρ‚Ρ€ΠΈΠΊ

ПоднимаСм FastAPI Π½Π°Π΄ ΠΌΠ΅Ρ‚Ρ€ΠΈΠΊΠ°ΠΌΠΈ: Ρ‚Π°ΠΉΠΌ-Π΄ΠΈΠ°ΠΏΠ°Π·ΠΎΠ½Ρ‹, Π³Ρ€ΡƒΠΏΠΏΠΈΡ€ΠΎΠ²ΠΊΠΈ, кэш. Π”Π΅Π»Π°Π΅ΠΌ Π±Π°Π·ΠΎΠ²Ρ‹Π΅ freshness checks Π½Π° ΡƒΡ€ΠΎΠ²Π½Π΅ API, Ρ‡Ρ‚ΠΎΠ±Ρ‹ Π½Π΅ ΠΎΡ‚Π΄Π°Π²Π°Ρ‚ΡŒ Π·Π°Π²Π΅Π΄ΠΎΠΌΠΎ ΡƒΡΡ‚Π°Ρ€Π΅Π²ΡˆΠΈΠ΅ Π΄Π°Π½Π½Ρ‹Π΅.

Π›Π°Π±Π° 4. Ops drill (ΠΏΠΎΠ»ΠΎΠΌΠΊΠΈ ΠΈ восстановлСниС)

ΠŸΡ€Π°ΠΊΡ‚ΠΈΠΊΡƒΠ΅ΠΌ Ρ€Π΅Π°Π»ΡŒΠ½Ρ‹Π΅ ΠΈΠ½Ρ†ΠΈΠ΄Π΅Π½Ρ‚Ρ‹: lag, schema drift, Π½Π΅Π²Π΅Ρ€Π½Ρ‹Π΅ Ρ†ΠΈΡ„Ρ€Ρ‹ Π½Π° Π΄Π°ΡˆΠ±ΠΎΡ€Π΄Π΅, дСградация SLA. НуТна диагностика ΠΈ понятный recovery-ΠΏΠ»Π°Π½.

Π€ΠΈΠ½Π°Π»ΡŒΠ½Ρ‹ΠΉ ΠΏΡ€ΠΎΠ΅ΠΊΡ‚

Π‘ΠΎΠ±ΠΈΡ€Π°Π΅Ρ‚Π΅ end-to-end realtime analytics сСрвис: ingestion, Π°Π³Ρ€Π΅Π³Π°Ρ†ΠΈΠΈ, API, ΠΌΠΎΠ½ΠΈΡ‚ΠΎΡ€ΠΈΠ½Π³, freshness/SLA-Π°Π»Π΅Ρ€Ρ‚Ρ‹ ΠΈ публичная Π·Π°Ρ‰ΠΈΡ‚Π° Ρ€Π΅ΡˆΠ΅Π½ΠΈΠΉ.

Π€ΠΎΡ€ΠΌΠ°Ρ‚ ΠΈ Π΄Π»ΠΈΡ‚Π΅Π»ΡŒΠ½ΠΎΡΡ‚ΡŒ

ОТидаСмая Π½Π°Π³Ρ€ΡƒΠ·ΠΊΠ°: ΠΏΡ€ΠΈΠΌΠ΅Ρ€Π½ΠΎ 8-10 часов Π² нСдСлю.

Prerequisites

META: Π½Π°Π²Π΅Ρ€Π½ΠΎΠ΅ ΠΊΠΎΡ€ΠΎΡ‚ΠΊΠΈΠΉ Π²Ρ…ΠΎΠ΄Π½ΠΎΠΉ self-check (8-10 вопросов) Ρ‚ΠΈΠΏΠ° ΠΊΠ°ΠΊ Ρƒ OTUS, Ρ‡Ρ‚ΠΎΠ±Ρ‹ Ρ‡Π΅Π»ΠΎΠ²Π΅ΠΊΡƒ Π·Π°Ρ€Π°Π½Π΅Π΅ ΠΏΠΎΠ½ΡΡ‚ΡŒ, потянСт Π»ΠΈ Ρ‚Π΅ΠΌΠΏ.

О ΠΏΡ€Π΅ΠΏΠΎΠ΄Π°Π²Π°Ρ‚Π΅Π»Π΅

Π’ΡƒΡ‚ Ρ„ΠΎΡ‚ΠΊΠ° ΠΈ ΠΊΠ°ΠΊΠΎΠΉ-Ρ‚ΠΎ кусок ΠΏΠΎΡ‡Π΅ΠΌΡƒ я:

Π¦Π΅Π½Π° ΠΈ заявка [ΠΏΡ€ΠΈΠΌΠ΅Ρ€]

ΠžΡ€ΠΈΠ΅Π½Ρ‚ΠΈΡ€ Ρ†Π΅Π½Ρ‹ для ΠΏΠ΅Ρ€Π²ΠΎΠ³ΠΎ запуска:

50-60 000 β‚½ (??)

МоТно ΠΎΡΡ‚Π°Π²ΠΈΡ‚ΡŒ заявку сСйчас, Ρ‡Ρ‚ΠΎΠ±Ρ‹ ΠΏΠΎΠ»ΡƒΡ‡ΠΈΡ‚ΡŒ Π΄Π΅Ρ‚Π°Π»ΠΈ ΠΏΠΎ Π΄Π°Ρ‚Π°ΠΌ ΠΏΠΎΡ‚ΠΎΠΊΠ° ΠΈ ΠΏΡ€ΠΈΠΎΡ€ΠΈΡ‚Π΅Ρ‚Π½Ρ‹ΠΉ слот.

ΠžΡΡ‚Π°Π²ΠΈΡ‚ΡŒ заявку

НаТимая ΠΊΠ½ΠΎΠΏΠΊΡƒ, Π²Ρ‹ ΡΠΎΠ³Π»Π°ΡˆΠ°Π΅Ρ‚Π΅ΡΡŒ Π½Π° ΠΎΠ±Ρ€Π°Π±ΠΎΡ‚ΠΊΡƒ ΠΏΠ΅Ρ€ΡΠΎΠ½Π°Π»ΡŒΠ½Ρ‹Ρ… Π΄Π°Π½Π½Ρ‹Ρ… ΠΈ Π΄Ρ€ΡƒΠ³ΠΎΠΉ ΡŽΡ€ΠΈΠ΄ΠΈΡ‡Π΅ΡΠΊΠΈΠΉ рэп.