BI/AI Data Developer

Ми динамічна технологічна компанія, що працює з високими навантаженнями даних. Ми шукаємо висококваліфікованого BI / AI Data Developer рівня Mid-Senior для формування наступного покоління data-driven рішень. Кандидат буде відповідальний за архітектуру даних, яка забезпечує як бездоганну фінансову звітність та бізнес-аналітику, так і надійну інфраструктуру для наших інноваційних систем на базі LLM.

Наш технологічний стек та середовище: Ми сформована й технічно сильна BI-команда, яка працює з масштабованою аналітичною інфраструктурою. У нашому стеку Vertica як основне високопродуктивне дата-сховище, Kafka з великою кількістю топіків для стрімінгу подій, Trino як шар віртуалізації для роботи з різними джерелами, MinIO як об'єктне сховище для холодних даних, а також Tableau як ключова платформа візуалізації з розгалуженою мережею дашбордів, джерел даних та моделей. Ми підтримуємо великий обсяг бізнес-процесів, маємо стабільні пайплайни, якісний моніторинг, чітко організовані ETL-процеси та продакшн-середовище з високим навантаженням. Зараз ми вступили у фазу трансформації: переходимо на MAS-архітектуру, стандартизуємо моделювання через dbt, розвиваємо стрімінгові сценарії, тестуємо та інтегруємо AI/LLM-рішення у BI-процеси та готуємо нашу платформу до сучасних AI-driven підходів у прийнятті рішень. Це не побудова з нуля це розвиток і підсилення вже існуючої зрілої екосистеми, яка виходить на новий рівень.

Цілі та вплив ролі: Ви будете ключовим інженером, який активно сприятиме еволюції нашої Data-платформи. Ваша роль полягає у безпосередній розробці та оптимізації процесів, які гарантують консистентність, надійність та масштабованість даних. Ви будете застосовувати глибоку інженерну експертизу для забезпечення потреб як традиційної BI-звітності, так і для створення інфраструктури, необхідної для роботи передових AI/LLM-застосувань. Ця позиція вимагає сильної технічної бази, архітектурного розуміння та здатності перетворювати дані на бізнес-цінність.

Що очікуємо від кандидата: 

Обов'язкова технічна кваліфікація (Must-Have):

• Мінімум 3+ роки досвіду в ролі Data Developer/Engineer у високо-навантажених (high-load) аналітичних середовищах.
• Глибоке знання SQL (3+ роки) та досвід роботи з масивно-паралельними аналітичними базами даних та шарами віртуалізації, включаючи оптимізацію складних запитів.
• Професійне володіння Python (2+ роки) для розробки скриптів, API та автоматизації ETL процесів.
• Практичний досвід роботи з Apache Airflow для оркестрації ETL пайплайнів, включаючи інтеграцію з dbt, Kafka та ключовими сховищами даних.
• Обов'язковий практичний досвід роботи з dbt для стандартизованого моделювання та трансформації даних.
• Досвід роботи зі стрімінговими даними, включаючи конфігурацію та оптимізацію Kafka топіків.
• Практичний досвід побудови Data Lakehouse архітектури та роботи з об'єктними сховищами (MinIO).
• Розуміння архітектури LLM, знання концепцій NLP, Information Retrieval та досвід роботи з фреймворками для трасування (наприклад, LangFuse).

Додаткова перевага (Preferred Qualifications):

• Знайомство з альтернативними BI/AI технологіями Microsoft, такими як Azure AI, Fabric, та Power BI.
• Досвід роботи з Data Catalog / Data Governance інструментами (наприклад, DataHub), особливо в інтеграції з Vertica.
• Практичний досвід роботи з ключовими технологіями нашого стеку: Vertica, Trino, MinIO, Kafka.
• Досвід роботи з платформами візуалізації Tableau.
• Знайомство з концепціями dbt для стандартизованого моделювання даних.
• Досвід моделювання даних для BI-систем (наприклад, Tableau) та розуміння семантичного шару.
• Розуміння MAS-архітектури та підходів до розвитку платформи.
• Досвід у сфері векторних пошуків, LLM orchestration та використання фреймворків для трасування.

Майбутні задачі: 

• Проєктування та розвиток MAS-архітектури: модулі доступу до даних, сервіси для LLM, шар аналітики.
• Інтеграція LLM для обробки промптів: OpenAI, Azure AI, локальні моделі, маршрутизація запитів.
• Використання LangFuse для логування промптів, трасування та оцінки якості.
• Управління та розвиток Data Catalog (наприклад, DataHub) для забезпечення прозорості даних, Data Governance та підтримки self-service аналітики.
• Автоматизація та оркестрація складних ETL та AI-конвеєрів за допомогою Apache Airflow.
• Розробка та оптимізація ETL процесів у Vertica, Trino, MinIO з використанням dbt.
• Розробка скриптів та API на Python, забезпечення надійності та автоматизації процесів.
• Налаштування потокових даних та побудова Data Sources.
• Конфігурація та оптимізація Kafka топіків, стрімінгових потоків даних.
• Побудова надійних Data Sources для Tableau та AI-моделей з використанням dbt: моделювання, агрегація, партиціонування, інтеграція з MinIO/Trino.
• Забезпечення цілісності та якості даних, моніторинг потоків та логування.
• Підтримка структури даних для роботи з LLM та промпт-системами, забезпечення швидкого доступу до інформації.

Компанія пропонує:

• Розвиток у міжнародній IT-компанії.
• Програму професійного менторства та адаптації.
• Стабільний дохід з прив'язкою до курсу $.
• Оплачувану відпустку та лікарняний.
• Компенсацію 50% спорта, психолога, курсів іноземної мови, дитячих гуртків,
• медичного страхування, занять творчістю.
• Команда, яка буде для тебе підтримкою та натхненням.