Vector.dev — это высокопроизводительный наблюдатель за логами, метриками и событиями для вашей системы наблюдения. Он обеспечивает высокую гибкость, надежность и контроль над данными. С помощью данного инструмента, разработчики могут собирать, преобразовывать и доставлять все свои данные в нужное место, стремясь увеличить эффективность и надежность их системы. Это открытое программное обеспечение нацелено на обеспечение простоты в использовании и высокой скорости обработки данных.
https://vector.dev

dbt (Data Build Tool) - это инструмент с открытым исходным кодом для извлечения трансформации данных в их хранилищах, упрощает процесс кодирования и обеспечивает прозрачность кода. Он также предлагает функции для автоматического создания документации запросов, возможность тестирования и валидации данных, что обеспечивает точность и надежность ваших данных.
https://www.getdbt.com

ClickHouse - это open-source СУБД, созданная для быстрого анализа больших объемов данных в реальном времени. Ключевыми особенностями являются высокая скорость обработки особенно агрегирующих запросов, поддержка онлайн аналитической обработки (OLAP), распределенная обработка данных на нескольких узлах, создание проекций, возможность хранения больших объемов данных за счет компрессии, SQL-совместимый синтаксис запросов но значительно обогащенный для аналитики и ML, получение инкрементов из разных СУБД на лету, работу с внешними словарями
https://clickhouse.com/

OpenSearch - это бесплатная и открытая поисковая платформа, разработанная Amazon Web Services. Форк Elasticsearch и Kibana, которая предоставляет решения для индексации, поиска и анализа больших объемов данных в реальном времени.
Она может быть использована в различных сценариях, включая полнотекстовый поиск, анализ логов, мониторинг производительности, бизнес-аналитика и многое другое, благодаря своей масштабируемости и гибкости. Из коробки имеет GUI частично Алертинг, и инструменты поиска аномалий.
https://opensearch.org/

GUI для OpenSearch идет в коробке

Интерфейсы собственной разработки

API для внутренних продуктов и внешних систем например FastAPI

OpenSource BI (superset, redash ...)- для внутреннего использования, быстрого исследования и визуализации данных

Prophet - это инструмент Facebook для прогнозирования временных рядов. Его основное применение - анализ больших объемов данных для создания точных прогнозов. Prophet прост в использовании благодаря своей модельной структуре, которая устойчива к пропущенной информации и изменчивым трендам сзонности. Отличительной особенностью является учет праздников и важных событий для улучшения прогнозов.
https://facebook.github.io/prophet/

Типовой стек для обеспечения масштабирования обеспечения непрерывной разработки, тестирования и публикации в продуктивную среду, а так же вспомогательных функций хранения и авторизации и аутентификации

Dagster - это программно-определяемая система управления данными, позволяющая строить, тестировать и реализовывать комплексные рабочие процессы с данными. Он обеспечивает сильную типизацию схемы и структуры данных, инструменты для тестирования и отладки в реальном времени, а также встроенную поддержку для оркестровки, масштабирования и мониторинга. Dagster интегрируется с существующими стеками данных, предоставляет гибкий и модульный API, и поддерживает разработку в рамках современных практик CI/CD для непрерывного движения данных.
https://dagster.io/

Zabbix - это открытое программное обеспечение для мониторинга различных параметров сети, серверов и других сетевых устройств и услуг. Данное ПО позволяет трекерить состояние аппаратных и программных ресурсов, также контролируя доступность и производительность компонентов IT инфраструктур.
https://www.zabbix.com/ru/

Prometheus - система сбор, обработки и наблюдение я за метриками работы систем (хостсов, распространенных веб сервисов, системами управления баз данных, контейнеризации итп ). Prometheus собирает численные данные в режиме реального времени.
https://prometheus.io/

Prometheus — это система мониторинга и сбора метрик с открытым исходным кодом. Она собирает, хранит и анализирует временные ряды данных, а также поддерживает мощный язык запросов PromQL и систему оповещений для выявления проблем.
https://prometheus.io/

Grafana — это инструмент для визуализации данных с открытым исходным кодом, который поддерживает подключение к различным источникам данных, включая Prometheus. Он позволяет создавать интерактивные панели и графики для наглядного отображения метрик и анализа производительности систем.
https://grafana.com/