Массивно-параллельная СУБД для построения хранилищ данных от компании TData


RT.WareHouse обеспечивает высокую степень производительности и отказоустойчивости благодаря гибкости горизонтального масштабирования, использованию в ядре продвинутого оптимизатора запросов и адаптации архитектуры для хранения и обработки больших массивов данных.

Ключевые функции и возможности RT.WareHouse

  • Обеспечивает хранение и обработку больших объемов информации — до десятков петабайт.
    • Нагрузка и данные распределяются равномерно между серверами кластера. Масштабируются не только узлы, но и каналы загрузки и выгрузки данных, что существенно упрощает процесс интеграции с источниками данных и аналитическими системами.
  • Гибкость и производительность при обмене данными с внешними системами.
    • В RT.Warehouse реализован протокол параллельного обмена данными со сторонними системами — Platform eXtension Framework, который обеспечивает взаимодействие с внешней системой одновременно всех сегментов кластера. Поддерживается интеграция с Oracle, Postgres, MS SQL, My SQL, MongoDB, SAP HANA и другими СУБД, а также с решениями другого класса: Hadoop (HDFS, Hive, Hbase), S3.
  • Безопасность достигается путём шифрования данных и соединений сервер-клиент по протоколу SSL на всех этапах их жизненного цикла.
    • Кроме этого, все внутренние взаимодействия компонентов СУБД также могут быть зашифрованы с помощью протокола SSL, а данные, хранящиеся на дисках кластера — зашифрованы с помощью ключей PGP (на уровне таблиц, либо колонок в таблицах).
  • Ролевая модель доступа позволяет реализовать гибкие, изменяющиеся динамически в процессе функционирования правила разграничения доступа.
    • Помимо ограничения доступа к таблицам и другим объектам СУБД можно создать схемы ограничения к строкам и столбцам отдельных таблиц.
  • Коннектор Apache NiFi для параллельной загрузки данных напрямую в сегменты.
  • Управление RT.Warehouse обеспечивается через интерфейс RT.ClusterManager, включающие следующие функции:
    • Автоматическая установка кластера, благодаря собственным ansible-скриптам.
    • Интерфейсы мониторинга состояния кластера: утилизация ресурсов на сегмент-серверах, утилизация ресурсных групп, объем баз/схем, объем таблиц системного каталога.
    • Возможность линейного расширения.
    • Гибкое управление крон-заданиями.
    • Обновление версий компонентов.
  • Возможность параллельной загрузки/выгрузки данных из Hadoop различных форматов (csv, json, parquet, orc, avro).
    • Реализация сценариев «охлаждения» данных детального слоя.