Создание вашего первого Kafka ClickPipe

В этом руководстве мы шаг за шагом рассмотрим процесс создания вашего первого Kafka ClickPipe.

Перейдите к источникам данных

Выберите кнопку Data Sources в меню слева и нажмите кнопку «Set up a ClickPipe».

Выберите источник данных

Выберите ваш источник данных Kafka из списка.

Настройте источник данных

Заполните форму, указав для ClickPipe имя, описание (необязательно), учётные данные и другие параметры подключения.

Настройте реестр схем (необязательно)

Для потоков Avro требуется корректная схема. См. раздел Schema registries для получения дополнительной информации о настройке реестра схем.

Настройте reverse private endpoint (необязательно)

Настройте Reverse Private Endpoint, чтобы разрешить ClickPipes подключаться к вашему кластеру Kafka с использованием AWS PrivateLink. Дополнительную информацию см. в нашей документации по AWS PrivateLink.

Выберите топик

Выберите ваш топик, и в интерфейсе будет отображён пример сообщения из этого топика.

Настройте целевую таблицу

На следующем шаге вы можете выбрать, хотите ли вы настроить приём данных в новую таблицу ClickHouse или использовать существующую. Следуйте инструкциям на экране, чтобы изменить имя таблицы, схему и параметры. В верхней части экрана вы можете в реальном времени видеть предварительный просмотр изменений в образце таблицы.

Вы также можете настроить расширенные параметры с помощью доступных элементов управления.

Настройте права доступа

ClickPipes создаст выделенного пользователя для записи данных в целевую таблицу. Вы можете выбрать роль для этого внутреннего пользователя, используя пользовательскую роль или одну из предопределённых ролей:

• Full access: с полным доступом к кластеру. Это может быть полезно, если вы используете Materialized View или словарь вместе с целевой таблицей.
• Only destination table: только с правами INSERT на целевую таблицу.

Завершите настройку

Нажатие кнопки «Create ClickPipe» создаст и запустит ваш ClickPipe. После этого он будет отображаться в разделе Data Sources.