随着时代的到来,ClickHouse作为一种高性能的列式数据库,广泛应用于实时数据分析场景。小编将详细介绍如何在三台机器上部署ClickHouse集群,实现数据的高效存储与查询。
ClickHouse集群主要用于分布式表和表的副本,通过在多台服务器上部署ClickHouse节点,实现数据的分布式存储和计算。其底层依赖于zookeeer来实现集群副本之间的同步,确保数据的一致性和高可用性。
部署3台单节点ClickHouse,不启动。
参照上述步骤,将ClickHouse安装包(如clickhouse-common-static-dg-21.7.3.14-2.x86_64.rm、clickhouse-server-21.7.3.14-2.noarch.rm)分别上传至三台服务器。
Zookeeer在ClickHouse中主要用在副本表数据的同步(RelicatedMergeTree引擎)。以下是部署步骤:
1.下载zookeeer安装包(如zookeeer-3.5.7.tar.gz)。
2.解压下载的压缩包:tar-zxfzookeeer-3.5.7.tar.gz。
3.配置文件设置:进入配置目录,修改配置文件,每个节点都需要配置。目前,ClickHouse集群拥有60台32核128G内存的机器,使用RelicatedMergeTree引擎,每个shard有两个relica。还有100台32核128G内存的机器用于resto集群。
从上图可以看到,ClickHouse集群在处理count()操作时表现出色,实现了高效的查询性能。
在三台服务器上部署elasticsearch集群,具体步骤如下:
1.从Elastic官网下载Elasticsearch的二进制包。
2.解压下载的压缩包:tar-zxfelasticsearch-8.12.2-linux-aarch64.tar.gz。
3.集群节点解压下载的.tar.gz文件:tar-zxfelasticsearch-8.12.2-linux-aarch64.tar.gz。要搭建Hadoo集群,Java环境是必不可少的,而且集群的每台机器必须具有。以下是Java安装及环境配置步骤:
1.下载JDK8安装包。
2.解压安装包:tar-zxfjdk-8u241-linux-x64.tar.gz。
3.设置环境变量:exortJAVA_HOME=/usr/local/jdk1.8.0_241、exortATH=$JAVA_HOME/in:$ATH。当使用ClickHouse服务端I直接链接时,可能会出现Client异常。解决方法如下:
1.检查服务端I是否正确。
2.检查防火墙设置,确保端口未被拦截。
3.检查客户端与服务端之间的网络连接。通过以上步骤,您可以在三台机器上成功部署ClickHouse集群,实现高效的数据存储和查询。