阿里云国际站经销商,主营阿里云,腾讯云,华为云,亚马逊aws,谷歌云gcp,微软云az,免费开户,代充值优惠大,联系客服飞机@jkkddd
SAE日志导入Kafka最佳实践
在Serverless应用引擎SAE(Serverless App Engine)产生的日志导入到消息队列Kafka版之后,您可以将Kafka中的日志统一写入阿里云Elasticsearch,便于后续的统一查看和处理。本文介绍通过SAE日志导入到Kafka,再从Kafka将数据写入Elasticsearch的最佳实践。前提条件
购买Kafka实例,并创建Topic和Group供SAE应用使用。具体信息,请参见创建Kafka资源。
创建或部署SAE应用时,开通日志收集到Kafka日志服务功能。具体信息,请参见设置日志收集至Kafka。
确认是否成功采集消息到Kafka。具体信息,请参见查询消息。
创建阿里云Elasticsearch实例。具体信息,请参见创建阿里云Elasticsearch实例。
创建阿里云Logstash实例。具体信息,请参见创建阿里云Logstash实例。
步骤一:创建Group
本步骤介绍如何创建阿里云Elasticsearch所属的Group。
登录消息队列Kafka版控制台。
在概览页面的资源分布区域,选择地域。
在实例列表页面,单击目标实例名称。
在左侧导航栏,单击Group 管理。
在Group 管理页面,单击创建 Group。
在创建 Group面板的Group ID文本框输入Group的名称,在描述文本框简要描述Group,并给Group添加标签,单击确定。
创建完成后,在Group 管理页面的列表中显示已创建的Group。
步骤二:创建索引
本步骤介绍如何通过阿里云Elasticsearch创建索引,接收消息队列Kafka版的数据。
登录阿里云Elasticsearch控制台。
在左侧导航栏,单击Elasticsearch实例。
进入目标实例。
在顶部菜单栏处,选择资源组和地域。
在Elasticsearch实例中单击目标实例ID。
在左侧导航栏,选择配置与管理 > 可视化控制。
在Kibana区域中,单击私网入口或公网入口。
私网入口:开启Kibana私网访问后(默认未开启),才会显示。具体操作,请参见配置Kibana公网或私网访问白名单。
在Kibana登录页面,输入用户名和密码,单击Log in。
参数说明如下。
用户名:默认为elastic。您也可以创建自定义用户,具体操作请参见通过Elasticsearch X-Pack角色管理实现用户权限管控。
密码:对应用户的密码。elastic用户的密码在创建实例时设定,如果忘记可重置。重置密码的注意事项和操作步骤,请参见重置实例访问密码。
在Kibana控制台的左侧导航栏,选择Management > Dev Tools。
执行以下命令,创建索引。
步骤三:创建管道
本步骤介绍如何通过阿里云Logstash创建管道。成功部署管道后,数据将持续地从消息队列Kafka版导入到阿里云Elasticsearch。
登录阿里云Elasticsearch控制台。
进入目标实例。
在顶部菜单栏处,选择地域。
在Logstash实例中单击目标实例ID。
在左侧导航栏,单击管道管理。
在管道列表页面,单击创建管道。
在创建管道任务配置向导页面,配置相关参数。
在Config配置页签,配置相关参数并单击下一步。
本文的参数配置以Kafka数据导入Elasticsearch为例。参数的更多信息,请参见通过配置文件管理管道。
管道ID:自定义。
在管道参数配置页签,配置相关参数,单击保存并部署。
本示例以默认配置为准,您可以按需修改。
在提示对话框,单击确认。
步骤四:搜索数据
您可以在Kibana控制台搜索通过管道导入阿里云Elasticsearch的数据,确认数据是否导入成功。
登录阿里云Elasticsearch控制台。
进入目标实例。
在顶部菜单栏处,选择资源组和地域。
在Elasticsearch实例中单击目标实例ID。
在左侧导航栏,选择配置与管理 > 可视化控制。
在Kibana控制台的左侧导航栏,选择Management > Dev Tools。
登录Kibana控制台的具体步骤,请参见创建索引步骤5~7。
执行以下命令,搜索数据