阿里云国际站经销商,主营阿里云,腾讯云,华为云,亚马逊aws,谷歌云gcp,微软云az,免费开户,代充值优惠大,联系客服飞机@jkkddd
通过Logstash将RDS MySQL数据同步至Elasticsearch
背景信息阿里云Logstash是一款强大的数据收集和处理工具,提供了数据采集、转换、优化和输出的能力。通过Logstash的logstash-input-jdbc插件(默认已安装,不可卸载),可批量查询RDS MySQL中的数据并同步到Elasticsearch中。同时,logstash-input-jdbc插件会定期对RDS中的数据进行轮询查询,并将自上次轮询以来插入或更改的记录同步到Elasticsearch。更多详细信息,请参见官方文档中的如何使用Logstash和JDBC确保Elasticsearch与关系型数据库保持同步。本方案适用于同步全量数据且接受秒级延迟的场景或批量查询特定条件的数据然后进行同步的场景。
操作步骤
步骤一:环境准备
在云阿里Elasticsearch实例中开启自动创建索引功能。具体操作,请参见快速访问与配置。
在Logstash实例中上传与RDS MySQL版本兼容的SQL JDBC驱动(本文使用mysql-connector-java-5.1.48.jar)。具体操作,请参见配置扩展文件。
准备测试数据,并在RDS MySQL的白名单中加入阿里云Logstash节点的IP地址(可在基本信息页面获取)。本文使用的建表语句如下。
步骤二:配置Logstash管道
进入阿里云Elasticsearch控制台的Logstash页面。
进入目标实例。
在顶部菜单栏处,选择地域。
在Logstash实例中单击目标实例ID。
在左侧导航栏,单击管道管理。
单击创建管道。
在创建管道任务页面,输入管道ID,并进行Config配置。
本文使用的Config配置如下。
单击保存或者保存并部署。
保存:将管道信息保存在Logstash里并触发实例变更,配置不会生效。保存后,系统会返回管道管理页面。可在管道列表区域,单击操作列下的立即部署,触发实例重启,使配置生效。
保存并部署:保存并且部署后,会触发实例重启,使配置生效。
步骤三:验证结果
登录目标阿里云Elasticsearch实例的Kibana控制台,根据页面提示进入Kibana主页。
登录Kibana控制台的具体操作,请参见登录Kibana控制台。
单击右上角的Dev tools。
在Console中,执行如下命令,查看同步成功的索引数量。
更新MySQL表数据并插入表数据。
在Kibana控制台,查看更新后的数据。
查询name为Chocolates的数据。
温馨提示:尊敬的[]站点管理员,将本页链接加入您的网站友情链接,下次可以快速来到这里更新您的站点信息哦!每天更新您的[阿里云国际账号购买,24h小时自助充值]站点信息,可以排到首页最前端的位置,让更多人看到您站点的信息哦。
将下面的代码插入您网页中,让网友帮您更新网站每日SEO综合情况
-
一级建造师:各专业通过率是多少?报考怎么选?题王网tiw.cn -
相信很多朋友都是了解的,关于 一级建造师考试 的合格率,并没有官方的数据进行公布,但是,根据每一年一级建造师的考试通过人数和报考人数等相关的数据,还是可以大概了解到
-
《勇敢的心2》极恐:丰爷原型上海滩冯敬尧,寇世勋比丰爷还多情 -
《 勇敢的心2 》剧中为什么那么多人怕丰爷和欧阳正德,因为他俩原型是上海滩三大亨杜月笙和张啸林,丰爷的丰字应该取字“笙”字,杜月笙有个女儿叫杜美如,这个女儿和杜月笙的
-
“文芳阁带你实现精准营销!” -
星星兔 【科学技术在线】 在微信宣传中,公众号是重要的推广方法之一。 以下是文芳阁商城推荐的长沙市微信公众账户推广资源。 1、鹿小规则 个人资料/评论: 便民服务桥是长沙大学
-
银行开门红研修班心得 -
基隆道路救援 银行开门红研修班心得道:亲白研修班亲白研修班亲白乡、亲白关系的学习考察,对于个人的帮助、对新的提升和增强,更是对专家的帮助与嘉宾取得的体会。 花小学为期3
-
“中国移动:探索5G共建共享 今年快速发展7000万5G资费客户” -
ge腹部彩超 【科技在线】 科技信息3月26日晚,工业和信息化部发布《关于推进5g快速发展的通知》,称中国移动将认真落实工业和信息化部的要求,克服疫情影响,推进5g+计划落地实施
-
影响充气滑梯城堡价格因素你需知道 -
目前,投资游玩行业项目的老板越来越多,但是在投资前的调查和分析上都是越来越严格,为的就是了解的更加透彻要点,才能够在投资规划的设计上会越来越全方位的。因此,在 充气