虽然elasticsearch是分布式系统，但挡不住误操作啊！一不小心把数据写坏了、删错了，分布式系统也没辙。为了不让多年努力毁于一旦，必须花时间做个备份。手中有备份，自然可以随便造。 hdfs plugin data dump backup to hdfs 配置repo hadoop name node ...

使用docker in docker在容器内构建docker镜像。主要是为了集成到gitlab ci里。 dind --privileged 好处 弊端 dood: expose docker socket to container docker:latest dind/dood的示例 ...

辣鸡canal，文档写的一坨翔。碰到问题只能看代码去发现些端倪。 基本概念 配置 关于zookeeper 容器化 启动canal-admin 创建cluster 创建instance 启动cluster canal-server optional：启动单机canal-server 关于...

懒才是第一生产力：能把重复事情自动化的勤奋的懒人才是第一生产力！ CI/CD runner .gitlab-ci.yml pipeline stages job 执行条件 不同类型的pipeline basic pipelin...

一切始于一个奇怪的现象：elasticsearch以epoch_millis存储时间戳的时候，竟然可以接受string（字面值为long）存储，且使用起来和long毫无区别： GET <index>/_search { "query": { "range": { "timestamp": { "lte": "2", "for...

spring data是一个对开发者非常友好的工程，旨在帮开发者解脱数据访问相关的繁杂工作。至少从我的使用经验来说，简单的增删改查简直就是利器！太复杂的话可能没那么好使了（或者我太菜了，不会使用。但我会慢慢学的，等会了我再来把这句话删掉）。 2023.12.18：学完了，确实是我之前太菜了:D Spring Data spring data object...

打一个docker镜像。 Dockerfile WORKDIR ENV ARG EXPOSE ADD vs. COPY RUN ENTRYPOINT & CMD [exec form] /bin/sh -c exec form vs. shell for...

docker是真正划时代的技术。 服务部署演进 使用linux内核？ docker为什么都要装个linux os？ windows的docker怎么使用linux内核？ docker用的是不同的linux distribution，为什么都能在同一个host kernel上跑起来？ 优点 基本概念...

本来以为聚合没啥的，就没细看。结果最近用到了，一细看，炸了……分布式聚合和非分布式的比，真的是难了好几个数量级…… multiple aggregation vs. sub-aggregation bucket aggs - 数据分桶 terms agg 分布式聚合 排序 runtim...

最近对Elasticsearch的pipeline研究的比较多一些，主要是做一些数据类任务：如果只是进行离线处理的话，需要先查es，再处理数据，最后写回es。除了有查询的开销之外，最大的问题就是无法做到在数据一开始写入es时进行实时处理。而ingest pipeline则解决了这个问题，在数据ingest的时候，就对其进行处理。不仅能实时处理数据，还把处理数据的开销分摊到了每一次数据写入上。...