zezepath
本站致力于IT相关技术的分享
开始阅读
构建处理 SciPy 稀疏向量并应对 Pinecone BASE 特性的生产级索引工具 构建处理 SciPy 稀疏向量并应对 Pinecone BASE 特性的生产级索引工具
问题的起点非常明确：我们需要为一个包含数百万文档的语料库构建语义相似性检索功能。每个文档通过一个高维稀疏向量表示，维度高达50万，由TF-IDF模型生成。在这样的维度下，一个常规的 NumPy 稠密矩阵是完全不可行的——仅100万个文档就需
2023-11-20 数据工程
SciPy Pinecone BASE 构建与工具
利用 Debezium CDC 将 SQL Server 数据变更实时同步至 NestJS 与 Zustand 前端 利用 Debezium CDC 将 SQL Server 数据变更实时同步至 NestJS 与 Zustand 前端
接手一个项目，核心系统是跑在 SQL Server 上的老旧ERP。新的需求是在一个Web仪表盘上实时展示库存变更。最直接的想法是轮询，但每秒一次的轮询对数据库和网络都是巨大的浪费，而且无法真正做到“实时”。更麻烦的是，ERP是供应商的黑盒
2023-10-27 数据工程
Kafka SQL Server NestJS Zustand GitLab CI/CD Debezium WebSockets
构建从 Apache Flink 到 Valtio 的端到端类型安全实时状态同步核心库 构建从 Apache Flink 到 Valtio 的端到端类型安全实时状态同步核心库
要将 Apache Flink 作业中经过复杂计算得出的状态，实时、可靠且类型安全地同步到一个远在浏览器中的 React 前端，这是一个典型的现代数据应用难题。问题核心在于，后端是基于 JVM 的、面向状态与流的世界，而前端是基于 Type
2023-10-27 分布式架构
Apache Flink AWS 核心库 Valtio
构建基于 Dgraph 与 SciPy 的分布式图分析服务并集成 OpenTelemetry 全链路追踪 构建基于 Dgraph 与 SciPy 的分布式图分析服务并集成 OpenTelemetry 全链路追踪
一个棘手的技术挑战摆在了面前：我们需要在一个复杂的金融交易网络中实时识别可疑的聚集性交易行为。传统的数据库模型，无论是关系型还是文档型，在处理深度、多跳的关联查询时都显得力不从心，性能会随着查询深度的增加呈指数级下降。这几乎是图数据库的专属
2023-10-27 分布式系统
OpenTelemetry Dgraph SciPy Go-Gin 可观测性 图数据库
构建企业级SQL静态分析与可搜索知识库的技术实践 构建企业级SQL静态分析与可搜索知识库的技术实践
团队规模扩大后，数据库成了最频繁的瓶颈。每周的线上告警复盘，十有八九最终都指向了某条失控的SQL。手动Code Review能发现明显的逻辑错误，但对于“未使用索引”、“隐式类型转换”或“大表全连接”这类性能杀手，往往心有余而力不足。更棘手
2023-10-27 平台工程
SQL 代码规范 PostCSS 搜索
通过Terraform与Vault为Java应用实现MongoDB动态密钥的自动化管理 通过Terraform与Vault为Java应用实现MongoDB动态密钥的自动化管理
在生产环境中，静态、长生命周期的数据库凭证是引发安全事件的常见源头。一旦泄露，其影响范围广，追溯困难，且轮换流程复杂，常常涉及多个服务的重启和协调。一个更为稳健的架构，应当让凭证本身变得短暂且动态，从根本上压缩攻击窗口。本文将探讨一种替代方
2023-10-27 DevSecOps
Java Terraform 密钥管理 NoSQL Vault MongoDB
1 / 5