CDK 是这些抽象的框架

Unlock business potential through effective first dataset management solutions.
Post Reply
asimj1
Posts: 113
Joined: Tue Jan 07, 2025 4:45 am

CDK 是这些抽象的框架

Post by asimj1 »

然后,您可以构建新的抽象层,帮助快速处理连接器系列。例如,源具有特定的接口,而目标具有不同类型的接口。

然后,对于源,您有不同类型,例如基于 HTTP-API 的连接器和数据库。HTTP 连接器可能分为 REST、GraphQL 和 SOAP,而数据库可能分为关系数据库、NoSQL 和图形数据库。目的地可能分为仓库、数据湖和 API(用于反向 ELT)。


现有的内容
我们公司的 CDK 仍处于早期阶段。目前,该框架具有以下功能:

用于编写源连接器的 Python 框架
快速开发 HTTP API 连接器的通用实现
用于测试是否符合 Airbyte 协议和快乐代码路径的测试套件
用于引导开发和打包连接器的代码生成器
最后,CDK 可以在两小时内构 开曼群岛电话号码数据 建出强大、功能齐全的连接器,而之前则需要两天时间。

我们的团队一直在内部使用该框架来开发连接器,这是我们开发 70 多个连接器的经验的结晶(我们的目标是在用户社区的帮助下,到今年年底开发出 200 个连接器!)。我们从自身经验以及用户社区中学到的一切都会用于改进 CDK。

结论——未来前景
如果能将构建新连接器所需的时间缩短至 10 分钟,并扩展到更多可能的集成系列,那岂不是很棒?这可真是个登月计划!

如果我们能够和用户社区一起做到这一点,那么集成的长尾问题将很快得到解决——更不用说数据集成管道将通过开源实现商品化。
Post Reply