行数 | V3.2上线，对数据采集、数据加工能力进行了升级
发表时间：2024-03-15 00:00:00
数联行数V3.2（以下简称行数V3.2）版本上线啦，本次更新对数据采集、数据加工能力进行了升级，并对多个板块进行了优化迭代，保证了平台的可用性、易用性，让行数V3.2覆盖更多的项目交付。
更新速递：1、数据管理2、数据规划3、数据采集4、数据加工
数联行数DI是数之联推出的全链路数据治理服务平台，该平台专为IT与数据管理人员设计，提供智能、敏捷的数据全生命周期管理，是大数据管理及使用的基础。平台涵盖数据管理、数据规划、数据采集、数据加工、元数据管理、数据标准管理等功能模块，帮助各行各业实现大数据开发、加工、共享服务与治理。
01 数据管理
将数据连接、接口、消息队列、FTP菜单统一放在数据源管理菜单进行统一管理，提升了用户操作体验；
消息队列可对多topic字段进行管理，覆盖多topic消息队列的接入和应用；
接口管理可进行转代理服务，支持代理地址加密、代理服务开启/关闭、代理服务记录功能，提升外部接口的接入能力；
文件管理功能在上传文件时可查看文件上传进度和上传状态，让文件上传进度全掌控，提升操作体验。
02 数据规划
自定义数仓构建：支持MySQL、Doris、HIVE数据连接构建为数仓能力，支持三种类型数仓的分层划域和建模建表，覆盖多种数仓构建场景。
03 数据采集
多策略的数据采集：适配Doris数据连接，支持JDBC数据库采集。在原有“数据连接”目标端基础上，新增“内部数仓”和“消息队列”类型，满足多样化数据采集需求。同时，增加采集方式，如全量或增量采集；增加入库方式，可选择插入、更新插入或删除插入。此外，新增采集作业运行策略设置，支持运行模式、并行度、checkpoint、日志级别和taskmanager等参数设置。
接口采集新增手动建表选项。此功能能够根据接口信息，自动捕获并创建对应目标表的数据结构，从而适配PG、MySQL和Oracle等多种数据库。这一改进将极大提升数据采集的效率和准确性。
新增本地结构化文件的解析采集，包括文件的上传、解析、入库，支持对相同数据结构文件的复用上传；
04 数据加工
数据加工能力提升：处理算子新增3个数据加工算子组件，即“类型转换”、“四则运算”、“时间窗口”。
此外，还有这些细节的迭代：
- 调度平台批量便捷操作，支持批量启动、批量停止、批量上下线等功能。
- 数据安全策略管控，新增“安全中心”功能，对数据进行自上而下的授权管控，让数据管理更加安全有序。
- 系统标识元素可替换，满足不同项目的定制化需要，降低定开成本。
- 菜单页面多页签切换，用户可切换页签页面，避免重新加载，提升用户操作体验。
