AI时代，数据血缘的价值会更加凸显。 数据血缘正在从“数据治理的辅助工具”升级为“AI时代的核心基础设施”
引言 数据驱动决策一直在各行各业中至关重要，业务分析师常常面临繁重的数据查询任务。通过自然语言生成结构化查询语言（SQL）的技术，即NL2SQL，业务分析师不再需要掌握复杂的编程技能，便能够轻松访问和处理数据。这篇文章将探讨如何利用NL2SQL技术来自动化处理常见的数据查询任务。 想象一个典型的场景：一位业务分析师需要提供上个月销售额最高的前10个商品。如果用传统方法，首先分析师需要知道销售额相关的基础数据表是哪些，接着得确认销售额的具体口径定义，最后需要按照一定方式编写复杂的SQL查询得到结果。这不仅需要对SQL语言有深刻的理解，还要对指标的定义、业务数据来源非常熟悉。 如果将NL2SQL技术和日常数据分析结合。可以帮助业务分析师显著减少完成数据分析所需的时间，同时还可以借助NL2SQL纠正发现语法问题减少人为错误，甚至即使没有技术背景的用户也能通过自然语言简单地进行复杂的数据查询，提高运营自助分析查询的效率。 技术背景与发展历程 ▐ 2.1 问题定义 什么是NL2SQL NL2SQL是"Natural Language to SQL"的缩写，指的是将自然语言查询转化为SQL查询语句的技术。它主要用于将用户以自然语言提出的问题自动转换成能够被数据库系统理解并执行的SQL查询，从而实现从数据库中检索相关信息的目的。 问题拆解 语义理解 自然语言通常具有很高的复杂性和多义性。语义理解要求系统能够准确地捕捉用户查询的意图，并处理自然语言中的模糊和歧义。这包括理解自然语言中的上下文、处理指代、识别关键实体和关系，以及解析复杂的句子结构。 Schema映射 Schema映射涉及将自然语言查询映射到数据库模式中的具体表和列。数据库的模式通常非常结构化，而自然语言查询可能没那么直接地指明这些结构。例如，一个查询可能使用同义词或间接提及而不是明示的列名或表名。系统需要具备将自然语言中提到的概念正确映射到数据库结构上的能力。 SQL生成 SQL生成是将处理过的自然语言意图和映射到数据库元素的信息转换为合法的SQL查询的过程。生成的SQL不仅需要语法正确，而且在语义上准确地代表原始的用户需求。挑战在于生成的SQL需要处理不同的查询形式和复杂度，包括聚合、嵌套查询、连接等功能。此外，生成的SQL必须满足高性能、合规性和安全性问题。 核心挑战 语法正确 数据库架构本身的复杂性和庞大体量的数据对NL2SQL构成了明显的挑战，比如数据库语法的多元性、表之间的关系复杂性、列名的相似性、以及大数据量的不完整性。 语义正确 自然语言可能因歧义和不明确性而含有不确定性，例如词义歧义、句法歧义、信息不足和用户错误。与此同时，当实际应用到业务场景时，不同团队对同一术语的定义也可能不同。比如“成交”可能意味着产生订单，也可能意味着必须支付。 效果稳定 NL2SQL与编程语言不同，因为输入的NL和输出的SQL查询之间通常存在一对多的映射。即使是完全一样的问题，也可能输出各种不同的SQL结果。 ▐ 2.2 发展历史 基于规则的方法 早期研究主要集中在使用预定义规则或语义解析器来理解自然语言查询并将其转换为SQL查询。 基于神经网络的方法 为了解决基于规则的方法的局限性，研究者开始利用神经网络来解决NL2SQL，例如使用序列到序列模型或图神经网络。 基于预训练语言模型的方法 随着BERT和T5等预训练语言模型的出现，基于PLM的NL2SQL方法在多个基准数据集上取得了显著的性能提升。 大型语言模型时代 随着LLMs的出现，NL2SQL技术取得了显著进展，LLMs具有卓越的语言理解和新出现的能力，例如使用提示来执行NL2SQL任务。 关键技术挑战与解决方案 ▐ 3.1 Schema Linking（模式链接） Schema Linking旨在理解自然语言查询与数据库模式（schema）之间的语义关系，以帮助生成准确的SQL查询。 自然语言问题 → 表选择器 → 相关表集合 → 列选择器 → 最终SQL 检索模块 用户提问—>含有小样本的命名实体识别prompt+LLM—>得到关键词和实体—>根据关键词的语义相似性匹配top k列 | 基于局部敏感哈希 (LSH) 和语义相似性的两阶段检索策略检索值—>得到最终列和值 表选择器 表选择器的作用是识别哪些表与查询最相关，并需要在SQL查询中用到。 表选择器通常通过以下几步实现： 自然语言理解：分析用户的查询，提取关键实体和操作动词。 Schema 分析：了解数据库模式中有哪些表、字段以及它们之间的关系。 语义匹配：将用户查询的关键部分与数据库的表和字段进行匹配，以识别相关的表。 表优先级排序：根据相关性对表进行排序，优先选择最相关的表参与SQL构建。 列选择器 含有小样本的prompt+LLM—>仅选择与用户提问最相关的最少列。 ▐ 3.2 复杂查询理解 Chain-of-thought（CoT） 思维链（CoT）与大型语言模型（LLM）相结合，能在复杂的推理任务上取得了不错的结果。 Divide and Conquer CoT（分而治之CoT）：让模型把查询任务拆解成更细粒度的任务，然后用SQL伪代码写出对这些子任务的查询，最终将结果合成一个完整的SQL。直接写SQL效果不好是因为模型可能没有见过这样的数据分布，但是它肯定见过简单任务的数据分布，在SQL子语句都写出来了的前提下，SQL的组合就显得没那么复杂了。 Query Plan CoT（查询/执行计划CoT）：让模型先把SQL的执行计划描述出来，再通过执行计划来生成SQL。这么做可以让模型换个角度思考问题，将数据分布切换到了另外一个领域，能让模型更多地关注具体要用的表、列，能补足“分而治之”方法对细节把控不足的缺点。 ▐ 3.3 提示词工程 在利用LLM完成NL2SQL任务时，提示工程的关键在于将自然语言问题与必要的数据库信息转化为适用于LLM的自然语言序列输入，即问题表示。同时，当允许输入一些样例以利用LLM的in-context learning能力时，还需要考虑如何选择样例以及如何将这些样例有机地组织到输入序列中。 基本提示 基本提示（Basic Prompt）是一种简单的Prompt模板，它由表模式、以 Q: 为前缀的自然语言问题、以及提示LLM生成SQL的响应前缀 A:SELECT 组成。之所以命名为基本提示，是因为它并未包含任何指令内容。 文本表示提示 文本表示法提示（Text Representation Prompt）相比于基本提示，在提示的开头添加了指导LLM的指令。 OpenAI范式提示 OpenAI示范提示（OpenAI Demostration Prompt）首次在OpenAI的官方NL2SQL演示中使用，它由指令、表模式和问题组成，其中所有信息都用“#”进行注释。与文本表示提示相比，OpenAI示范提示中的指令更具体，而且还有一条规则约束，“仅完成sqlite SQL查询，无需解释”。 代码表示提示 代码表示提示（Code Representation Prompt）是一种基于SQL语法实现NL2SQL任务的方式。具体来说，它直接将表创建语句“CREATE TABLE …”放到Prompt中。相较于其他的问题表示方法，代码表示提示的独特之处在于，它能够提供创建数据库所需的全面信息，例如列名、列类型、主键/外键等。 通用方案总结 综合考虑上述Prompt策略，可以总结出一套通用且有效的NL2SQL Prompt策略。这一策略由六个关键要素构成，每个要素在提升模型生成SQL的准确性和效率中发挥着重要作用。以下是各个要素的详细说明： 指令（Instruction）：为模型提供清晰而具体的指导方针。例如，"你是一个SQL生成专家。请参考如下的表格结构，直接输出SQL语句，不要提供多余的解释。" 数据结构（Table Schema）：类似于语言翻译中的“词汇表”，这是你需要嵌入到Prompt中的数据库表结构。由于大模型无法直接访问数据库，你需手动提供包括表名、列名、列的类型、列的意义，以及主键和外键信息。 参考样例（Sample）：这是一种启发模型生成SQL的可选技巧。你可以提供一个类似任务的SQL样例作为参考，以帮助模型更好地理解应该如何构建查询。 其他提示（Tips）/约束条件（Constraint）：这些是你认为必要的额外指示。例如，要求生成的SQL中不允许出现某些表达式，或者要求列名必须采用“table.column”的形式。 领域知识（Knowledge）：在某些特定问题中，这是一个可选要素。例如，如果用户的问题涉及“谁是这个月最厉害的销售”，你需要告诉模型，“最厉害”是指“销售单量最多”还是“销售金额最多”。 用户问题（Question）：这是以自然语言形式表达的查询需求，如“统计上个月的平均订单额”。这一部分用于明确用户的意图和需求，以便模型生成正确的SQL语句。 ▐ 3.4 多轮对话 SQL 候选生成和优选 候选生成（Candidate Selection）是为了从候选SQLs中选出最好、最正确的一个，常见方法包括： self-consistency。以N个候选SQL中最常见的（非空）答案为准 selection agent。用模型来挑选最好的SQL，可以用提示词或fine-tuning等技术 基于Unit test。参照AI coding，生成Unit Tests，用来评估每个candidate SQL的得分 SQL 语法微调 采用SFT方法，通过微调小参数量模型来生成可控的SQL查询。然而，参数限制使得复杂的推理和领域的迁移变得困难。此时可以聚焦于生成高精度、多样化的SQL候选语句。 基础语法训练：这一阶段专注于使用简单且通用的SQL模式和语法对预训练模型进行微调，不涉及具体SQL方言。其目标是开发一个能够激活SQL生成能力的基础模型。 生成增强训练：在基础训练后，通过多任务和句法偏好数据增强模型能力。除了标准的查询生成，还可以额外设计SQL转换任务以深化SQL与问题间的关系。这包括从SQL推断问题、从SQL选择证据及其优化任务。这些任务加强了SQL与上下文信息的关联性，提高了SQL生成的广泛性和多样性。通过不同风格的句法特征，扩展训练样本，使模型从多样化数据中学习，从而生成更丰富的SQL查询。 SQL 查询优化 生成的候选SQL查询不可避免地包含逻辑或语法错误。通过利用这些SQL查询缺陷中的线索，进行一定程度的修正。为此，可以引入一个SQL优化器来优化生成的SQL。在实际应用中，基于与架构相关的上下文、生成的SQL查询以及执行结果（包括潜在的错误信息），可以使模型能够进行第二轮的修正。原始SQL和重新生成的SQL还可以进一步通过选择模型进行最优选择，这一过程可以迭代执行。 ▐ 3.5 检索增强生成（RAG） 简单来讲，RAG技术就是通过检索获取相关的知识并将其融入Prompt，让大模型能够参考相应的知识从而给出合理回答。因此，可以将RAG的核心理解为“检索+生成”。而在上文的「提示词工程」章节我们可以看到，为了提高NL2SQL生成的SQL质量，需要在提示词中加入业务领域知识、表知识（Scheme）和列知识（Indicator），甚至是一些样例（Examples）问题便于query改写。而这往往又会造成提示词过多造成的上下文token不够的问题。因此，如果能将这些知识都转换成即时查询的方式，可以有效解决上下文token过大的问题。 在NL2SQL场景中，以下关键步骤可以借助RAG提高效率： 领域知识查询： RAG可以利用预训练模型和检索技术相结合，帮助理解用户的查询所涉及的领域或上下文。通过从相关文档或数据库检索信息，RAG可以为生成更精确的SQL语句提供背景知识。 具体应用包括根据领域特定的术语或概念检索相关信息，从而帮助系统更好地理解和处理复杂或专业的查询。 表查询： 在生成SQL查询时，正确选择和理解数据库中的表是至关重要的。 RAG可以通过检索数据库的元数据或相关文档，帮助识别合适的表及其结构。 指标查询： 对于用户查询中涉及的各种指标，例如计算平均值、总和、最大值等，RAG可以帮助检索相关的计算逻辑或历史数据。 RAG能够从过去的查询实例或相关文档中提取信息，帮助提高生成查询的准确性和效率，尤其是在复杂计算的场景中。 ▐ 3.6 NL2Semantic2SQL 除了从数据库和SQL层面思考如何提高NL2SQL的准确性，还可以从增加语义理解层来思考解决方案。因为如何将用户模糊、多变的业务意图如何精准、高效地映射到企业复杂的数据资产中？这一问题本身就是数据工程问题，而非单纯的 AI 问题。 可以通过如果额外引入一层语义层来更好的解决NL2SQL问题。语义层需要有以下特征： 统一的业务语义抽象层，作为Agent和开发人员共同理解的“数据语言”； 强大的元数据管理能力，确保指标定义的唯一性、透明性和可追溯性； NL2Semantic2SQL 技术路线通过引入语义层作为中间抽象，大幅提升了系统的灵活性和可解释性。指标平台采用"度量"和"维度"两大基础要素，并运用"基础度量"、"业务限定"、"时间限定"和"衍生方式"四大要素，灵活定义和组合具有明确业务含义的指标，打造了一个统一的语义模型。自然语言查询首先被转换为语义表示，然后由系统基于语义模型生成最优SQL查询。 这种语义与表结构的解耦设计，使系统能够理解指标的业务意义，而不仅仅是表结构，确保在不同场景下，同一指标的口径保持一致性。随着业务规则的变化，只需调整语义定义，无需修改所有相关表或查询，显著提高了系统的适应性。 语义层的引入是 NL2Semantic2SQL 相对于传统NL2SQL的核心优势。它不仅提升了查询的准确性，还增强了系统的可解释性，赋予业务人员更强的自助能力。通过构建统一的业务语义模型，指标平台有效地跨越了技术与业务之间的鸿沟，使业务人员可以直接理解和使用数据，而无需深刻掌握SQL语法。 ▐ 3.7 半结构化的数据库表达 scheme LLM专属注释 正如上文所说，在使用基于LLM的NL2SQL技术时，为了使模型能够准确理解数据表的含义和列名的表示，建议为常用的数据表及其列添加注释。 表注释有助于模型更好地理解表的基本信息，从而在生成SQL语句时准确定位相关表。注释应简单明了，概括表的核心内容，如订单、库存等，并建议控制在10字以内，以避免过多解释。 列注释通常由常用名词或短语构成，例如订单编号、日期、店铺名称等，以准确表达列名的意义。此外，可以在列注释中包含列的示例数据或映射关系。例如，对于列名“isValid”，注释可以写成“是否有效。0：否。1：是。”以清楚地表示该列的含义和数值对应关系。 但是传统的数据库表注释和列注释可能已有一定的含义和上下游对接规范，所以目前有些数据库可支持scheme维度LLM专属的注释，用于提供NL2SQL时获取表和列的提供便利。比如阿里的PolarDB，开源的M-Schema项目。 来源（公众号）：大淘宝技术
2025上半年，DeepSeek大模型以“免费开放+开源生态”迅速占领技术圈，其强大的自然语言理解、代码生成、数据推理能力，正在重塑企业数据仓库的运作逻辑。
来源（公众号）：大数据AI智能圈 周一早上，销售总监急匆匆跑到你办公室："我们需要分析一下华东区域的客户画像，制定下季度的营销策略。" 你打开CRM系统，发现客户信息不全。打开ERP系统，发现交易数据格式乱七八糟。再打开财务系统，发现同一个客户竟然有三个不同的编号。 这就是数据孤岛的真实写照。每个系统都在自己的小王国里称王称霸，互不往来。你想要的那个"完整的客户画像"，就像拼图游戏一样，碎片散落在各个角落。 数据孤岛的隐性成本，远比你想象的高 让我给你算一笔账。 某制造企业的采购经理小王，每次采购都要花2小时核对供应商信息。同样的供应商，在不同系统里有不同的编码、不同的名称、不同的联系方式。 小王说："我感觉自己不是在采购，而是在做侦探工作。" 这还不是最糟糕的。更要命的是，错误的数据会导致错误的决策。 去年，一家零售企业的市场部门，基于不准确的客户数据，投入了500万做精准营销。结果呢？转化率只有预期的30%。后来才发现，他们的客户数据有40%是重复的，30%是过期的。 你看，数据质量差不仅仅是技术问题，它直接影响的是你的钱包。 更可怕的是，在数字化转型的今天，数据已经成为企业的核心资产。 如果你的数据还在"各自为政"，那你的竞争力就会被严重削弱。 AI重新定义主数据管理的游戏规则 传统的主数据管理，就像是让一群人工编辑去整理图书馆。 他们需要逐本逐页地检查、分类、整理。工作量大，效率低，错误率高。 AI的出现，完全改变了这个游戏。 如果此时，你有一个超级智能的助手，它可以： 自动识别和清洗数据。它能瞬间发现"苹果公司"和"Apple Inc."其实是同一家公司，能自动修正"138****1234"这种不完整的电话号码，能识别出哪些是重复数据、哪些是异常数据。 智能关联不同系统的数据。它能像侦探一样，通过各种线索（姓名、电话、地址、交易记录等）找到散落在不同系统中的同一个客户信息，然后把它们完美地拼接在一起。 实时监控数据质量。它会24小时不间断地监控你的数据，一旦发现异常，立即发出警报。就像是给你的数据安装了一个"健康监测器"。 这已然不是科幻小说，这是正在发生的现实。 从案例看AI+主数据的真实威力 让我跟你分享几个真实案例。 案例一：全球消费品巨头的数据整合 这家公司在全球有200多个分支机构， 数据散落在几十个不同的系统中。传统方法需要几百个人工作一年才能完成数据整合。 AI介入后，3个月就完成了全球数据的统一管理。数据质量提升了30%，决策效率提高了15%，运营成本降低了10%。 更重要的是，统一的数据视图让他们能够更好地理解全球客户需求，制定更精准的产品策略。 案例二：零售企业的精准营销 某大型零售企业面临的问题是：客户数据质量差，营销效果不理想。 AI帮助他们整合了来自线上线下的所有客户数据，构建了完整的客户画像。系统能自动识别客户的生命周期阶段，并推荐相应的营销策略。 结果：营销转化率提高了20%，客户满意度提高了15%，销售额提升了10%。 案例三：金融企业的风险管控 金融行业对数据安全和合规性要求极高。传统的人工监控方式既费时又容易出错。 AI系统能实时监控所有数据访问行为，自动识别异常操作，确保数据合规性。这家企业的数据安全风险降低了20%，合规性提高了15%。 你看到了吗？ AI+主数据不仅仅是技术升级，它是商业模式的根本性变革。 结语 AI技术还在快速发展。 未来的AI+主数据管理会变得更加智能、更加自动化。 现在的问题是：你的企业准备好迎接这个变革了吗？
康桥数据中台 V3.7.1 升级详情速览
不需要成为技术专家，但要理解这些概念，才能在AI浪潮中不掉队。
当数据不再是孤岛，当查询不再是等待，当分析变成实时，企业的数字化转型才真正开始。
"小王，这个数据跑了三个小时还没出来，明天的AI模型训练怎么办？" 办公室里，数据科学家小李盯着电脑屏幕，眉头紧锁。屏幕上的进度条像蜗牛一样爬行，让人怀疑人生。 这个场景你熟悉否？在AI时代，如果数据真是新石油，那么数据科学家就真是炼油工了。大家都在谈论AI多么神奇，DeepSeek多么智能，模型多么强大。 可现实呢？90%的时间都在等数据，等数据传输，等数据清洗，等数据准备。 数据科学家们经常自嘲："我们是AI时代的搬砖工。" 传统数据传输的痛点：慢到怀疑人生 让我们算一笔账。 一个中等规模的机器学习项目，需要处理10TB的数据。用传统的MySQL客户端或JDBC连接方式，传输速度大概是每秒几百MB。10TB数据需要传输多久？ 整整一个通宵。 更要命的是，这还只是传输时间。数据到了本地，还要进行格式转换、清洗、预处理。原本的列存格式数据，要先转成行存传输，到了客户端再转回列存格式供算法使用。这个过程好比把一箱苹果先打散，装到一个个小袋子里运输，到了目的地再重新装箱。 "这不是脱裤子放屁吗？"一位资深算法工程师吐槽道。 传统方案的问题不止于此： 数据传输过程中要经历多次序列化和反序列化，CPU资源消耗巨大。内存占用也成倍增长，动不动就爆内存。网络带宽被低效利用，明明有千兆网络，却只能跑出百兆的效果。 更让人抓狂的是，很多数据科学项目需要反复试验，同样的数据要传输N次。每次调参、每次验证、每次重新训练，都要重新来一遍这个痛苦的过程。 Arrow Flight SQL：数据传输界的su7 Doris 2.1版本带来了一个救命性的功能：基于Arrow Flight SQL协议的高速数据传输链路。 什么概念？原来需要一晚上传输的10TB数据，现在可能只需要几十分钟。性能提升不是10%、20%，而是百倍级别的飞跃。 这真就从绿皮火车换到了高铁，从马车换到了小米su7。 Arrow Flight SQL的巧妙之处在于彻底颠覆了传统的数据传输思路。 Doris内部查询结果本身就是以列存格式的Block组织的。传统方案需要把这些Block转换成行存的Bytes传输，客户端接收后再反序列化为列存格式。 Arrow Flight SQL直接跳过了这个"脱裤子放屁"的过程。数据在Doris里是什么格式，传输过程中就是什么格式，到了客户端还是什么格式。零转换，零损耗。 这就像快递公司不再要求你把东西重新包装，而是直接用你的原包装发货。省时省力省心。 而真正让Doris在数据科学领域脱颖而出的，不仅仅是速度，更是它对生产环境复杂性的深度理解。 很多数据科学项目在实验室里跑得很好，一到生产环境就各种问题。网络不通、权限不够、配置复杂、扩展困难。 Doris的Arrow Flight SQL充分考虑了这些现实问题： 1. 多BE节点并行返回结果 当查询结果很大时，可以从多个节点同时获取数据，进一步提升传输效率。 2. 支持反向代理配置 生产环境中BE节点通常不直接对外暴露，Doris可以通过Nginx等反向代理实现数据转发，既保证了安全性，又维持了高性能。 3. 提供灵活的连接管理 支持长连接复用，减少连接建立开销；同时提供合理的超时和清理机制，避免资源泄露。 与大数据生态的深度融合 当然，数据科学项目很少是孤立的。 它们通常是更大数据处理流水线的一部分，需要与Spark、Flink等大数据框架协同工作。 Doris的Arrow Flight SQL为这种协同提供了完美的桥梁。Spark可以通过Arrow Flight SQL高效读取Doris数据，进行大规模特征工程；Flink可以实时消费Doris的流式数据，为在线机器学习提供支持。 更重要的是，Arrow作为一种标准化的内存数据格式，已经被越来越多的数据处理框架采用。这意味着基于Arrow Flight SQL的数据流水线具有很好的互操作性和可扩展性。 你的数据可以在Doris、Flink、Spark、Pandas、TensorFlow之间无缝流转，就像水在不同容器间流动一样自然。 用Python轻松驾驭海量数据 对数据科学家来说，最爽的事情是什么？当然是代码跑得飞快，数据来得及时。 import adbc_driver_manager import adbc_driver_flightsql.dbapi as flight_sql # 连接Doris conn = flight_sql.connect(uri="grpc://doris-fe:8070", db_kwargs={ adbc_driver_manager.DatabaseOptions.USERNAME.value: "user", adbc_driver_manager.DatabaseOptions.PASSWORD.value: "pass", }) cursor = conn.cursor() # 执行查询 cursor.execute("SELECT * FROM massive_table") df = cursor.fetch_df() # 直接返回pandas DataFrame ... 就这么简单。几行代码，亿级数据瞬间到手。不需要复杂的配置，不需要担心内存爆炸，不需要等待漫长的传输时间。 关键是cursor.fetch_df()这个方法。它直接返回pandas DataFrame，数据全程保持列存格式。科学家们可以立即开始数据分析，无缝对接NumPy、Pandas、Scikit-learn等主流数据科学库。 有位数据科学家兴奋地说："这感觉就像从拨号上网时代一步跨入了光纤时代。" Java生态的全面支持 Java开发者也没有被遗忘。Doris提供了多种Java连接方式，适应不同的使用场景。 如果你的下游分析需要基于行存数据格式，可以使用标准的JDBC方式： String DB_URL = "jdbc:arrow-flight-sql://doris-fe:8070"; Connection conn = DriverManager.getConnection(DB_URL, "user", "pass"); Statement stmt = conn.createStatement(); ResultSet resultSet = stmt.executeQuery("SELECT * FROM data_table"); ... 如果你想充分利用Arrow的列存优势，可以使用ADBC Driver： final BufferAllocator allocator = new RootAllocator(); FlightSqlDriver driver = new FlightSqlDriver(allocator); AdbcDatabase adbcDatabase = driver.open(parameters); AdbcConnection connection = adbcDatabase.connect(); AdbcStatement stmt = connection.createStatement(); stmt.setSqlQuery("SELECT * FROM massive_dataset"); QueryResult queryResult = stmt.executeQuery(); ArrowReader reader = queryResult.getReader(); ... 这种方式返回的是原生Arrow格式数据，可以直接用于大数据分析框架，性能达到极致! 结语 回到文章开头的场景。现在的小李不再需要通宵等数据了。 "小王，昨天的10TB数据已经处理完了，新的模型训练可以开始了。"小李轻松地说道。 "这么快？"小王有些惊讶。 "Doris的Arrow Flight SQL，数据传输快得飞起。我现在有更多时间专注于算法优化，而不是等数据。" Doris的Arrow Flight SQL让数据科学真正起飞了，让AI应用的开发变得更加高效和可靠 来源（公众号）：一臻数据
人工智能 (AI) ——包括生成式 AI（用于创建新设计、内容或数据）和代理式 AI（能够感知和行动的自主代理）——正在改变几乎所有行业的制造业。下文将分析航空航天和国防领域采用 AI 的主要用例、优势、行业案例和挑战。 一 用例 航空航天和国防领域正在积极运用人工智能来增强飞机/航天器的制造及其周边的复杂操作。主要用例包括： 设计优化与生成式设计：人工智能用于设计更轻、更坚固的航空航天部件。工程师采用生成式设计算法来生成创新的结构设计（用于机翼、机身部件和内部部件），以满足严格的性能标准，同时最大限度地减轻重量。例如，空中客车公司与欧特克合作，创建了一个模仿骨骼结构的生成式设计的客舱隔板——与传统设计相比，它实现了 45% 的重量减轻。通常，人工智能驱动的设计工具可以快速迭代数千种航空航天部件（支架、发动机支架、隔热罩）的设计方案，并针对重量强度比和可制造性等因素进行优化。这些设计通常在物理原型制作之前通过人工智能模拟的压力测试进行验证 [41]。其结果是，飞机和航天器部件能够以显著减少的材料保持强度，直接提高燃油效率和有效载荷能力。 智能生产与质量控制：航空航天制造对精度和质量有极高的要求（安全攸关），而人工智能正被用于监控和改进生产流程。计算机视觉检测是一个至关重要的用例——人工智能驱动的视觉系统可以检查飞机部件（例如涡轮叶片、复合板、航空电子系统中的电路板）是否存在微小的缺陷或偏差。这些系统可以发现人类检查员可能遗漏的微裂纹或材料空隙，确保只组装完美无瑕的部件。例如，波音公司使用人工智能视觉检查机身部分是否存在钻孔错误或材料缺陷，奥地利钢铁制造商 Voestalpine（一家航空航天供应商）使用人工智能检测钢材的微观表面缺陷，将缺陷率降低了 20% 以上。此外，人工智能测试还用于无损评估——例如，分析焊缝和复合材料铺层 (layouts) 的 X 射线或超声波扫描，以更可靠地识别故障。人工智能还能实时优化工艺参数：先进的机器学习模型可以分析来自生产机器（数控铣床、3D打印机、复合材料高压釜）的数据，并调整控制措施以确保始终如一的质量。例如，在Howmet Aerospace（一家大型航空航天零部件制造商），人工智能监控加工和铸造过程，以保持严格的公差，从而减少废品和返工。总而言之，人工智能充当着全天候质量监督员的角色，其监督和预测性调整能力远超人工。 预测性维护与 MRO：在航空航天领域，生产设备以及飞机发动机和系统本身的维护至关重要。通用电气航空航天等制造商使用人工智能对其交付的工厂设备及其产品（喷气发动机）进行预测性维护。人工智能算法分析机器的振动、温度和性能数据，以预测故障的发生 [44]，[48]。例如，Howmet Aerospace 采用机器学习模型预测其锻压机或数控机床何时需要维护，从而最大限度地减少停机时间和维护成本。在产品方面，公司使用人工智能对在役数据进行分析，以预测维护需求：例如，劳斯莱斯使用人工智能分析发动机传感器数据，以在最佳时间安排发动机大修，空客拥有一个人工智能系统来预测飞机部件何时需要维修，从而提高安全性并减少航班停机时间 [50]，[51]。这种预测能力在航空航天领域至关重要，因为意外的设备故障可能会导致生产或机队停飞，从而造成巨大的成本。通过实施人工智能驱动的维护，早期采用者报告称计划外停机时间减少了两位数的百分比，直接节省了数百万美元。 供应链和库存优化：航空航天制造涉及复杂的全球供应链，涵盖数千个零部件。人工智能 (AI) 通过预测零部件需求、优化库存水平和跟踪供应链风险来帮助管理这种复杂性。例如， Howmet 的库存优化 AI通过分析海量数据来简化采购和生产计划。航空航天公司使用 AI 提前数月预测备件或原材料的需求，从而防止可能造成生产延误的短缺。AI 还协助供应商风险管理——监控地缘政治、质量和物流数据，以预警潜在的中断（供应商延迟或供应商的质量问题）。Gartner 的供应链 AI 框架将预测预计交付时间 (ETA)、供应商风险分析甚至自主物流等用例确定为对工业运营具有高价值的用例。通过采用这些技术，航空航天公司可以构建更具弹性的供应链。一些公司甚至在创建数字供应链孪生——整个供应网络的虚拟人工智能模型，以模拟各种场景（例如需求突然激增或材料短缺）并准备最佳响应。 数字孪生与实时过程控制：航空航天制造商是数字孪生技术的早期采用者。数字孪生是物理系统（如飞机发动机、生产线甚至整架飞机）的动态软件模型，它使用实时数据来镜像和预测系统行为。人工智能通过预测性和规范性分析增强了数字孪生。例如，通用电气航空航天公司在工厂车间拥有其喷气发动机的数字孪生；这些孪生中的人工智能可以监控装配过程和测试，立即发现任何偏差并提出纠正措施 [11]，[58]。在生产中，制造单元（如发动机装配站）的数字孪生可以运行人工智能驱动的仿真，以优化装配顺序或刀具路径，从而缩短周期时间。通过利用这些人工智能增强的孪生，航空航天公司可以实现对性能的 360° 可视性，并使用预测性和规范性分析来提高产量、质量和吞吐量。例如，波音公司报告称，通过在其机翼装配流程中实施人工智能驱动的数字孪生，效率得到了提升，这有助于减少错误并简化工作流程。总体而言，数字孪生中的人工智能代理能够实现近乎实时的决策，使工厂更接近自我优化。 自主机器人与代理人工智能：飞机和国防系统的组装涉及许多复杂的任务；人工智能机器人和自动导引车越来越多地被部署来协助组装。这些机器人种类繁多，从能够适应人类同事进行铆接或钻孔的协作机器人，到在工厂内搬运重型飞机部件的自主运输机器人。人工智能赋予这些机器人更好的感知和决策能力——例如，人工智能引导的钻孔机器人可以动态调整压力和角度，以适应材料差异，从而实现减少返工的精度。在国防制造业中，产量较低但复杂度较高，代理人工智能系统可以协调灵活的制造：多智能体人工智能系统可以跨工作单元调度任务，以适应工程变更或紧急订单。一个值得注意的例子是：洛克希德·马丁公司使用人工智能驱动的机器人系统进行航天器组装，并正在其新的猎户座航天器生产中心探索自主操作。虽然完全自动化的工厂尚未成为航空航天领域的常态，但选择性使用代理人工智能（用于材料处理、零件配套等）正在减少劳动力并加快卫星制造和导弹组装等领域的生产速度。 二 优势 人工智能正在为航空航天和国防制造业带来变革性的优势——提高生产力、质量和创新能力。以下是一些主要优势： 更高的效率和产量：人工智能驱动的优化显著加快了生产速度。例如，洛克希德·马丁公司报告称，使用 AR/AI 工具可将某些航天器制造任务的装配时间缩短大约一半。一般而言，人工智能过程控制可以超越人类能力对操作进行微调，从而缩短周期时间（例如，某航空航天供应商采用人工智能优化的注塑工艺，将周期时间缩短了 18%）。通过最大限度地减少停机时间（通过预测性维护）和简化工作流程（通过数字化工作指令和调度算法），航空航天工厂可以从相同的资源中获得更高的产出。一个航空航天案例发现，在维护、质量和调度方面实施人工智能可以提高生产率，从而重新激发某个地区停滞不前的制造业生产力。 提升质量与安全性：质量在航空航天领域至关重要，而人工智能已通过减少缺陷和及早发现问题证明了其价值。用于检查零件的人工智能视觉系统显著降低了缺陷率——例如，塔塔钢铁公司（供应航空级钢材）通过使用人工智能监控轧机状况，将计划外停机时间减少了15%，并提高了质量。人工智能能够分析大量数据，这意味着可以检测到并处理暗示质量问题的细微异常，防止其恶化。这不仅可以防止安装有缺陷的部件，还可以提高安全性（无论是在生产过程中还是在现场，因为只有最优质的部件才能装配到飞机上）。此外，人工智能通过持续监控工艺参数，帮助确保严格遵守航空航天标准——例如，确保复合材料的固化温度或紧固件的扭矩值保持在规格范围内。其结果是生产更加稳定，并减少了因质量问题导致的代价高昂的返工或延误。 降低成本：航空航天制造成本高昂，但人工智能 (AI) 正在帮助其在多个环节削减成本。预测性维护通过预防灾难性设备故障和优化维护计划（减少加班时间和备件库存）来节省资金。通过人工智能进行工艺优化通常可以节省能源——例如，安赛乐米塔尔 (ArcelorMittal) 的人工智能优化熔炉控制在钢铁生产中节省了约 5% 的能源，这有助于降低能源密集型航空航天材料的使用成本。减少废料是另一个节约来源：当人工智能保持严格控制时，因缺陷而报废的零件会减少，从而节省原材料和劳动力。麦肯锡的一项分析指出，早期在工业运营中采用人工智能的企业主要通过提高效率和减少浪费实现了高达 14% 的成本节约。此外，人工智能可以加快设计和测试（虚拟仿真），从而降低开发成本——波音和空客通过使用人工智能仿真进行空气动力学和结构测试，缩短了设计周期，这意味着需要更少的物理原型。总体而言，虽然人工智能需要前期投资，但航空航天领域的投资回报通常体现在生产力提高和避免质量事故带来的数百万美元的节省。 创新与未来准备：人工智能正在赋能航空航天公司，使其能够更快地创新，并解决以往难以解决的问题。在研发领域，人工智能（尤其是生成模型）可以提出新的材料或制造技术建议（例如，生成式人工智能可用于设计新型金属合金和复合材料配方，从而加速传统上需要多年的材料研发）。通过利用人工智能的强力探索来增强人类工程师的创造力，企业可以更快地开发下一代飞机和国防解决方案。人工智能代理还突破了自主性的界限——这是迈向自主制造卫星或生产标准零件的全自动工厂等目标的垫脚石。重要的是，拥抱人工智能被视为提升竞争力的关键：世界经济论坛指出，制造业中的人工智能代理可以重新激发生产力增长并“重新定义竞争格局”。许多航空航天公司在竞标合同时将其人工智能能力视为一项战略资产（证明他们能够凭借数字化进步以更高的质量或更快的速度交付产品）。此外，人工智能还能帮助企业获取知识——经验丰富的工程师的洞见可以融入人工智能系统（例如质量专家系统或技术人员聊天机器人），从而在员工更替过程中保留机构知识。所有这些因素确保使用人工智能的企业能够更好地应对未来，拥有敏捷的运营和持续改进的文化。 三 关键行业参与者和驱动因素 几乎所有大型航空航天/国防公司都在利用人工智能。波音公司推出了多项“数字工厂”计划，并将机器学习应用于从优化生产计划到自动化巡检无人机等各个领域。空客公司一直是该领域的领导者，通过其 Skywise 平台将人工智能用于预测性维护，并合作开展生成式设计（仿生隔断项目），彻底改变了组件设计。通用电气航空航天公司和劳斯莱斯等发动机制造商处于工业人工智能的前沿——通用电气公司对其喷气发动机制造和测试的人工智能驱动监控提高了安全性和效率，而劳斯莱斯的 R² 数据实验室将人工智能应用于制造和在役发动机分析。洛克希德·马丁公司和诺斯罗普·格鲁曼公司内部都有针对制造业的 AI 研发，通常与 AR/VR 合作（洛克希德使用微软 HoloLens AR 来指导技术人员就是一个著名的例子，将培训时间缩短了 85%）。这些主要企业也与初创企业合作：例如洛克希德投资了 SparkCognition（该公司开发用于国防预测性维护和供应链的 AI）。在欧洲，达索航空公司在航空航天设计软件中使用 AI（CATIA 现已为设计师集成了 AI 功能），泰雷兹公司使用 AI 优化航空电子设备的电子制造。在研究方面，美国宇航局和欧空局资助用于先进制造（如航天器模块的自主组装）的 AI 项目。初创企业和科技公司是关键的推动者：西门子为 MindSphere 工业物联网平台提供广泛应用于航空航天工厂的 AI 分析；IBM 的 Watson IoT 被用于航空航天的预测分析（例如 IBM 帮助空客使用 AI 优化其生产计划）。 C3.ai 已与航空航天供应商合作，开展基于人工智能的产量优化。像 Neural Concept 这样的专业公司将深度学习应用于流体动力学，以协助航空航天工程师。甚至国防机构（例如美国国防部）也在运行将人工智能融入国防制造的项目，以更快地扩展新系统。行业联盟和报告是识别用例的重要驱动力：例如，德勤 2025 年航空航天与国防展望强调了人工智能在维护和供应链中日益增长的作用，工业互联网联盟发布了人工智能在高可靠性制造中的最佳实践。这些共同努力有助于在整个行业传播成功的用例。 四 用例发现方法 航空航天公司通常使用结构化方法来精准定位人工智能能够最大程度提升价值的领域。他们首先会审视价值链中的痛点和复杂性，例如生产中某个环节的高缺陷率，或者某个装配体的长周期。Gartner的用例棱镜或 BCG 的框架等技术可用于系统地评估潜在人工智能项目的可行性和影响力。例如，Gartner 的制造业棱镜可能会映射出诸如自动复合材料铺层检测或自主物料搬运等用例，并根据商业价值和技术成熟度对其进行评分。许多公司还会开展试点项目或数字创新挑战：他们会进行小范围的人工智能试点（例如使用机器学习优化某个制造步骤），如果取得了积极成果（例如效率提升 5%），他们就会扩大规模。这些试点项目的发现通常有助于发现相关的用例。另一种方法是产学研合作：鉴于航空航天行业的严格要求，企业经常与大学研究机构（麻省理工学院、普渡大学等都设有航空航天人工智能实验室）合作，探索前沿理念，例如用于实时控制的强化学习或用于先进材料的人工智能。研究原型的结果可以暗示未来的生产用例。SAE 和 AIA 等行业机构也会设立工作组，成员在竞争前的环境中分享新兴用例。总体而言，识别过程是迭代的和数据驱动的——航空航天公司利用其丰富的生产数据来识别效率低下的问题，然后考虑可以解决这些问题的人工智能工具。正如麦肯锡所指出的，该行业历来创新缓慢，但新一代人工智能和人工智能技术如今被视为航空航天制造业“改变几乎所有化学和材料领域”的一种手段，这鼓励人们广泛探索从工厂车间到材料实验室的人工智能应用。 五 挑战、伦理顾虑和局限性 尽管人们对人工智能抱有浓厚兴趣，但在航空航天/国防领域实施人工智能仍面临独特的挑战。数据管理是其中一项重要挑战——航空航天生产流程会产生海量数据（例如，美光科技的半导体工厂每周从 57 万个传感器收集数据，产生 230 万张图像），这些数据必须正确存储、清理和标记。确保各个孤立系统（设计、生产、测试）的数据质量和可用性可能非常困难。此外，国防项目通常处理机密数据或受《国际武器贸易条例》（ITAR）限制的数据，这使得基于云的人工智能解决方案更加复杂。法规遵从性和认证也带来了另一个限制：在航空领域，任何可能影响零件特性的制造变更都可能需要重新进行监管认证。因此，解释人工智能决策（“黑匣子”问题）至关重要——航空航天公司正在投资可解释的人工智能，以便向监管机构证明人工智能是如何得出结论或控制行动的。此外，还有安全和伦理方面的考虑：人工智能必须经过严格验证，因为一个未被发现的缺陷可能会对飞机造成灾难性的后果。公司遵循 DO-326A（针对机载电子硬件）等标准，并可能需要将其扩展到人工智能系统。在国防领域，人们对代理人工智能持谨慎态度——自主代理需要严格约束，以防止在敏感环境中出现意外行为。劳动力和文化是另一个挑战：熟练的航空航天技术人员最初可能抵制人工智能或担心工作流失。公司必须通过对员工进行再培训（例如，培训经验丰富的机械师使用人工智能决策支持工具）并强调人工智能是增强而不是取代人类专业知识来应对变革。该行业还面临数据科学方面的人才缺口——聘请懂航空航天工程的人工智能专家并非易事。许多公司最终选择与科技公司合作来填补这一空缺。最后，航空航天制造业的多品种、小批量特性意味着人工智能解决方案必须处理大量定制场景（这与以重复性任务为主的汽车制造业不同）。对于新的喷气式飞机项目或卫星设计，由于每个单元略有不同，人工智能模型可能会难以应对有限的数据。这需要适应性强的人工智能系统，有时还需要模拟生成的数据（通过生成式人工智能）来补充真实数据。总而言之，尽管人工智能的潜力巨大，但航空航天公司必须谨慎处理数据、安全、监管和人为因素，才能充分发挥其潜力。 六 影响指标和投资回报率 航空航天和国防通过多个角度衡量人工智能项目的成功：生产关键绩效指标（吞吐量、一次通过率、周期时间）、成本指标（废品率、维护成本、库存周转率）和项目计划遵守情况。例如，如果人工智能可以将飞机装配阶段从 20 天缩短到 15 天，那么这 25% 的改进将体现在更快的项目交付和更低的劳动力成本上——这是一个明显的投资回报率。报告的一项具体指标是洛克希德公司使用 AR（一种人工智能辅助技术），将钻孔的接触劳动减少了 45%，将紧固件扭矩的接触劳动减少了 50%，将特定装配任务的时间从 6 周缩短到了 2 周。这种时间节省在航空航天项目中极其有价值。预测性维护人工智能通常通过避免停机成本的投资回报率计算来证明：例如，防止一个可能延迟发动机交付的测试单元故障可以带来巨大的节省，这很容易超过人工智能系统成本。航空航天公司还会跟踪质量 KPI，例如减少缺陷或减少不合格品——例如，一家钢铁供应商的 AI 目视检查将表面缺陷发生率降低了 20% 以上，这意味着废品和返工的量化减少。另一个指标是安全性改进：更少的工人受伤（如果 AI 接管了危险的检查或重型起重）和更好的产品安全记录（如果 AI 发现可能导致使用中故障的问题）。虽然这些难以货币化，但对于国防合同和航空公司客户来说至关重要，因此被视为投资回报率的一部分。此外，AI 对开发速度的影响也是值得衡量的——阿斯利康（虽然属于制药行业，但同样注重研发）指出，生成 AI 将开发交付周期缩短了 50%，而在航空航天领域，类似的概念是缩短飞机设计迭代周期，这可以将开发时间缩短数月甚至数年（上市时间具有巨大的价值）。许多航空航天公司使用平衡记分卡或前述类似Gartner的记分卡，从资金以外的多个维度评估项目，包括战略价值（例如，为未来项目构建数字主线）和风险降低。在国防领域，投资回报率可能还会考虑任务准备情况——加速国防系统制造的人工智能可以从国家安全价值的角度来衡量。总体而言，从成本、质量和创新的全貌来看，航空航天领域人工智能的投资回报率通常非常引人注目，因此，尽管该行业较为谨慎，但仍在迅速扩大人工智能的部署规模。 七 案例研究与示例 通用电气航空航天公司提供了一个强有力的案例研究——通过将人工智能用于质量控制（人工智能视觉检查发动机部件的规格偏差）和发动机测试中的预测分析，通用电气提高了首次良率并缩短了测试时间，有助于按时交付更多发动机。Howmet Aerospace（上文详述的案例）展示了多方面的人工智能应用：避免停机的预测性维护，确保只运送公差范围内的喷气发动机部件的人工智能视觉，创造更好航空紧固件的人工智能生成设计，甚至将人工智能用于劳动力规划以最大限度地利用熟练劳动力。他们报告了诸如降低成本和提高可持续性等好处（人工智能帮助优化了熔炉的能源使用，支持了环境目标）。另一个案例是洛克希德·马丁公司在猎户座飞船生产线上应用人工智能和增强现实技术：如上所述，它不仅将装配时间缩短了一半，而且通过提供直观的增强现实技术引导，将技术人员的培训时间缩短了85%。在国防领域，雷神公司在其导弹生产中使用人工智能，自动检查电路板和焊点，提高了其国防产品的可靠性。美国宇航局喷气推进实验室利用人工智能优化行星探测器的装配，其中人工智能可以安排任务并帮助工程师快速诊断装配问题。这些现实世界的成功表明，人工智能在航空航天领域的应用并非仅限于理论——它正在为这个以严格要求标准而闻名的行业带来可衡量的改进。 来源（公众号）：数据驱动智能
数据治理不是一个技术问题，而是一个管理问题。
