在处理非结构化数据的问题上，人工智能和深度学习方法一直都表现出众且广为人知，无论是在自然语言处理、知识库自动构建，还是图像视频的识别和生成应用中，都有很多成熟案例。

然而对于结构化数据的研究，似乎已经被人工智能和深度学习忘之脑后。结构化数据普遍存在于各类商业应用软件和系统中，例如产品数据存储，交易日志，ERP和CRM系统中都存在大量结构化数据，这些结构化数据仍应用着陈旧的数据技术处理，如基于规则的系统，决策树等。这样的方法需要人工进行特征提取，操作繁琐且需要耗费大量人力进行数据标签。

虽然人工智能的最新发展已经从非结构化数据中挖掘出了巨大价值，但对结构化数据而言，其研究和应用也是不可忽视的，因为结构化数据对于驱动企业的业务发展、营收、数据安全以及数据治理方面都有着重大意义。

不同于非结构化数据，结构化数据的AI研究一直存在着一个巨大的挑战，那就是其对于数据质量的高度敏感性。对于非结构化数据而言，人们或许可以接受分辨率不高的视频，略带瑕疵的图像识别。但对于拥有大量结构化数据的大型企业来说，其核心业务数据是不容许有丝毫差错的。比如对于制药公司来说，药品的剂量、价格和数量即使出现细微的数据错误，都有可能带来巨大的灾难。

研究这些核心业务数据（结构化数据）在人工智能上的应用，是具有极大价值的，但受限于数据质量的高要求，大型企业在这类研究上举步维艰。尽管人工智能在结构化数据上的应用研究已经有数十年的时间，但目前仍进展甚微。

数据背后的业务复杂性，基于特定规则和逻辑的系统复杂性，需要人工介入的数据清洗和准备工作的高成本，都阻碍着这一研究的发展。要在结构化数据AI应用上有所成果，首先需要解决人工数据清洗和准备的问题，找到极少或者没有人为干预的自动化方法，才能使得这一应用可落地可拓展。

这也是为什么机器学习方法能适用于结构化数据准备和清洗的原因，最终的解决方案需要能够提取企业数据特征并且理解毫不相干的数据上下文，能够从大量数据集中训练出模型，预测数据质量，甚至能提出数据质量的修复建议。

将这样的模型应用于数据准备和清洗中，可以解决结构化数据长期以来存在的问题——需要大量人工介入的数据准备和清洗工作。这样的解决方案有以下的要求：

可以将业务规则在内的所有信号和上下文，函数依赖和键等约束条件以及数据的统计属性进行组合。能够避免构建大量的规则，同时可以兼容极端情况。在许多情况下，结构化数据中的规则管理比清洗噪音数据更具挑战性，成本更高。最终，模型所提供的预测应用于标准的数据质量测试中，能够传达一种「信心」：模型的预测能够解决大多数情况，而人工，只需要专注去处理特殊的案例。虽然结构化数据在AI应用的研究中困难重重，我们还是找到了一些方法并有所进展。处理结构化数据并不仅仅依赖于数据本身的特征(稀疏，异构，丰富的语义和领域知识），数据表集合(列名，字段类型，域和各种完整性约束等）可以解码各数据块之间的语义和可能存在的交互的重要信息。举个例子，两个不同的城市不可能都对应相同的邮政编码，一个项目的总预算不可能超过其计划的开支。这都是可以明确提供的条件约束，这些条件约束增强了机器学习模型在结构化数据处理上的能力，而不仅仅是做统计分析。

处理结构化数据的其中一大挑战在于，结构化数据可能是异构的，同时组合了不同类型的数据结构，例如文本数据、定类数据、数字甚至图像数据。其次，数据表有可能非常稀疏。想象一个列的表格，每列都有10到0个可能值（例如制造商的类型，大小，价格等），行则有几百万行。由于只有一小部分列值的组合有意义，可以想象，这个表格可能的组合空间有多么「空」。

如果没有任何结构、领域知识和条件约束，就很难了解数据如何生成及其准确性。因此，在构建结构化数据准备和清洗的解决方案过程中，我们总结了存在的三个主要挑战：

如何将背景知识转化为模型输入，以解决数据稀疏性和异构性带来的挑战？在预测某个列中的值时，我们如何在机器学习模型中传递关键约束、函数依赖关系、否定约束和其他复杂的完整性逻辑作为模型输入？在训练数据有限且存在脏数据，甚至有时都没有训练数据的情况下如何学习模型呢？以识别结构化数据错误的模型为例，该模型查找各种数据错误，包括错别字、缺失值、错误值、矛盾事实、数据错位等问题。使用非常有限的可用错误样本和可用数据中存在的这些错误来训练这样的模型，就是需要克服的挑战。模型如何拓展到大规模应用？如何能支撑上百万个的随机变量？如果把实验条件下训练出来的模型，直接应用到复杂商业环境中的结构化数据，毫无疑问，结果肯定是失败的。我们开发了inductiv，这是一个用于结构化数据的AI平台，训练模型理解数据的生成和「污染」过程。inductiv可用于结构化数据的准备和清洗，例如错误检测、预测缺失值、错误校正、空值补齐、数据融合等。Inductiv归属于学术开源项目HoloClean（

转载请注明:http://www.aideyishus.com/lkyy/4098.html