分词技术,空间数据质量标准建立原则？

1. 遵从企业管理、业务模式，抓住数据质量问题重点、难点分词技术；

2. 全面、细致，先易后难，逐步推进；

3. 一次性、一劳永逸为原则的历史数据清洗策略；

4. 选择最适合的历史数据清洗工具等；

5. 数据质量监测日常化。

二、数据质量管理标准建设策略

1. 引入外部咨询专家；

2. 结合已有的数据管理组织架构，组织相关人员，明确数据质量管控责任人；

3. 形成一把手挂帅，全民动员的质量管控制度、奖惩机制等；

4. 制定历史数据清洗范围界定方法，清洗范围如，物资数据清洗、客商数据清洗、人员数据清洗、组织机构清洗等；

5. 制定历史数据清洗技术选择方法，清洗范围如，语义识别技术、自动分词技术、相似度匹配技术、自动合并技术等；

6. 制定选择最合适的历史数据清洗工具的方法。专业的历史数据清洗工具有，物资数据专业清洗工具、客商、人员数据专业清洗工具、组织机构专业清洗工具；

7. 制定主数据中心数据质量日常监测机制，明确检测工具选择方法，明确问题数据的处理方式、方法等；

8. 主数据中心数据质量管理体系评审、发布、平台落地

自然语言处理的核心技术是什么？

所谓的自然语言处理，就是研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法，说到底，就是研究人如何同计算机交流的学科

那他的核心技术又在哪儿？为什么可以实现人和计算机之间的交流？

我们从以下几个方面谈谈：

先了解一下目前遇到的难点。

1.语言的多样性造成了语种不同，那就会导致语序不同，所以如果用同样的方法处理不同的语言，就可能造成语序不连贯的问题。

2.词义的歧义性，很多的词并不只代表一个意思，还需要看上下文语境。比如苹果，如果没有上下文语境，我们如何知道，这是水果，还是品牌呢？

3.句法的模糊性，自然语言的语法是摸棱两可的，针对同一个句子可能有多种剖析树，而我们必须知道前后文才能选出最合适的剖析树。

4.大规模数据集的建设，自然语言处理是以统计机器学习为基础的，那就需要大量的数据集，但是构建数据集是一项费时费力还费钱的工作，所以导致目前的数据集并没有达到任意使用的地步。

知道难点以后，我们再去看他的核心技术，为什么能够进行机器和人类的交流。

1.多层感知机的应用，通过非线性激活函数（tanh函数，Sigmoid函数）对线性不可分数据进行分类

2.CNN

卷积神经网络的应用，作为一种特殊的前向传播网络，独特的结构性带来的是更少的参数需求和更深的网络层数。

3.RNN

循环神经网络的应用，解决卷积神经网络无法结合上下文关系的问题，使用循环结构，使得其像人一样拥有了记忆能力。

4.LSTM

长短期记忆网络的应用，LSTM是一种特殊的RNN, 用来解决长期依赖问题。和传统的RNN一样，网络结构是重复的，每次的训练，神经元和神经元之间需要传递一些信息。传统的RNN，每个重复的模块里都有一个简单tanh层。

5.Sequenceto Sequence（序列对），

一类End-to-End的算法框架，也就是从序列到序列的转换模型框架，应用在机器翻译，自动应答等场景。Seq2Seq一般是通过Encoder-Decoder（编码-解码）框架实现，Encoder和Decoder部分可以是任意的文字，语音，图像，视频数据，模型可以采用CNN、RNN、LSTM、GRU、BLSTM等等。所以基于Encoder-Decoder，我们可以设计出各种各样的应用算法。

以上观点如有错误，还请指正

内心OS：(大家多多关注呀！)