人工智能与机器学习

人工智能是计算机科学的一个分支，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器，该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家系统等。人工智能从诞生以来，理论和技术日益成熟，应用领域也不断扩大，可以设想，未来人工智能带来的科技产品，将会是人类智慧的“容器”。人工智能可以对人的意识、思维的信息过程的模拟。人工智能不是人的智能，但能像人那样思考、也可能超过人的智能。

人工智能的发展历程：

人工智能技术层次递进过程

机器学习的起源: 20世纪50年代的感知机数学模型。

发展:20世纪90年代中期以来，机器学习得到迅速发展并逐步取代传统专家系统成为人工智能的主流核心技术，使得人工智能逐步进入机器学习时代。

机器学习与深度学习的区别：机器学习是一种实现人工智能的方法，深度学习是一种实现机器学习的技术。

人工智能领域专有名词

人工智能发展历程

机器学习的定义

机器学习的定义1

机器学习之父: Arthur Samuel 发明了“机器学习”这个词，将其定义为：不需要确定性编程就可以赋予机器某项技能的研究领域。

显著式编程是什么呢？

非显著性编程是什么呢？

两种编程方式的对比

机器学习的定义2

1998年 Tom Mitshell在他的书《Machine Learning》中的定义:

如何表述这个概念呢？我们将其上述提到的计算机识别玫瑰花与菊花的程序来划定Tom Mitshell提到的任务T和经验E和性能指标P。其中：

任务T (Task)：编写计算机程序识别，菊花和玫瑰；
经验E (Experience)：列举一大椎菊花和玫瑰的图片（数据集）；
性能指标 P(Performance Measure)：计算机的测试集验证结果与在运行的规定时间内识别正确的概率。这是针对任务T与经验E设计的机器学习算法，通过该算法可以得到经验E的知识推出符合任务T的最佳拟合模型，据经验E来提高性能指标P的过程（典型的最优化问题）。性能则体现在现有的模型对新数据的处理能力（准确率 Performance Measure）

所以由Tom Mitshell的定义可以得出，机器学习是通过构造针对于任务T与经验E设计，得到的一个符合最佳拟合度的性能指标P的数据模型。

同时，针对于任务E与经验E设计的机器学习算法中，该算法的特点是随着经验E的数量越来越多，性能指标P也会越来越高（就像学习只会越学越聪明，这过程可能会出现数据波动，因为学了可能也会忘，但只需要反复训练还是会不断提升）。

那么我们现在再来尝试介绍一下机器人冲咖啡的过程的任务T、经验E和性能指标P的设计概念：

小结

通过前面的两个定义的介绍，我们了解到数学在现代机器学习中占有重要的作用。

机器学习是人工智能的一个重要分支，是实现智能化的关键

经典定义：是一种通过经验来改善计算机系统自身（模型）的性能的方式。现代的机器学习的方式也主要是参考定义2设计的。

现有的机器学习框架的主要是基于以下几点进行设计：

**经验：**在计算机系统中，即为数据（集)。对应于历史数据，如互联网数据、科学实验数据等。
**系统：**对应于数据模型，如决策树、支持向量机等。
**性能：**则是模型对新数据的处理能力，如分类和预测性能等。
**主要目标：**数据的智能分析与建模。预测未知、理解系统

人工神经网络及其发展

正式开始介绍神经网络之前，我们先来看几个简单的数学问题：

在充分调用各种感官和90义务教育的知识积累后，我们回答这些问题似乎太容易，容易到让我们感觉这些问题本身都没有太大意义。

可一旦想要理解人类大脑通过何种机制解决这些问题：视觉神经在这些问题中是如何起作用？信息如何在神经原接流转？

如何让计算机也具备回答这些问题的能力，事情就变得不那么简单了。

神经网络是一种仿生模型，即模仿人类的神经网络实现对事件进行处理分析，得到一个最佳的问题的解决方案。

因此我们先来了解一下生物神经源的结构与工作原理

人工神经网络概念

那么，人工神经网络也试图模仿生物神经网络的工作原理对应的神经源形式。人工神经网络(Aritificial Neural Network，ANN)是理论化的人脑神经网络的数学模型，是基于模仿大脑神经网络结构和功能而建立的一种信息处理系统。它实际上是一个由大量简单元件相互连接而成的复杂网络，具有高度的非线性，能够进行复杂的逻辑操作和非线性关系实现的系统。

人工神经网络也被称为“神经网络”或“人工神经系统”。通常缩写人工神经网络并将它们称为“ANN”或简称为“NN”。

对于一个被视为神经网络的系统，它必须包含一个带标签的图结构，图中的每个节点都执行一些简单的计算。从图论中，我们知道图由一组节点（即顶点）和一组将节点对连接在一起的连接（即边）组成。

人工神经网络应用领域与发展历史

语音识别：Siri的智能语音识别；

自动驾驶：当今人工智能主流研究方向；

搜索引擎优化、推荐算法、语言翻译：百度、谷歌、推荐算法；

人机博弈算法：AlphaGo围棋算法；

智能家居、安放：人脸识别、智能化监控设备。

从机器学习角度看人工智能的发展历史

机器学习中的三大流派

符号主义(Symbolists)
- 认知即计算，通过对符号的演绎和逆演绎进行结果预测
- 代表算法：逆演绎算法(Inverse deduction)
- 代表应用：知识图谱
联结主义(Connectionist)
- 对大脑进行仿真
- 代表算法：反向传播算法(Backpropagation)、深度学习(Deep learning)
- 代表应用：机器视觉、语音识别
行为主义(Analogizer)
- 新l旧知识间的相似性
- 代表算法：核机器(Kernel machines)、近邻算法(Nearest Neightor)
- 代表应用：Netflix推荐系统

同时还划分两个研究学派：

人工智能仿生学派：
- 人工智能模拟的是人类大脑对于世界的认识，研究大脑认知机理总结大脑处理信息的方式，即为实现人工智能的先决条件
人工智能的数理学派：
- 在现在以及可预见的未来，我们无法完全了解人脑的认知机理，计算机与人脑具有截然不同的物理属性和体系结构。

神经网络的发展概述

深度学习有悠久的发展历史，但在2010年后才逐渐成熟。

深度学习主导了第三次人工智能热潮，得益于ABC三点：

Algorithm(算法)：深层神经网络训练算法日趋成熟，识别精度越来越高;
Big data(大数据)：有足够多的大数据来做神经网络的训练;
Computing(算力)：深度学习处理器芯片的计算能力较强。

神经网络的发展历程

1943年：模型M-P神经元模型的提出

McCulloch-Pitts神经元模型

美国心理学家McCulloch和数学家Pitts，提出的模拟人类神经元网络进行信息处理的数学模型
神经元的特点:多输入单输出;突触(传递神经冲动的地方)兼有兴奋和抑制两种性能;能时间加权和空间加权;可产生脉冲;脉冲进行传递;非线性
简单的线性加权的方式来模拟这个过程，其中l为输入，W为权重，加权的和经过一个阈值函数后作为输出。

1949年：Hebb假设

在1949年出版的《行为的组织》中，赫布（Hebb）提出了其神经心理学理论。

赫布（Hebb）规则与“条件反射”机理一致，为以后的神经网络学习算法奠定了基础，具有重大的历史意义。

1958年：Rosenblatt感知机(Perceptron)算法

感知器的提出引起了大量科学家对人工神经网络研究的兴趣，对神经网络的发展具有里程碑式的意义。

1969年：XOR问题的质疑

1982-1984年：寒冬期的发展阶段

1986-1989年：MLP和BP算法的提出

1986-2006年：统计学习占领主流

1995年：统计学习-SVM

统计学习的优点

SVM利用内积核函数代替向高维空间的非线性映射；
SVM是一种有坚实理论基础的新颖的小样本学习方法；
SVM的最终决策函数只由少数的支持向量所确定,计算的复杂性取决于支持向量的数目,而非样本空间的维数，避免“维数灾难”；
少数支持向量决策，简单高效，鲁棒性好（稳定性好）。
G.Hinton等人提出了Deep Belief Network，它是一种生成模型，通过训练其神经元间的权重，使得整个神经网络按照最大概率来生成训练数据。
使用非监督贪婪逐层方法去预训练获得权值，不用靠经验提取数据特征，经过底层网络自动提炼

2006-2017年：崛起阶段

**2006年，杰弗里·辛顿以及他的学生鲁斯兰·萨拉赫丁诺夫正式提出了深度学习的概念。**他们在世界顶级学术期刊《Science》发表的一篇文章中详细的给出了“梯度消失”问题的解决方案——通过无监督的学习方法逐层训练算法，再使用有监督的反向传播算法进行调优。该深度学习方法的提出，立即在学术圈引起了巨大的反响，斯坦福大学、纽约大学、加拿大蒙特利尔大学等成为研究深度学习的重镇，至此开启了深度学习在学术界和工业界的浪潮。
2011年，ReLU激活函数被提出，该激活函数能够有效的抑制梯度消失问题。2011年以来，微软首次将DL应用在语音识别上，取得了重大突破。微软研究院和Google的语音识别研究人员先后采用深度神经网络DNN技术降低语音识别错误率至20％~30％，是语音识别领域十多年来最大的突破性进展。

QQ图片20220505111217

2012年，DNN技术在图像识别领域取得惊人的效果，在ImageNet评测上将错误率从26％降低到15％。在这一年，DNN还被应用于制药公司的DrugeActivity预测问题，并获得世界最好成绩。2012年，在著名的ImageNet图像识别大赛中，杰弗里·辛顿课题组为了证明深度学习的潜力，**首次参加ImageNet图像识别比赛，其通过构建的CNN网络AlexNet一举夺得冠军，且碾压第二名（SVM方法）的分类性能。**也正是由于该比赛，CNN吸引到了众多研究者的注意。深度学习算法在世界大赛的脱颖而出，也再一次吸引了学术界和工业界对于深度学习领域的注意。
随着深度学习技术的不断进步以及数据处理能力的不断提升，2014年，Facebook基于深度学习技术的DeepFace项目，在人脸识别方面的准确率已经能达到97%以上，跟人类识别的准确率几乎没有差别。这样的结果也再一次证明了深度学习算法在图像识别方面的一骑绝尘。
**2016年3月，由谷歌（Google）旗下DeepMind公司开发的AlphaGo(基于深度学习算法)**与围棋世界冠军、职业九段棋手李世石进行围棋人机大战，以4比1的总比分获胜；2016年末2017年初，该程序在中国棋类网站上以“大师”（Master）为注册帐号与中日韩数十位围棋高手进行快棋对决，连续60局无一败绩。
2017年，基于强化学习算法的AlphaGo升级版AlphaGo Zero横空出世。其采用“从零开始”、“无师自通”的学习模式，以100:0的比分轻而易举打败了之前的AlphaGo。此外在这一年，深度学习的相关算法在医疗、金融、艺术、无人驾驶等多个领域均取得了显著的成果。所以，也有专家把2017年看作是深度学习甚至是人工智能发展最为突飞猛进的一年。

QQ图片20220505111338

ANN（神经网络）的未来

forever Or dispear?

进入21世纪，纵观机器学习发展历程，研究热点可以简单总结为2000-2006年的流形学习、2006年-2011年的稀疏学习、2012年至今的深度学习。未来哪种机器学习算法会成为热点呢?
吴恩达曾表示，“在继深度学习之后，迁移学习将引领下一波机器学习技术”。但最终机器学习的下一个热点是什么，谁又能说得准呢。

贝尔实验室的5年之约