1.1概述
补充：
丑小鸭定理
上个世纪60年代，模式识别研究的鼻祖之一，美籍日本学者渡边慧证明了“丑小鸭定理”。这个定理说的是“丑小鸭与白天鹅之间的区别和两只白天鹅之间的区别一样大”。这个看起来完全违背常识的定理实际上说的是：世界上不存在分类的客观标准，一切分类的标准都是主观的。渡边慧举了一个鲸鱼的例子说明这个定理：按照生物学的分类方法，鲸鱼属于哺乳类的偶蹄目，和牛是一类；但是在产业界，捕鲸与捕鱼都要行船出海，鲸和鱼同属于水产业，而不属于包括牛的畜牧业。分类结果取决于选择什么特征作为分类标准，而特征的选择又依存于人的目的。丑小鸭是白天鹅的幼雏，在画家的眼里，丑小鸭和白天鹅的区别大于两只白天鹅的区别；但是在遗传学家的眼里，丑小鸭与其父亲或母亲的差别小于父母之间的差别。 由此引出的一个问题是，事物有没有“本质”？一个苹果，牛顿看到的是它的质量，遗传学家看到的是它的染色体中的DNA序列，美食家关心的是它的味道，画家看到的是它的颜色和形状，孔融还可能关注其大小并从中看出道德因素。这里面没有谁对谁错的问题，所以不可能知道苹果的“本质”是什么。在说到“本质”的时候，充其量说的只是“我认为最重要的特征”，只代表个人的立场，他人并没有赞同的充分理由。所以任何使用“本质”这个词汇所进行的论证都是靠不住的。如果一个哲学家说：“思维是人的本质，计算机不具备这种本质，所以机器不能思维。”这种论证只相当于说：“我认为计算机不能思维，所以计算机不能思维。”这当然不能成为有效的论证。问题就在于世界上还不存在能够判断什么是事物的本质的公认的有效方法。
没有免费午餐定理
这个定理最最原始的表述是说：对于基于迭代的最优化算法，不存在某种算法，对所有问题都好。如果一个算法对某些问题非常好，那么一定存在另一些问题，对于这些问题，该算法比随机猜测还要差。 明确地说，就是，对于具体问题必须具体分析。不存在某种方法，能大小通吃。这个定理是数学上严格证明的。 该定理扩展开来，就是说，任何方法都有局限性。局限于某个问题，某个领域，某种特性。搞计算机的人可能更能理解，在计算机中计算时间和所需内存通常就是矛盾的。看用户更注重哪种特性，考虑用时间换内存还是用内存换时间。 这个定理给了我们很多的提示。比如有人宣称自己有一套理论方法，适合任何领域，任何领域的问题都能解决，这个就是不可信的。因为没有免费午餐定理已经告诉我们，这种通用的理论和随机猜测效果是一样的。
参考：国防科技大学-模式识别（国家级精品课）
