约束优化(Constrained Optimization)，即约束优化问题，是优化问题的分支。它是在一系列约束条件下，寻找一组参数值，使某个或某一组函数的目标值达到最优。其中约束条件既可以是等式约束也可以是不等式约束。寻找这一组参数值的关键可是：满足约束条件和目标值要达到最优。求解约束问题的方法可分为传统方法和进化算法。
在数学优化中，约束优化（在某些上下文中称为约束优化）是 在存在对这些变量的约束的情况下针对某些变量优化目标函数的过程。目标函数是要最小化的成本函数或能量函数，或者要最大化的奖励函数或效用函数。约束可以是硬约束，它为需要满足的变量设置条件，或者软约束，如果并且基于不满足变量条件的程度，则具有在目标函数中受到惩罚的一些变量值。
估计理论是对收信端接收到的混有噪声的信号，用统计学方法估计出信号的参量或状态的理论。估计分为参量估计和状态估计两类。参量和状态的区别是：前者随着时间保持不变或只缓慢变化；后者则随着时间连续变化。
例如，根据雷达回波来估计每一时刻在连续变化的卫星的三个空间位置矢量和三个速度矢量，这是状态估计。对卫星的质量和惯量等的估计则属于参量估计。被估计的参量又可分为随机变量和非随机变量两种。要估计的状态则又有离散时间和连续时间的区别。
估算理论是统计学的一个分支，它处理基于具有随机分量的测量经验数据估计参数值。参数以这样的方式描述基础物理设置，即它们的值影响测量数据的分布。一种估计尝试使用近似测量的未知参数。当数据由多个变量组成并且一个估计它们之间的关系时，估计被称为回归分析。
在估计理论中，通常考虑两种方法。
假设检验是推论统计中用于检验统计假设的一种方法。而“统计假设”是可通过观察一组随机变量的模型进行检验的科学假说。一旦能估计未知参数，就会希望根据结果对未知的真正参数值做出适当的推论。
统计上对参数的假设，就是对一个或多个参数的论述。而其中欲检验其正确性的为零假设（null hypothesis），零假设通常由研究者决定，反映研究者对未知参数的看法。相对于零假设的其他有关参数之论述是备择假设（alternative hypothesis），它通常反映了执行检定的研究者对参数可能数值的另一种（对立的）看法（换句话说，备择假设通常才是研究者最想知道的）。
统计假设，有时也被称为验证数据的分析，是一种假设是的基础上，可检验的观察是一个过程模型通过一组随机变量。统计假设检验是的方法统计推断。
通常，比较两个统计数据集，或者将通过采样获得的数据集与来自理想化模型的合成数据集进行比较。针对两个数据集之间的统计关系提出了一个假设，并将其作为替代方案进行比较理想化的零假设，提出两个数据集之间没有关系。如果根据阈值概率 – 显着性水平，数据集之间的关系将是不可能实现零假设，则该比较被认为是统计上显着的。假设检验用于确定研究的哪些结果会导致对预先指定的显着性水平拒绝零假设。通过识别两种概念类型的错误来辅助区分零假设和替代假设的过程。
第一种类型在零假设被错误拒绝时发生。当零假设被错误地假设为真时，会发生第二种类型的错误（类型1和类型2错误）。通过指定阈值概率（’alpha’），例如，产生类型1错误的可允许风险，可以控制统计决策过程。
数理统计是数学的一个分支，分为描述统计和推断统计。它以概率论为基础，研究大量随机现象的统计规律性。描述统计的任务是搜集资料，进行整理、分组，编制次数分配表，绘制次数分配曲线，计算各种特征指标，以描述资料分布的集中趋势、离中趋势和次数分布的偏斜度等。推断统计是在描述统计的基础上，根据样本资料归纳出的规律性，对总体进行推断和预测。
统计数据收集涉及的研究规划，尤其是与随机实验的设计与规划调查采用随机抽样。对数据的初步分析通常遵循在进行研究之前指定的研究方案。还可以分析来自研究的数据，以考虑受初始结果启发的次要假设，或建议新的研究。来自计划研究的数据的二次分析使用来自数据分析的工具，并且这样做的过程是数学统计。
数据分析分为：
描述性统计 – 描述数据的统计数据部分，即汇总数据及其典型属性。
推论统计 – 从数据中得出结论的统计数据部分（使用某些数据模型）：例如，推论统计涉及选择数据模型，检查数据是否满足特定模型的条件，并量化涉及不确定性（例如使用置信区间）。
虽然数据分析工具最适用于随机研究的数据，但它们也适用于其他类型的数据。例如，从自然实验和观察研究中，在这种情况下，推断取决于统计学家选择的模型，因此是主观的。
统计学中，MAP为最大后验概率（Maximum a posteriori）的缩写。估计方法根据经验数据获得对难以观察的量的点估计。它与最大似然估计中的 Fisher方法有密切关系，但是它使用了一个增大的优化目标，这种方法将被估计量的先验分布融合到其中。所以最大后验估计可以看作是规则化（regularization）的最大似然估计。
在贝叶斯统计，一个最大后验概率（MAP）估计是未知数，即等于的估计模式的的后验分布。MAP可用于基于经验数据获得未观测量的点估计。它与最大似然（ML）估计方法密切相关，但采用了包含先验分布的增强优化目标（量化通过相关事件的先前知识获得的额外信息）超过想要估计的数量。因此，MAP估计可以被视为ML估计的正则化。
最大似然估计是一种统计方法，它用来求一个样本集的相关概率密度函数的参数。这个方法最早是遗传学家以及统计学家罗纳德·费雪爵士在1912年至1922年间开始使用的。
“似然”是对likelihood 的一种较为贴近文言文的翻译，“似然”用现代的中文来说即“可能性”。故而，若称之为“最大可能性估计”则更加通俗易懂。
最大似然法明确地使用概率模型，其目标是寻找能够以较高概率产生观察数据的系统发生树。最大似然法是一类完全基于统计的系统发生树重建方法的代表。该方法在每组序列比对中考虑了每个核苷酸替换的概率。
例如，转换出现的概率大约是颠换的三倍。在一个三条序列的比对中，如果发现其中有一列为一个C，一个T和一个G，我们有理由认为，C和T所在的序列之间的关系很有可能更接近。由于被研究序列的共同祖先序列是未知的，概率的计算变得复杂；又由于可能在一个位点或多个位点发生多次替换，并且不是所有的位点都是相互独立，概率计算的复杂度进一步加大。尽管如此，还是能用客观标准来计算每个位点的概率，计算表示序列关系的每棵可能的树的概率。然后，根据定义，概率总和最大的那棵树最有可能是反映真实情况的系统发生树。
在统计学中，最大似然估计（MLE）是一种在给定观察的情况下估计统计模型的参数的方法。在给定观察结果的情况下，MLE尝试找到使似然函数最大化的参数值。得到的估计称为最大似然估计，其也缩写为MLE。
最大似然法用于广泛的统计分析。例如，假设我们对成年雌性企鹅的高度感兴趣，但无法测量群体中每只企鹅的高度（由于成本或时间的限制）。假设高度正常分布有一些未知的均值和方差，可以用MLE估计均值和方差，同时只知道总体人口的某些样本的高度。MLE将通过将均值和方差作为参数并找到特定的参数值来实现这一点，这些参数值使得观察到的结果在给定正态模型的情况下最可能。
从贝叶斯推断的角度来看，MLE是最大后验估计（MAP）的特殊情况，其假设参数的均匀 先验分布。另一方面，从频率论推断的角度来看，MLE是在不使用先验分布的情况下获得参数估计的几种方法之一。通过不对参数进行概率陈述来避免使用引物，而仅考虑它们的估计，其属性完全由观察和统计模型定义。
后验概率是信息理论的基本概念之一。
在一个通信系统中，在收到某个消息之后，接收端所了解到的该消息发送的概率称为后验概率。 后验概率的计算要以先验概率为基础。后验概率可以根据通过贝叶斯公式，用先验概率和似然函数计算出来。
在贝叶斯统计，所述后验概率一个的随机事件或不确定的命题是条件概率是分配相关后证据或背景考虑。类似地，后验概率分布是未知量的概率分布，作为随机变量处理，条件是从实验或调查中获得的证据。在这种情况下，“后验”是指在考虑与被审查的具体案件有关的相关证据之后。
例如，如果一个人在一个随机点上挖掘，就会发现（“非后验”）概率，如果他们在金属探测器响起的地方挖掘，则会发现埋藏宝藏的后验概率。
先验概率（prior probability）是指根据以往经验和分析得到的概率，如全概率公式，它往往作为”由因求果”问题中的”因”出现的概率。
在贝叶斯统计推断中，不确定数量的先验概率分布是在考虑一些因素之前表达对这一数量的置信程度的概率分布。例如，先验概率分布可能代表在将来的选举中投票给特定政治家的选民相对比例的概率分布。未知的数量可以是模型的参数或者是潜在变量。
在贝叶斯 统计推断中，不确定数量的先验概率分布（通常简称为先验）是在考虑某些证据之前表达一个人对该数量的信念的概率分布。例如，先验可以是概率分布，其表示将在未来选举中投票给特定政治家的选民的相对比例。未知数量可以是模型的参数或潜在变量而不是可观察变量。
贝叶斯定理计算之前和的重整化逐点乘积似然函数，以产生后验概率分布，其是给定的数据量不确定的条件分布。 同样，先验概率一的随机事件或一个不确定的命题是无条件的概率任何相关证据是考虑到之前分配。
概率论是研究随机现象数量规律的数学分支。随机现象是相对于决定性现象而言的。在一定条件下必然发生某一结果的现象称为决定性现象。例如在标准大气压下，纯水加热到100℃时水必然会沸腾等。随机现象则是指在基本条件不变的情况下，每一次试验或观察前，不能肯定会出现哪种结果，呈现出偶然性。
例如，掷一硬币，可能出现正面或反面。随机现象的实现和对它的观察称为随机试验。随机试验的每一可能结果称为一个基本事件，一个或一组基本事件统称随机事件，或简称事件。典型的随机试验有掷骰子、扔硬币、抽扑克牌以及轮盘游戏等。
概率论是与概率有关的数学分支。虽然存在几种不同的概率解释，但概率论通过一组公理来表达它，从而以严格的数学方式对待概念。典型地，这些公理在一个方面正规化概率概率空间，其中分配一个量度 0和1之间取值，称为概率测度，对一组的结果被称为的样本空间。这些结果的任何指定子集称为事件。
概率论中的中心主体包括离散和连续随机变量，概率分布和随机过程，它们提供非确定性或不确定过程或测量量的数学抽象，这些过程可以是单次出现或随机随时间演变。
矩阵（Matrix）是一个按照长方阵列排列的复数或实数集合，元素是实数的矩阵称为实矩阵，元素是复数的矩阵称为复矩阵。而行数与列数都等于n的矩阵称为n阶矩阵或n阶方阵。
由 m × n 个数aij排成的m行n列的数表称为m行n列的矩阵，简称m × n矩阵。记作：
这4个概念是维度不断上升的，我们用点线面体的概念来比喻解释会更加容易理解：
感兴趣的可以通过下面的内容了解详情：
《一文看懂标量》
《一文看懂向量》
《一文看懂矩阵》
《一文看懂张量》
在数学中，矩阵（Matrix）是一个按照长方阵列排列的复数或实数集合，最早来自于方程组的系数及常数所构成的方阵。这一概念由19世纪英国数学家凯利首先提出。
矩阵是高等代数学中的常见工具，也常见于统计分析等应用数学学科中。在物理学中，矩阵于电路学、力学、光学和量子物理中都有应用；计算机科学中，三维动画制作也需要用到矩阵。 矩阵的运算是数值分析领域的重要问题。将矩阵分解为简单矩阵的组合可以在理论和实际应用上简化矩阵的运算。对一些应用广泛而形式特殊的矩阵，例如稀疏矩阵和准对角矩阵，有特定的快速运算算法。关于矩阵相关理论的发展和应用，请参考矩阵理论。在天体物理、量子力学等领域，也会出现无穷维的矩阵，是矩阵的一种推广。
在数学中，矩阵是一个矩形 阵列的数字，符号，或表达，排列成行和列。例如，下面矩阵的尺寸是2×3（读“两乘三”），因为有两行三列：
如果它们具有相同的大小（每个矩阵具有与另一个相同的行数和相同的列数），则可以逐个元素地添加或减去两个矩阵（参见符合矩阵）。然而，矩阵乘法的规则是，只有当第一列中的列数等于第二列中的行数时，两个矩阵才能相乘（即，内部维度相同，n为（m × n）） – 矩阵乘以（n × p）矩阵，得到（m × p）-矩阵。反过来没有产品，第一个暗示矩阵乘法不是可交换的。任何矩阵都可以通过其相关字段中的标量逐个元素相乘。 在各个项米 × Ñ矩阵甲，经常表示为一个我，Ĵ，其中我和Ĵ通常会发生变化，从1至米和 Ñ分别被称为它的元素或条目。
为了方便地表示矩阵运算结果的元素，元素的索引通常附加到带括号或括号的矩阵表达式中; 例如：（AB）i，j指矩阵乘积的元素。在上下文中抽象指数表示法这个含糊不清也指整个矩阵乘积。