約束優化(Constrained Optimization)，即約束優化問題，是優化問題的分支。它是在一系列約束條件下，尋找一組參數值，使某個或某一組函數的目標值達到最優。其中約束條件既可以是等式約束也可以是不等式約束。尋找這一組參數值的關鍵可是：滿足約束條件和目標值要達到最優。求解約束問題的方法可分為傳統方法和進化算法。
在數學優化中，約束優化（在某些上下文中稱為約束優化）是 在存在對這些變量的約束的情況下針對某些變量優化目標函數的過程。目標函數是要最小化的成本函數或能量函數，或者要最大化的獎勵函數或效用函數。約束可以是硬約束，它為需要滿足的變量設置條件，或者軟約束，如果並且基於不滿足變量條件的程度，則具有在目標函數中受到懲罰的一些變量值。
估計理論是對收信端接收到的混有噪聲的信號，用統計學方法估計出信號的參量或狀態的理論。估計分為參量估計和狀態估計兩類。參量和狀態的區別是：前者隨着時間保持不變或只緩慢變化；後者則隨着時間連續變化。
例如，根據雷達回波來估計每一時刻在連續變化的衛星的三個空間位置矢量和三個速度矢量，這是狀態估計。對衛星的質量和慣量等的估計則屬於參量估計。被估計的參量又可分為隨機變量和非隨機變量兩種。要估計的狀態則又有離散時間和連續時間的區別。
估算理論是統計學的一個分支，它處理基於具有隨機分量的測量經驗數據估計參數值。參數以這樣的方式描述基礎物理設置，即它們的值影響測量數據的分布。一種估計嘗試使用近似測量的未知參數。當數據由多個變量組成並且一個估計它們之間的關係時，估計被稱為回歸分析。
在估計理論中，通常考慮兩種方法。
假設檢驗是推論統計中用於檢驗統計假設的一種方法。而“統計假設”是可通過觀察一組隨機變量的模型進行檢驗的科學假說。一旦能估計未知參數，就會希望根據結果對未知的真正參數值做出適當的推論。
統計上對參數的假設，就是對一個或多個參數的論述。而其中欲檢驗其正確性的為零假設（null hypothesis），零假設通常由研究者決定，反映研究者對未知參數的看法。相對於零假設的其他有關參數之論述是備擇假設（alternative hypothesis），它通常反映了執行檢定的研究者對參數可能數值的另一種（對立的）看法（換句話說，備擇假設通常才是研究者最想知道的）。
統計假設，有時也被稱為驗證數據的分析，是一種假設是的基礎上，可檢驗的觀察是一個過程模型通過一組隨機變量。統計假設檢驗是的方法統計推斷。
通常，比較兩個統計數據集，或者將通過採樣獲得的數據集與來自理想化模型的合成數據集進行比較。針對兩個數據集之間的統計關係提出了一個假設，並將其作為替代方案進行比較理想化的零假設，提出兩個數據集之間沒有關係。如果根據閾值概率 – 顯着性水平，數據集之間的關係將是不可能實現零假設，則該比較被認為是統計上顯着的。假設檢驗用於確定研究的哪些結果會導致對預先指定的顯着性水平拒絕零假設。通過識別兩種概念類型的錯誤來輔助區分零假設和替代假設的過程。
第一種類型在零假設被錯誤拒絕時發生。當零假設被錯誤地假設為真時，會發生第二種類型的錯誤（類型1和類型2錯誤）。通過指定閾值概率（’alpha’），例如，產生類型1錯誤的可允許風險，可以控制統計決策過程。
數理統計是數學的一個分支，分為描述統計和推斷統計。它以概率論為基礎，研究大量隨機現象的統計規律性。描述統計的任務是搜集資料，進行整理、分組，編製次數分配表，繪製次數分配曲線，計算各種特徵指標，以描述資料分布的集中趨勢、離中趨勢和次數分布的偏斜度等。推斷統計是在描述統計的基礎上，根據樣本資料歸納出的規律性，對總體進行推斷和預測。
統計數據收集涉及的研究規劃，尤其是與隨機實驗的設計與規劃調查採用隨機抽樣。對數據的初步分析通常遵循在進行研究之前指定的研究方案。還可以分析來自研究的數據，以考慮受初始結果啟發的次要假設，或建議新的研究。來自計劃研究的數據的二次分析使用來自數據分析的工具，並且這樣做的過程是數學統計。
數據分析分為：
描述性統計 – 描述數據的統計數據部分，即匯總數據及其典型屬性。
推論統計 – 從數據中得出結論的統計數據部分（使用某些數據模型）：例如，推論統計涉及選擇數據模型，檢查數據是否滿足特定模型的條件，並量化涉及不確定性（例如使用置信區間）。
雖然數據分析工具最適用於隨機研究的數據，但它們也適用於其他類型的數據。例如，從自然實驗和觀察研究中，在這種情況下，推斷取決於統計學家選擇的模型，因此是主觀的。
統計學中，MAP為最大後驗概率（Maximum a posteriori）的縮寫。估計方法根據經驗數據獲得對難以觀察的量的點估計。它與最大似然估計中的 Fisher方法有密切關係，但是它使用了一個增大的優化目標，這種方法將被估計量的先驗分布融合到其中。所以最大後驗估計可以看作是規則化（regularization）的最大似然估計。
在貝葉斯統計，一個最大後驗概率（MAP）估計是未知數，即等於的估計模式的的後驗分布。MAP可用於基於經驗數據獲得未觀測量的點估計。它與最大似然（ML）估計方法密切相關，但採用了包含先驗分布的增強優化目標（量化通過相關事件的先前知識獲得的額外信息）超過想要估計的數量。因此，MAP估計可以被視為ML估計的正則化。
最大似然估計是一種統計方法，它用來求一個樣本集的相關概率密度函數的參數。這個方法最早是遺傳學家以及統計學家羅納德·費雪爵士在1912年至1922年間開始使用的。
“似然”是對likelihood 的一種較為貼近文言文的翻譯，“似然”用現代的中文來說即“可能性”。故而，若稱之為“最大可能性估計”則更加通俗易懂。
最大似然法明確地使用概率模型，其目標是尋找能夠以較高概率產生觀察數據的系統發生樹。最大似然法是一類完全基於統計的系統發生樹重建方法的代表。該方法在每組序列比對中考慮了每個核苷酸替換的概率。
例如，轉換出現的概率大約是顛換的三倍。在一個三條序列的比對中，如果發現其中有一列為一個C，一個T和一個G，我們有理由認為，C和T所在的序列之間的關係很有可能更接近。由於被研究序列的共同祖先序列是未知的，概率的計算變得複雜；又由於可能在一個位點或多個位點發生多次替換，並且不是所有的位點都是相互獨立，概率計算的複雜度進一步加大。儘管如此，還是能用客觀標準來計算每個位點的概率，計算表示序列關係的每棵可能的樹的概率。然後，根據定義，概率總和最大的那棵樹最有可能是反映真實情況的系統發生樹。
在統計學中，最大似然估計（MLE）是一種在給定觀察的情況下估計統計模型的參數的方法。在給定觀察結果的情況下，MLE嘗試找到使似然函數最大化的參數值。得到的估計稱為最大似然估計，其也縮寫為MLE。
最大似然法用於廣泛的統計分析。例如，假設我們對成年雌性企鵝的高度感興趣，但無法測量群體中每隻企鵝的高度（由於成本或時間的限制）。假設高度正常分布有一些未知的均值和方差，可以用MLE估計均值和方差，同時只知道總體人口的某些樣本的高度。MLE將通過將均值和方差作為參數並找到特定的參數值來實現這一點，這些參數值使得觀察到的結果在給定正態模型的情況下最可能。
從貝葉斯推斷的角度來看，MLE是最大後驗估計（MAP）的特殊情況，其假設參數的均勻 先驗分布。另一方面，從頻率論推斷的角度來看，MLE是在不使用先驗分布的情況下獲得參數估計的幾種方法之一。通過不對參數進行概率陳述來避免使用引物，而僅考慮它們的估計，其屬性完全由觀察和統計模型定義。
後驗概率是信息理論的基本概念之一。
在一個通信系統中，在收到某個消息之後，接收端所了解到的該消息發送的概率稱為後驗概率。 後驗概率的計算要以先驗概率為基礎。後驗概率可以根據通過貝葉斯公式，用先驗概率和似然函數計算出來。
在貝葉斯統計，所述後驗概率一個的隨機事件或不確定的命題是條件概率是分配相關後證據或背景考慮。類似地，後驗概率分布是未知量的概率分布，作為隨機變量處理，條件是從實驗或調查中獲得的證據。在這種情況下，“後驗”是指在考慮與被審查的具體案件有關的相關證據之後。
例如，如果一個人在一個隨機點上挖掘，就會發現（“非後驗”）概率，如果他們在金屬探測器響起的地方挖掘，則會發現埋藏寶藏的後驗概率。
先驗概率（prior probability）是指根據以往經驗和分析得到的概率，如全概率公式，它往往作為”由因求果”問題中的”因”出現的概率。
在貝葉斯統計推斷中，不確定數量的先驗概率分布是在考慮一些因素之前表達對這一數量的置信程度的概率分布。例如，先驗概率分布可能代表在將來的選舉中投票給特定政治家的選民相對比例的概率分布。未知的數量可以是模型的參數或者是潛在變量。
在貝葉斯 統計推斷中，不確定數量的先驗概率分布（通常簡稱為先驗）是在考慮某些證據之前表達一個人對該數量的信念的概率分布。例如，先驗可以是概率分布，其表示將在未來選舉中投票給特定政治家的選民的相對比例。未知數量可以是模型的參數或潛在變量而不是可觀察變量。
貝葉斯定理計算之前和的重整化逐點乘積似然函數，以產生後驗概率分布，其是給定的數據量不確定的條件分布。 同樣，先驗概率一的隨機事件或一個不確定的命題是無條件的概率任何相關證據是考慮到之前分配。
概率論是研究隨機現象數量規律的數學分支。隨機現象是相對於決定性現象而言的。在一定條件下必然發生某一結果的現象稱為決定性現象。例如在標準大氣壓下，純水加熱到100℃時水必然會沸騰等。隨機現象則是指在基本條件不變的情況下，每一次試驗或觀察前，不能肯定會出現哪種結果，呈現出偶然性。
例如，擲一硬幣，可能出現正面或反面。隨機現象的實現和對它的觀察稱為隨機試驗。隨機試驗的每一可能結果稱為一個基本事件，一個或一組基本事件統稱隨機事件，或簡稱事件。典型的隨機試驗有擲骰子、扔硬幣、抽撲克牌以及輪盤遊戲等。
概率論是與概率有關的數學分支。雖然存在幾種不同的概率解釋，但概率論通過一組公理來表達它，從而以嚴格的數學方式對待概念。典型地，這些公理在一個方面正規化概率概率空間，其中分配一個量度 0和1之間取值，稱為概率測度，對一組的結果被稱為的樣本空間。這些結果的任何指定子集稱為事件。
概率論中的中心主體包括離散和連續隨機變量，概率分布和隨機過程，它們提供非確定性或不確定過程或測量量的數學抽象，這些過程可以是單次出現或隨機隨時間演變。
矩陣（Matrix）是一個按照長方陣列排列的複數或實數集合，元素是實數的矩陣稱為實矩陣，元素是複數的矩陣稱為復矩陣。而行數與列數都等於n的矩陣稱為n階矩陣或n階方陣。
由 m × n 個數aij排成的m行n列的數表稱為m行n列的矩陣，簡稱m × n矩陣。記作：
這4個概念是維度不斷上升的，我們用點線面體的概念來比喻解釋會更加容易理解：
感興趣的可以通過下面的內容了解詳情：
《一文看懂標量》
《一文看懂向量》
《一文看懂矩陣》
《一文看懂張量》
在數學中，矩陣（Matrix）是一個按照長方陣列排列的複數或實數集合，最早來自於方程組的係數及常數所構成的方陣。這一概念由19世紀英國數學家凱利首先提出。
矩陣是高等代數學中的常見工具，也常見於統計分析等應用數學學科中。在物理學中，矩陣於電路學、力學、光學和量子物理中都有應用；計算機科學中，三維動畫製作也需要用到矩陣。 矩陣的運算是數值分析領域的重要問題。將矩陣分解為簡單矩陣的組合可以在理論和實際應用上簡化矩陣的運算。對一些應用廣泛而形式特殊的矩陣，例如稀疏矩陣和准對角矩陣，有特定的快速運算算法。關於矩陣相關理論的發展和應用，請參考矩陣理論。在天體物理、量子力學等領域，也會出現無窮維的矩陣，是矩陣的一種推廣。
在數學中，矩陣是一個矩形 陣列的數字，符號，或表達，排列成行和列。例如，下面矩陣的尺寸是2×3（讀“兩乘三”），因為有兩行三列：
如果它們具有相同的大小（每個矩陣具有與另一個相同的行數和相同的列數），則可以逐個元素地添加或減去兩個矩陣（參見符合矩陣）。然而，矩陣乘法的規則是，只有當第一列中的列數等於第二列中的行數時，兩個矩陣才能相乘（即，內部維度相同，n為（m × n）） – 矩陣乘以（n × p）矩陣，得到（m × p）-矩陣。反過來沒有產品，第一個暗示矩陣乘法不是可交換的。任何矩陣都可以通過其相關字段中的標量逐個元素相乘。 在各個項米 × Ñ矩陣甲，經常表示為一個我，Ĵ，其中我和Ĵ通常會發生變化，從1至米和 Ñ分別被稱為它的元素或條目。
為了方便地表示矩陣運算結果的元素，元素的索引通常附加到帶括號或括號的矩陣表達式中; 例如：（AB）i，j指矩陣乘積的元素。在上下文中抽象指數表示法這個含糊不清也指整個矩陣乘積。