Klassieke Lineaire regressie

Een belangrijk onderdeel van AI is het vermogen van computers om onzekerheid om te zetten naar uitspraken die iets meer zekerheid bieden.

Het klassiek algoritme die dat ook doen betreft regressie-analyse. Dit algoritme, in ieder geval ideeën ervan, worden bij veel AI-programmatuur gebruikt. Simple Lineair Regession \begin{align} y_i& = \beta_0 + \beta_1 * x_i + \epsilon_i\\ \widehat y_i& = \hat\beta_0 + \hat\beta_1 * x_i\\ e_i& = y_i - \widehat y_i\\ R&SS = \sum_{i=1}^n (e_i)^2\\ M&inimize_{\beta_0 \beta_1} RSS\\ \end{align}

Minimaliseren, m.a.w. vaststellen wat de beste combinatie van $\beta_0$ en $\beta_1$ is kan op twee manieren:

1. Aflleiden via  normaalvergelijkingen
2. Uitrekenen via gradient-descent algoritme

De zo gevonden combinatie van parameters ( $\beta_0$ en $\beta_1$) zegt op zich niet zoveel. We moeten de analyseren of de gevonden parameters ook breder toe te passen zijn dan alleen op de set waarden waar we de regressie op hebben toegepast.
In statistics and machine learning, the bias–variance tradeoff (or dilemma) is the problem of simultaneously minimizing two sources of error that prevent supervised learning algorithms from generalizing beyond their training set:

The bias is error from erroneous assumptions in the learning algorithm. High bias can cause an algorithm to miss the relevant relations between features and target outputs (underfitting).

The variance is error from sensitivity to small fluctuations in the training set. High variance can cause overfitting: modeling the random noise in the training data, rather than the intended outputs.