Description
Description:
1. Random Data Generator
Generating values from normal distribution
You have to handcraft your geneartor based on one of the approaches given in the
2. Sequential Estimator
Sequential estimate the mean and variance
Data is given from the univariate gaussian data generator (1.a).Input: as in (1.a) Function:
Call (1.a) to get a new data point from
Use sequential estimation to find the current estimates to       and
3. Baysian Linear regression
Input
The precision (i.e., b) for initial prior
All other required inputs for the polynomial basis linear model geneartor (1.b) Function
Call (1.b) to generate one data point
Update the prior, and calculate the parameters of predictive distribution Repeat steps above until the posterior probability converges.
Output
Print the new data point and the current paramters for posterior and predictive distribution.
After probability converged, do the visualization
Ground truth function (from linear model generator)
Final predict result
At the time that have seen 10 data points
At the time that have seen 50 data points
Except ground truth, you have to draw those data points which you have seen before
Draw a black line to represent the mean of function at each point
Draw two red lines to represent the variance of function at each point
In other words, distance between red line and mean is ONE variance
Hint: Online learning
Sample input & output (for reference only)
- b = 1, n = 4, a = 1, w = [1, 2, 3, 4]
30
31Â Â Â Predictive distribution ~ N(0.06869, 1.66008) Â 32 33Â Â Â Add data point (-0.19330, 0.24507): Â Â Â Â 34 35Â Â Â Â Â Â Postirior mean: Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â 36Â Â Â Â Â Â 0.5760972313 Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â 37Â Â Â Â Â Â 0.2450231522 Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â 38Â Â Â Â Â Â -0.0801842453 Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â 39Â Â Â Â Â Â 0.0504992402 Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â 40 41 Posterior variance: Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â |
42 Â Â Â Â Â Â 0.2867129751, 0.1311255325, -0.0767580827, 0.0438488542 |
43 Â Â Â Â Â Â 0.1311255325, 0.7892001707, 0.1242887609, -0.0801412282 |
44Â Â Â Â Â Â Â -0.0767580827, 0.1242887609, 0.9176812972, 0.0541575540
45Â Â Â Â Â Â Â 0.0438488542, -0.0801412282, 0.0541575540, 0.9642058389 46 47 Predictive distribution ~ N(0.62305, 1.34848) Â Â Â Â Â 48 49 50 … Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â 51 52 53 Add data point (-0.76990, -0.34768): Â Â Â Â Â Â Â Â Â Â Â Â Â 54 55Â Â Â Â Â Â Â Postirior mean: Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â 56Â Â Â Â Â Â Â 0.9107496675 Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â 57Â Â Â Â Â Â Â 1.9265499885 Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â 58Â Â Â Â Â Â Â 3.1119297129 Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â 59Â Â Â Â Â Â Â 4.1312375189 Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â 60 61 Posterior variance: Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â |
62 Â Â Â Â Â Â 0.0051883836, -0.0004416700, -0.0086000319, 0.0008247001 |
63Â Â Â Â Â Â Â -0.0004416700, 0.0401966605, 0.0012708906, -0.0554822477
64Â Â Â Â Â Â Â -0.0086000319, 0.0012708906, 0.0265353911, -0.0031205875 65Â Â Â Â Â Â Â 0.0008247001, -0.0554822477, -0.0031205875, 0.0937197255 66 67 Predictive distribution ~ N(-0.61566, 1.00921) Â 68 69 Add data point (0.36500, 2.22705): Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â 70 71Â Â Â Â Â Â Â Postirior mean: Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â 72Â Â Â Â Â Â Â 0.9107404583 Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â 73Â Â Â Â Â Â Â 1.9265225090 Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â 74Â Â Â Â Â Â Â 3.1119408740 Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â 75Â Â Â Â Â Â Â 4.1312734131 Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â 76 77 Posterior variance: Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â Â |
78 Â Â Â Â Â 0.0051731092, -0.0004872471, -0.0085815201, 0.0008842340 |
- b = 100, n = 4, a = 1, w = [1, 2, 3, 4]
- b = 1, n = 3, a = 3, w = [1, 2, 3]