Práctica Independiente - IML - Solution
Germán Rosati
Carga de librerías y datos
library(caret)
library(tidyverse)
library(rpart)
df <- MASS::Boston %>% mutate(chas=factor(chas, labels=c('No','Si')))
head(df)Entrenar un Gradient Boosting
Entrenemos un modelo Random Forest con este dataset:
set.seed(282)
tr_index <- createDataPartition(y=df$medv,
p=0.8,
list=FALSE)
train <- df[tr_index,]
test <- df[-tr_index,]
set.seed(499)
cv_index <- createFolds(y=train$medv,
k=5,
list=TRUE,
returnTrain=TRUE)
gb_trControl <- trainControl(
index=cv_index,
method="cv",
number=5
)
gb_grid <- expand.grid(n.trees=200,
interaction.depth=c(3,4,5),
shrinkage=c(0.1, 0.01),
n.minobsinnode=c(5,10)
)t0 <- proc.time()
gb_fit <- train(medv ~ . ,
data = train,
method = "gbm",
trControl = gb_trControl,
tuneGrid = gb_grid
)Iter TrainDeviance ValidDeviance StepSize Improve
1 86.3967 nan 0.0100 0.9263
2 85.1826 nan 0.0100 1.0446
3 83.9100 nan 0.0100 1.1352
4 82.7911 nan 0.0100 1.1419
5 81.7186 nan 0.0100 1.1333
6 80.6003 nan 0.0100 1.0008
7 79.6793 nan 0.0100 0.8707
8 78.5959 nan 0.0100 1.0249
9 77.6018 nan 0.0100 0.7690
10 76.5660 nan 0.0100 0.9307
20 67.2101 nan 0.0100 0.8784
40 52.5555 nan 0.0100 0.6817
60 42.1036 nan 0.0100 0.4403
80 34.4213 nan 0.0100 0.2612
100 28.5806 nan 0.0100 0.1964
120 24.1426 nan 0.0100 0.1656
140 21.0413 nan 0.0100 0.1063
160 18.5935 nan 0.0100 0.0659
180 16.7134 nan 0.0100 0.0645
200 15.2334 nan 0.0100 0.0662
Iter TrainDeviance ValidDeviance StepSize Improve
1 86.5882 nan 0.0100 1.1820
2 85.3515 nan 0.0100 1.1516
3 84.1096 nan 0.0100 0.9542
4 82.9037 nan 0.0100 0.9829
5 81.7008 nan 0.0100 1.0482
6 80.6123 nan 0.0100 1.1623
7 79.4986 nan 0.0100 1.1234
8 78.4386 nan 0.0100 1.0776
9 77.3794 nan 0.0100 0.8237
10 76.4522 nan 0.0100 1.0070
20 67.2014 nan 0.0100 0.8489
40 52.9312 nan 0.0100 0.5127
60 42.5747 nan 0.0100 0.4693
80 34.5137 nan 0.0100 0.2803
100 28.9307 nan 0.0100 0.2541
120 24.7417 nan 0.0100 0.1638
140 21.6032 nan 0.0100 0.1309
160 19.1477 nan 0.0100 0.0653
180 17.4392 nan 0.0100 0.0575
200 15.9719 nan 0.0100 0.0400
Iter TrainDeviance ValidDeviance StepSize Improve
1 86.4850 nan 0.0100 1.2836
2 85.3098 nan 0.0100 1.1931
3 84.0945 nan 0.0100 1.3503
4 82.9098 nan 0.0100 1.1750
5 81.7534 nan 0.0100 0.9787
6 80.6649 nan 0.0100 0.9198
7 79.4920 nan 0.0100 1.0106
8 78.2926 nan 0.0100 1.0176
9 77.1515 nan 0.0100 1.0748
10 75.9911 nan 0.0100 0.9712
20 65.9607 nan 0.0100 0.6784
40 50.8080 nan 0.0100 0.5256
60 39.9044 nan 0.0100 0.2990
80 32.0841 nan 0.0100 0.2980
100 26.3550 nan 0.0100 0.1829
120 22.1243 nan 0.0100 0.1448
140 19.0343 nan 0.0100 0.1299
160 16.6350 nan 0.0100 0.0733
180 14.8777 nan 0.0100 0.0623
200 13.4718 nan 0.0100 0.0306
Iter TrainDeviance ValidDeviance StepSize Improve
1 86.4653 nan 0.0100 1.3402
2 85.4278 nan 0.0100 0.9454
3 84.2629 nan 0.0100 1.1376
4 83.0523 nan 0.0100 1.0609
5 81.9320 nan 0.0100 1.0958
6 80.7261 nan 0.0100 1.1697
7 79.5491 nan 0.0100 1.0193
8 78.5085 nan 0.0100 1.0970
9 77.3763 nan 0.0100 1.0774
10 76.3278 nan 0.0100 1.1367
20 66.7233 nan 0.0100 0.7584
40 51.5783 nan 0.0100 0.5556
60 40.6963 nan 0.0100 0.4488
80 33.0879 nan 0.0100 0.2937
100 27.1365 nan 0.0100 0.1357
120 22.9331 nan 0.0100 0.1638
140 19.8719 nan 0.0100 0.0900
160 17.6490 nan 0.0100 0.0768
180 15.8911 nan 0.0100 0.0256
200 14.6123 nan 0.0100 0.0118
Iter TrainDeviance ValidDeviance StepSize Improve
1 86.4506 nan 0.0100 1.1807
2 84.9831 nan 0.0100 1.4554
3 83.6636 nan 0.0100 1.1308
4 82.4713 nan 0.0100 1.0586
5 81.2101 nan 0.0100 1.1064
6 79.9729 nan 0.0100 1.3155
7 78.7009 nan 0.0100 1.0962
8 77.4270 nan 0.0100 1.2586
9 76.3639 nan 0.0100 0.9546
10 75.1134 nan 0.0100 1.3861
20 65.0295 nan 0.0100 0.9594
40 49.4524 nan 0.0100 0.6749
60 38.1462 nan 0.0100 0.4874
80 30.3178 nan 0.0100 0.2857
100 24.6120 nan 0.0100 0.1528
120 20.4432 nan 0.0100 0.1365
140 17.4075 nan 0.0100 0.0527
160 15.0988 nan 0.0100 0.0764
180 13.3748 nan 0.0100 0.0524
200 12.0619 nan 0.0100 0.0280
Iter TrainDeviance ValidDeviance StepSize Improve
1 86.4772 nan 0.0100 1.3392
2 85.1759 nan 0.0100 1.0713
3 83.8823 nan 0.0100 1.0525
4 82.6468 nan 0.0100 1.2195
5 81.5256 nan 0.0100 1.1703
6 80.5458 nan 0.0100 0.9847
7 79.4122 nan 0.0100 0.8375
8 78.2176 nan 0.0100 1.2390
9 77.1643 nan 0.0100 1.2131
10 75.9742 nan 0.0100 0.9196
20 65.9585 nan 0.0100 0.9003
40 50.5980 nan 0.0100 0.6374
60 39.5054 nan 0.0100 0.3565
80 31.6701 nan 0.0100 0.3258
100 25.9065 nan 0.0100 0.2057
120 21.7044 nan 0.0100 0.1265
140 18.7191 nan 0.0100 0.1283
160 16.3470 nan 0.0100 0.0874
180 14.6181 nan 0.0100 0.0384
200 13.3253 nan 0.0100 0.0254
Iter TrainDeviance ValidDeviance StepSize Improve
1 75.6183 nan 0.1000 13.6756
2 66.2928 nan 0.1000 9.8607
3 58.1789 nan 0.1000 5.3206
4 51.2069 nan 0.1000 6.9458
5 46.2827 nan 0.1000 5.1332
6 42.0235 nan 0.1000 4.1388
7 38.0713 nan 0.1000 3.1169
8 34.2766 nan 0.1000 3.2159
9 30.4172 nan 0.1000 3.4638
10 27.5510 nan 0.1000 2.2012
20 14.8367 nan 0.1000 0.2881
40 9.4668 nan 0.1000 -0.1305
60 7.5524 nan 0.1000 0.0781
80 6.4198 nan 0.1000 -0.0277
100 5.3726 nan 0.1000 -0.0309
120 4.7241 nan 0.1000 -0.0720
140 3.9821 nan 0.1000 -0.0283
160 3.5423 nan 0.1000 -0.0326
180 3.1231 nan 0.1000 -0.0244
200 2.8571 nan 0.1000 -0.0369
Iter TrainDeviance ValidDeviance StepSize Improve
1 76.6854 nan 0.1000 11.0050
2 66.6660 nan 0.1000 8.8184
3 59.0683 nan 0.1000 7.0543
4 52.0563 nan 0.1000 6.0127
5 46.1820 nan 0.1000 5.3714
6 41.3250 nan 0.1000 4.2501
7 37.1158 nan 0.1000 2.9057
8 33.0407 nan 0.1000 3.8566
9 30.3905 nan 0.1000 2.6164
10 28.1273 nan 0.1000 1.7764
20 15.5652 nan 0.1000 0.4816
40 10.5559 nan 0.1000 -0.0297
60 8.2836 nan 0.1000 -0.0606
80 6.7015 nan 0.1000 -0.0431
100 5.8449 nan 0.1000 -0.0103
120 5.3310 nan 0.1000 -0.0278
140 4.6637 nan 0.1000 -0.0855
160 4.2047 nan 0.1000 -0.0337
180 3.8264 nan 0.1000 -0.0878
200 3.4115 nan 0.1000 -0.0238
Iter TrainDeviance ValidDeviance StepSize Improve
1 75.9604 nan 0.1000 13.4629
2 66.0502 nan 0.1000 8.9559
3 56.9882 nan 0.1000 8.8993
4 49.9108 nan 0.1000 6.6574
5 44.2705 nan 0.1000 5.9461
6 39.4064 nan 0.1000 3.9516
7 34.3702 nan 0.1000 4.5220
8 30.7831 nan 0.1000 2.9232
9 27.4467 nan 0.1000 2.5224
10 24.7783 nan 0.1000 2.0586
20 12.8058 nan 0.1000 0.1805
40 7.9511 nan 0.1000 -0.1644
60 5.7063 nan 0.1000 -0.1728
80 4.4647 nan 0.1000 -0.0092
100 3.7154 nan 0.1000 -0.0254
120 2.9880 nan 0.1000 -0.0247
140 2.6076 nan 0.1000 -0.0530
160 2.2593 nan 0.1000 -0.0199
180 1.9434 nan 0.1000 -0.0360
200 1.7010 nan 0.1000 -0.0078
Iter TrainDeviance ValidDeviance StepSize Improve
1 75.0460 nan 0.1000 10.3107
2 65.3524 nan 0.1000 8.6876
3 56.5951 nan 0.1000 7.8177
4 49.3131 nan 0.1000 6.2892
5 45.1101 nan 0.1000 3.7540
6 39.0986 nan 0.1000 4.6465
7 35.4972 nan 0.1000 3.4355
8 31.5324 nan 0.1000 4.1957
9 28.8072 nan 0.1000 2.6492
10 26.1778 nan 0.1000 2.2864
20 14.2621 nan 0.1000 0.3450
40 9.2151 nan 0.1000 0.0915
60 7.1480 nan 0.1000 -0.0490
80 5.7473 nan 0.1000 0.0034
100 4.8091 nan 0.1000 -0.0237
120 4.0539 nan 0.1000 -0.0978
140 3.5856 nan 0.1000 -0.0525
160 3.2295 nan 0.1000 -0.0592
180 2.9277 nan 0.1000 -0.0583
200 2.6415 nan 0.1000 -0.0419
Iter TrainDeviance ValidDeviance StepSize Improve
1 75.6973 nan 0.1000 12.3850
2 64.7645 nan 0.1000 9.2825
3 56.6191 nan 0.1000 7.8202
4 49.3963 nan 0.1000 7.3340
5 42.6432 nan 0.1000 5.4779
6 37.1050 nan 0.1000 4.4352
7 32.8390 nan 0.1000 2.9996
8 29.5128 nan 0.1000 3.0366
9 27.1021 nan 0.1000 2.2950
10 24.5393 nan 0.1000 2.6402
20 12.1236 nan 0.1000 0.1743
40 6.2145 nan 0.1000 -0.0414
60 4.4924 nan 0.1000 -0.0399
80 3.6027 nan 0.1000 -0.1269
100 2.9094 nan 0.1000 -0.0501
120 2.3920 nan 0.1000 -0.0234
140 2.0187 nan 0.1000 -0.0258
160 1.6935 nan 0.1000 -0.0269
180 1.4861 nan 0.1000 -0.0216
200 1.2686 nan 0.1000 -0.0337
Iter TrainDeviance ValidDeviance StepSize Improve
1 74.9949 nan 0.1000 11.1347
2 64.7084 nan 0.1000 10.0611
3 57.2294 nan 0.1000 8.1639
4 50.3760 nan 0.1000 5.9044
5 44.2320 nan 0.1000 5.1538
6 39.0651 nan 0.1000 4.4788
7 34.6090 nan 0.1000 4.0423
8 31.0863 nan 0.1000 3.3312
9 28.1446 nan 0.1000 2.1505
10 25.0647 nan 0.1000 2.6338
20 13.5213 nan 0.1000 0.2411
40 9.0594 nan 0.1000 -0.0828
60 6.8097 nan 0.1000 -0.1473
80 5.3885 nan 0.1000 -0.0455
100 4.5339 nan 0.1000 -0.0546
120 3.8490 nan 0.1000 -0.0095
140 3.2195 nan 0.1000 -0.0343
160 2.7928 nan 0.1000 -0.0265
180 2.3803 nan 0.1000 -0.0285
200 2.1044 nan 0.1000 -0.0272
Iter TrainDeviance ValidDeviance StepSize Improve
1 82.1437 nan 0.0100 1.2904
2 81.0526 nan 0.0100 1.1620
3 79.8452 nan 0.0100 0.9092
4 78.6632 nan 0.0100 1.0519
5 77.5120 nan 0.0100 1.0688
6 76.3433 nan 0.0100 1.1509
7 75.2549 nan 0.0100 1.1203
8 74.1952 nan 0.0100 1.1019
9 73.1404 nan 0.0100 0.9722
10 72.1344 nan 0.0100 1.0506
20 62.7469 nan 0.0100 0.9692
40 48.6309 nan 0.0100 0.6140
60 38.1803 nan 0.0100 0.3611
80 30.8002 nan 0.0100 0.2980
100 25.4079 nan 0.0100 0.1973
120 21.5324 nan 0.0100 0.1592
140 18.5230 nan 0.0100 0.0997
160 16.3822 nan 0.0100 0.0631
180 14.6817 nan 0.0100 0.0724
200 13.3523 nan 0.0100 0.0536
Iter TrainDeviance ValidDeviance StepSize Improve
1 82.1793 nan 0.0100 1.1098
2 80.9415 nan 0.0100 1.2760
3 79.7198 nan 0.0100 1.1923
4 78.5444 nan 0.0100 1.1605
5 77.3771 nan 0.0100 1.0030
6 76.3495 nan 0.0100 0.8223
7 75.2993 nan 0.0100 0.9514
8 74.2525 nan 0.0100 0.8979
9 73.1098 nan 0.0100 1.0582
10 72.0654 nan 0.0100 0.9446
20 62.5884 nan 0.0100 0.8113
40 48.0699 nan 0.0100 0.6167
60 38.2339 nan 0.0100 0.4271
80 31.2145 nan 0.0100 0.2362
100 26.0584 nan 0.0100 0.1778
120 22.1053 nan 0.0100 0.1736
140 19.1434 nan 0.0100 0.1023
160 16.9650 nan 0.0100 0.0822
180 15.3049 nan 0.0100 0.0426
200 13.9683 nan 0.0100 0.0322
Iter TrainDeviance ValidDeviance StepSize Improve
1 82.0802 nan 0.0100 1.5042
2 80.7803 nan 0.0100 1.3994
3 79.5984 nan 0.0100 1.0909
4 78.3624 nan 0.0100 0.9922
5 77.2344 nan 0.0100 1.0501
6 76.0414 nan 0.0100 0.9733
7 74.9192 nan 0.0100 1.0594
8 73.7877 nan 0.0100 1.0512
9 72.6814 nan 0.0100 1.0256
10 71.5531 nan 0.0100 1.3104
20 61.9336 nan 0.0100 0.7316
40 46.8567 nan 0.0100 0.3968
60 36.4669 nan 0.0100 0.4436
80 28.8866 nan 0.0100 0.3284
100 23.4810 nan 0.0100 0.2311
120 19.6592 nan 0.0100 0.1036
140 16.7479 nan 0.0100 0.0831
160 14.6862 nan 0.0100 0.0666
180 13.1207 nan 0.0100 0.0504
200 11.8794 nan 0.0100 0.0233
Iter TrainDeviance ValidDeviance StepSize Improve
1 82.1037 nan 0.0100 1.2432
2 80.8565 nan 0.0100 0.7471
3 79.6078 nan 0.0100 1.1931
4 78.4286 nan 0.0100 1.2227
5 77.2156 nan 0.0100 1.0021
6 75.9941 nan 0.0100 0.9522
7 74.8174 nan 0.0100 1.2492
8 73.6779 nan 0.0100 0.8937
9 72.5702 nan 0.0100 1.1308
10 71.4445 nan 0.0100 1.0929
20 61.8510 nan 0.0100 0.7992
40 47.3559 nan 0.0100 0.6181
60 36.9444 nan 0.0100 0.3083
80 29.6667 nan 0.0100 0.2855
100 24.2885 nan 0.0100 0.1998
120 20.4571 nan 0.0100 0.0890
140 17.7072 nan 0.0100 0.1001
160 15.6620 nan 0.0100 0.0617
180 14.0520 nan 0.0100 0.0363
200 12.7976 nan 0.0100 0.0281
Iter TrainDeviance ValidDeviance StepSize Improve
1 82.0376 nan 0.0100 1.5233
2 80.8001 nan 0.0100 1.2017
3 79.5343 nan 0.0100 1.1778
4 78.3625 nan 0.0100 1.1743
5 77.0960 nan 0.0100 1.0770
6 75.9050 nan 0.0100 0.9866
7 74.7438 nan 0.0100 1.0648
8 73.6737 nan 0.0100 0.9615
9 72.6044 nan 0.0100 1.0075
10 71.4229 nan 0.0100 1.4087
20 61.5841 nan 0.0100 0.8771
40 46.5374 nan 0.0100 0.6423
60 35.6374 nan 0.0100 0.4499
80 28.1305 nan 0.0100 0.2849
100 22.7291 nan 0.0100 0.2464
120 18.6694 nan 0.0100 0.1299
140 15.8364 nan 0.0100 0.0853
160 13.6747 nan 0.0100 0.0566
180 12.0585 nan 0.0100 0.0398
200 10.8182 nan 0.0100 0.0341
Iter TrainDeviance ValidDeviance StepSize Improve
1 82.0926 nan 0.0100 1.0380
2 80.8353 nan 0.0100 1.2004
3 79.5640 nan 0.0100 1.1246
4 78.3215 nan 0.0100 1.4121
5 77.1556 nan 0.0100 1.1714
6 76.0261 nan 0.0100 1.1703
7 74.8750 nan 0.0100 1.0436
8 73.6756 nan 0.0100 1.2342
9 72.5860 nan 0.0100 1.0804
10 71.5429 nan 0.0100 0.9447
20 61.5845 nan 0.0100 0.8610
40 46.9087 nan 0.0100 0.5869
60 36.4489 nan 0.0100 0.3835
80 28.7874 nan 0.0100 0.2419
100 23.3348 nan 0.0100 0.1957
120 19.3827 nan 0.0100 0.1225
140 16.5342 nan 0.0100 0.0884
160 14.4493 nan 0.0100 0.0456
180 12.9440 nan 0.0100 0.0417
200 11.7381 nan 0.0100 0.0247
Iter TrainDeviance ValidDeviance StepSize Improve
1 72.0588 nan 0.1000 8.9196
2 62.4512 nan 0.1000 7.2335
3 54.0696 nan 0.1000 6.5664
4 48.2199 nan 0.1000 7.2038
5 42.8882 nan 0.1000 4.6056
6 38.3066 nan 0.1000 3.3245
7 34.1082 nan 0.1000 3.6140
8 30.6830 nan 0.1000 2.9921
9 27.4351 nan 0.1000 2.5708
10 25.2120 nan 0.1000 1.6745
20 13.1373 nan 0.1000 0.3821
40 8.6311 nan 0.1000 -0.1181
60 6.6751 nan 0.1000 -0.0923
80 5.4055 nan 0.1000 -0.0483
100 4.6533 nan 0.1000 -0.0396
120 4.0230 nan 0.1000 -0.0235
140 3.5438 nan 0.1000 -0.0486
160 3.0273 nan 0.1000 -0.0515
180 2.7294 nan 0.1000 -0.0146
200 2.4389 nan 0.1000 -0.0516
Iter TrainDeviance ValidDeviance StepSize Improve
1 71.2018 nan 0.1000 10.5939
2 61.5301 nan 0.1000 10.5326
3 53.2435 nan 0.1000 8.5112
4 47.7194 nan 0.1000 5.9271
5 42.5579 nan 0.1000 4.8812
6 37.5705 nan 0.1000 3.9055
7 33.2802 nan 0.1000 3.9581
8 29.5641 nan 0.1000 3.1859
9 26.8748 nan 0.1000 2.5012
10 24.7248 nan 0.1000 2.3798
20 13.6910 nan 0.1000 0.3389
40 9.2009 nan 0.1000 -0.1169
60 7.6151 nan 0.1000 0.0035
80 6.6090 nan 0.1000 -0.0456
100 5.9162 nan 0.1000 -0.0571
120 5.2241 nan 0.1000 -0.0788
140 4.6867 nan 0.1000 -0.0490
160 4.1767 nan 0.1000 -0.0511
180 3.6936 nan 0.1000 -0.0424
200 3.3743 nan 0.1000 -0.0622
Iter TrainDeviance ValidDeviance StepSize Improve
1 71.8390 nan 0.1000 11.7534
2 61.5357 nan 0.1000 13.5175
3 53.2130 nan 0.1000 9.0848
4 46.5422 nan 0.1000 7.7312
5 40.4994 nan 0.1000 6.1775
6 35.6508 nan 0.1000 5.0343
7 32.0644 nan 0.1000 3.4340
8 28.4605 nan 0.1000 3.4620
9 26.0648 nan 0.1000 2.2019
10 23.5114 nan 0.1000 2.5264
20 11.4691 nan 0.1000 0.4237
40 6.6664 nan 0.1000 -0.0021
60 5.0432 nan 0.1000 0.0106
80 4.0513 nan 0.1000 -0.0468
100 3.2191 nan 0.1000 -0.0260
120 2.7209 nan 0.1000 -0.0200
140 2.3354 nan 0.1000 -0.0338
160 2.0482 nan 0.1000 -0.0296
180 1.7806 nan 0.1000 -0.0077
200 1.5340 nan 0.1000 -0.0176
Iter TrainDeviance ValidDeviance StepSize Improve
1 72.1875 nan 0.1000 12.2825
2 62.0413 nan 0.1000 10.0219
3 53.9076 nan 0.1000 7.6110
4 47.2718 nan 0.1000 6.1980
5 41.5626 nan 0.1000 6.1021
6 36.9710 nan 0.1000 4.6932
7 33.4586 nan 0.1000 3.6009
8 30.0047 nan 0.1000 2.8428
9 26.9543 nan 0.1000 2.6554
10 24.2861 nan 0.1000 2.2227
20 12.8281 nan 0.1000 0.1247
40 8.3507 nan 0.1000 -0.0943
60 6.9062 nan 0.1000 -0.0229
80 5.7660 nan 0.1000 -0.1073
100 4.8889 nan 0.1000 -0.0181
120 4.2018 nan 0.1000 -0.0334
140 3.5881 nan 0.1000 -0.0450
160 3.1539 nan 0.1000 -0.0355
180 2.8258 nan 0.1000 -0.0319
200 2.5463 nan 0.1000 -0.0272
Iter TrainDeviance ValidDeviance StepSize Improve
1 70.7100 nan 0.1000 10.8719
2 60.8910 nan 0.1000 8.5633
3 52.9948 nan 0.1000 8.3668
4 45.9607 nan 0.1000 6.7529
5 40.0427 nan 0.1000 5.3240
6 34.9762 nan 0.1000 4.4782
7 30.7019 nan 0.1000 4.1455
8 26.9074 nan 0.1000 2.9721
9 23.9878 nan 0.1000 2.8388
10 21.7689 nan 0.1000 1.6666
20 10.9717 nan 0.1000 0.2201
40 6.6510 nan 0.1000 -0.0091
60 4.7675 nan 0.1000 -0.0774
80 3.7544 nan 0.1000 -0.0178
100 3.0426 nan 0.1000 -0.0404
120 2.4572 nan 0.1000 -0.0374
140 1.9751 nan 0.1000 -0.0339
160 1.7005 nan 0.1000 -0.0165
180 1.4194 nan 0.1000 -0.0172
200 1.2019 nan 0.1000 -0.0185
Iter TrainDeviance ValidDeviance StepSize Improve
1 70.3022 nan 0.1000 12.9222
2 59.8029 nan 0.1000 10.1586
3 51.5629 nan 0.1000 9.0109
4 44.4735 nan 0.1000 6.4310
5 39.1678 nan 0.1000 4.5107
6 34.7790 nan 0.1000 3.2489
7 30.5190 nan 0.1000 3.5370
8 27.7058 nan 0.1000 2.9958
9 24.5913 nan 0.1000 2.4875
10 22.1954 nan 0.1000 1.3409
20 11.5042 nan 0.1000 0.1901
40 7.7066 nan 0.1000 -0.0767
60 5.9207 nan 0.1000 -0.0482
80 4.9818 nan 0.1000 -0.0133
100 4.1245 nan 0.1000 -0.0584
120 3.5192 nan 0.1000 -0.0640
140 2.9931 nan 0.1000 -0.0643
160 2.6195 nan 0.1000 -0.0592
180 2.2219 nan 0.1000 -0.0368
200 1.9464 nan 0.1000 -0.0253
Iter TrainDeviance ValidDeviance StepSize Improve
1 81.6432 nan 0.0100 0.9275
2 80.5158 nan 0.0100 1.0263
3 79.3795 nan 0.0100 0.9959
4 78.2578 nan 0.0100 0.9495
5 77.1414 nan 0.0100 1.0521
6 76.0682 nan 0.0100 0.8675
7 75.0976 nan 0.0100 0.7691
8 74.1164 nan 0.0100 0.9493
9 73.1437 nan 0.0100 1.0375
10 72.2298 nan 0.0100 0.7051
20 63.3367 nan 0.0100 0.7237
40 49.9490 nan 0.0100 0.4990
60 40.4129 nan 0.0100 0.3555
80 33.2745 nan 0.0100 0.1977
100 27.9932 nan 0.0100 0.2123
120 23.9164 nan 0.0100 0.1184
140 20.8099 nan 0.0100 0.1328
160 18.3854 nan 0.0100 0.1013
180 16.5568 nan 0.0100 0.0489
200 15.0541 nan 0.0100 0.0551
Iter TrainDeviance ValidDeviance StepSize Improve
1 81.5252 nan 0.0100 1.0842
2 80.3370 nan 0.0100 1.0856
3 79.3288 nan 0.0100 1.0929
4 78.2835 nan 0.0100 0.8675
5 77.3043 nan 0.0100 0.8962
6 76.4117 nan 0.0100 0.7355
7 75.4097 nan 0.0100 0.8732
8 74.4642 nan 0.0100 0.8607
9 73.4954 nan 0.0100 0.8798
10 72.4767 nan 0.0100 0.9005
20 63.8695 nan 0.0100 0.7980
40 50.6138 nan 0.0100 0.4875
60 41.1096 nan 0.0100 0.3290
80 33.9082 nan 0.0100 0.2942
100 28.6503 nan 0.0100 0.1567
120 24.8144 nan 0.0100 0.1128
140 21.8075 nan 0.0100 0.0717
160 19.4810 nan 0.0100 0.0665
180 17.7529 nan 0.0100 0.0358
200 16.3777 nan 0.0100 0.0453
Iter TrainDeviance ValidDeviance StepSize Improve
1 81.3930 nan 0.0100 1.2150
2 80.1988 nan 0.0100 1.1511
3 79.0691 nan 0.0100 1.1048
4 77.9117 nan 0.0100 1.1418
5 76.8566 nan 0.0100 1.1005
6 75.8177 nan 0.0100 1.0076
7 74.7512 nan 0.0100 0.8993
8 73.8184 nan 0.0100 0.9079
9 72.7657 nan 0.0100 0.9753
10 71.8189 nan 0.0100 1.0840
20 62.5244 nan 0.0100 0.6689
40 48.6728 nan 0.0100 0.5556
60 38.4346 nan 0.0100 0.3823
80 30.9226 nan 0.0100 0.2838
100 25.6761 nan 0.0100 0.1695
120 21.6179 nan 0.0100 0.1467
140 18.6931 nan 0.0100 0.0555
160 16.4121 nan 0.0100 0.0538
180 14.7115 nan 0.0100 0.0706
200 13.4057 nan 0.0100 0.0381
Iter TrainDeviance ValidDeviance StepSize Improve
1 81.3852 nan 0.0100 0.9828
2 80.2719 nan 0.0100 1.0367
3 79.2346 nan 0.0100 1.0895
4 78.1223 nan 0.0100 1.0614
5 76.9964 nan 0.0100 0.9186
6 76.0114 nan 0.0100 0.7760
7 74.9307 nan 0.0100 1.0101
8 73.8917 nan 0.0100 0.9347
9 72.9427 nan 0.0100 1.0054
10 71.9718 nan 0.0100 0.9324
20 63.2329 nan 0.0100 0.7369
40 49.2800 nan 0.0100 0.5742
60 39.2970 nan 0.0100 0.2981
80 31.9335 nan 0.0100 0.3024
100 26.7695 nan 0.0100 0.2455
120 22.9290 nan 0.0100 0.1298
140 20.0313 nan 0.0100 0.1206
160 17.8030 nan 0.0100 0.0428
180 15.9596 nan 0.0100 0.0512
200 14.6471 nan 0.0100 0.0044
Iter TrainDeviance ValidDeviance StepSize Improve
1 81.4351 nan 0.0100 1.0923
2 80.2168 nan 0.0100 1.1508
3 79.1213 nan 0.0100 1.1111
4 78.0427 nan 0.0100 1.1233
5 77.0830 nan 0.0100 0.8951
6 76.1430 nan 0.0100 0.9734
7 74.9849 nan 0.0100 0.8951
8 73.8751 nan 0.0100 1.0012
9 72.8555 nan 0.0100 0.8907
10 71.9239 nan 0.0100 0.8082
20 62.1906 nan 0.0100 0.7395
40 47.6115 nan 0.0100 0.5724
60 37.1310 nan 0.0100 0.4189
80 29.6357 nan 0.0100 0.2732
100 24.0487 nan 0.0100 0.2440
120 20.0626 nan 0.0100 0.1122
140 17.1636 nan 0.0100 0.0833
160 14.8668 nan 0.0100 0.0955
180 13.1471 nan 0.0100 0.0383
200 11.8508 nan 0.0100 0.0100
Iter TrainDeviance ValidDeviance StepSize Improve
1 81.4825 nan 0.0100 1.0788
2 80.2693 nan 0.0100 1.0741
3 79.2765 nan 0.0100 1.0380
4 78.1454 nan 0.0100 0.9090
5 77.0636 nan 0.0100 1.1187
6 75.8994 nan 0.0100 0.9877
7 74.7628 nan 0.0100 1.0722
8 73.7407 nan 0.0100 1.0408
9 72.7455 nan 0.0100 0.7721
10 71.7043 nan 0.0100 0.9985
20 62.6773 nan 0.0100 0.8992
40 48.0015 nan 0.0100 0.5350
60 37.9587 nan 0.0100 0.4355
80 30.7992 nan 0.0100 0.2162
100 25.4948 nan 0.0100 0.2027
120 21.7751 nan 0.0100 0.1209
140 18.8395 nan 0.0100 0.1230
160 16.6231 nan 0.0100 0.0956
180 14.9780 nan 0.0100 0.0498
200 13.7227 nan 0.0100 0.0192
Iter TrainDeviance ValidDeviance StepSize Improve
1 71.9674 nan 0.1000 7.5939
2 63.8175 nan 0.1000 8.6177
3 57.0334 nan 0.1000 4.6367
4 50.6207 nan 0.1000 5.7284
5 44.6887 nan 0.1000 5.0424
6 40.0835 nan 0.1000 4.1703
7 36.9467 nan 0.1000 2.2164
8 33.8153 nan 0.1000 2.3765
9 31.1519 nan 0.1000 1.7094
10 28.5866 nan 0.1000 2.3620
20 15.8560 nan 0.1000 -0.0396
40 9.5432 nan 0.1000 0.1150
60 7.3608 nan 0.1000 -0.1174
80 6.0753 nan 0.1000 -0.0608
100 5.1926 nan 0.1000 -0.0509
120 4.4577 nan 0.1000 -0.0734
140 3.9289 nan 0.1000 -0.0608
160 3.4303 nan 0.1000 -0.0224
180 3.0282 nan 0.1000 -0.0276
200 2.7213 nan 0.1000 -0.0143
Iter TrainDeviance ValidDeviance StepSize Improve
1 72.6982 nan 0.1000 8.4563
2 64.3083 nan 0.1000 7.3401
3 56.5523 nan 0.1000 6.6394
4 50.7853 nan 0.1000 5.6238
5 45.8158 nan 0.1000 3.6304
6 41.9543 nan 0.1000 3.4174
7 37.7820 nan 0.1000 4.0195
8 34.6240 nan 0.1000 2.6997
9 31.5767 nan 0.1000 2.5255
10 29.4897 nan 0.1000 2.0836
20 16.5985 nan 0.1000 -0.1255
40 10.9710 nan 0.1000 0.1795
60 8.7549 nan 0.1000 -0.0642
80 7.3546 nan 0.1000 -0.0386
100 6.4768 nan 0.1000 -0.0713
120 5.7114 nan 0.1000 -0.0678
140 5.2188 nan 0.1000 -0.0293
160 4.7172 nan 0.1000 -0.0957
180 4.3091 nan 0.1000 -0.0473
200 4.0038 nan 0.1000 -0.0701
Iter TrainDeviance ValidDeviance StepSize Improve
1 71.8089 nan 0.1000 11.0727
2 62.3006 nan 0.1000 8.3176
3 55.3346 nan 0.1000 6.8320
4 48.7962 nan 0.1000 5.8261
5 43.3808 nan 0.1000 5.2586
6 37.8872 nan 0.1000 3.8785
7 34.1494 nan 0.1000 4.3299
8 30.9364 nan 0.1000 3.2965
9 28.2200 nan 0.1000 2.0361
10 26.0946 nan 0.1000 1.6343
20 13.2004 nan 0.1000 0.6153
40 8.1773 nan 0.1000 0.0793
60 6.2387 nan 0.1000 -0.0263
80 4.8957 nan 0.1000 -0.0722
100 4.1289 nan 0.1000 -0.0432
120 3.3308 nan 0.1000 -0.0545
140 2.8762 nan 0.1000 -0.0188
160 2.4804 nan 0.1000 -0.0618
180 2.1507 nan 0.1000 -0.0157
200 1.8862 nan 0.1000 -0.0223
Iter TrainDeviance ValidDeviance StepSize Improve
1 72.7317 nan 0.1000 10.2873
2 63.5442 nan 0.1000 9.2637
3 56.3259 nan 0.1000 7.2305
4 49.1880 nan 0.1000 5.9137
5 42.6015 nan 0.1000 4.9925
6 37.6143 nan 0.1000 3.0815
7 33.4738 nan 0.1000 3.2562
8 30.4893 nan 0.1000 2.4194
9 28.0548 nan 0.1000 2.1568
10 25.9386 nan 0.1000 1.5732
20 15.0355 nan 0.1000 0.4855
40 9.9405 nan 0.1000 -0.1184
60 7.4922 nan 0.1000 0.0850
80 5.8833 nan 0.1000 -0.0596
100 4.8450 nan 0.1000 -0.0134
120 4.2192 nan 0.1000 -0.0686
140 3.6886 nan 0.1000 -0.0642
160 3.3232 nan 0.1000 -0.0326
180 2.9386 nan 0.1000 -0.0208
200 2.6158 nan 0.1000 -0.0117
Iter TrainDeviance ValidDeviance StepSize Improve
1 70.6393 nan 0.1000 12.0422
2 61.6627 nan 0.1000 8.0139
3 53.3332 nan 0.1000 7.3683
4 46.6199 nan 0.1000 6.8210
5 41.0806 nan 0.1000 4.5765
6 36.5489 nan 0.1000 4.4208
7 32.6087 nan 0.1000 3.6169
8 29.0313 nan 0.1000 2.9381
9 26.3977 nan 0.1000 2.4185
10 23.9377 nan 0.1000 2.2910
20 12.2204 nan 0.1000 0.2045
40 7.3151 nan 0.1000 -0.0138
60 5.2622 nan 0.1000 -0.0301
80 4.0798 nan 0.1000 -0.1341
100 3.2642 nan 0.1000 -0.0025
120 2.6196 nan 0.1000 -0.0018
140 2.1726 nan 0.1000 -0.0497
160 1.8294 nan 0.1000 -0.0180
180 1.5259 nan 0.1000 -0.0343
200 1.3271 nan 0.1000 -0.0209
Iter TrainDeviance ValidDeviance StepSize Improve
1 70.8933 nan 0.1000 12.0824
2 62.6796 nan 0.1000 7.9378
3 53.9187 nan 0.1000 7.2436
4 47.6253 nan 0.1000 5.9925
5 42.2018 nan 0.1000 5.5050
6 37.6181 nan 0.1000 4.4432
7 33.6501 nan 0.1000 3.4942
8 30.5204 nan 0.1000 3.2480
9 27.2265 nan 0.1000 2.4205
10 24.7064 nan 0.1000 1.8258
20 13.6325 nan 0.1000 0.2193
40 8.5455 nan 0.1000 -0.1267
60 6.4733 nan 0.1000 0.0404
80 5.1542 nan 0.1000 -0.0512
100 4.1975 nan 0.1000 -0.0863
120 3.4698 nan 0.1000 -0.0254
140 2.9640 nan 0.1000 -0.0323
160 2.5658 nan 0.1000 -0.0359
180 2.2658 nan 0.1000 -0.0416
200 1.9813 nan 0.1000 -0.0575
Iter TrainDeviance ValidDeviance StepSize Improve
1 86.9561 nan 0.0100 1.1767
2 85.7201 nan 0.0100 1.0827
3 84.4493 nan 0.0100 1.0728
4 83.2754 nan 0.0100 1.1081
5 82.1125 nan 0.0100 1.2066
6 80.9701 nan 0.0100 1.0370
7 79.8806 nan 0.0100 0.8887
8 78.8742 nan 0.0100 0.9689
9 77.8319 nan 0.0100 0.9119
10 76.7380 nan 0.0100 1.0033
20 67.1940 nan 0.0100 0.8166
40 52.4601 nan 0.0100 0.5938
60 41.8904 nan 0.0100 0.4261
80 34.2410 nan 0.0100 0.3408
100 28.3391 nan 0.0100 0.2356
120 24.0439 nan 0.0100 0.1420
140 20.8710 nan 0.0100 0.1000
160 18.3509 nan 0.0100 0.0996
180 16.4118 nan 0.0100 0.0423
200 14.8079 nan 0.0100 0.0453
Iter TrainDeviance ValidDeviance StepSize Improve
1 87.0077 nan 0.0100 1.2922
2 85.8052 nan 0.0100 1.3525
3 84.7552 nan 0.0100 1.1952
4 83.5411 nan 0.0100 0.9886
5 82.3477 nan 0.0100 0.9439
6 81.1563 nan 0.0100 0.8652
7 79.9558 nan 0.0100 1.0720
8 78.8676 nan 0.0100 0.9896
9 77.7692 nan 0.0100 1.1559
10 76.7275 nan 0.0100 0.8123
20 67.2352 nan 0.0100 0.8900
40 52.6524 nan 0.0100 0.4878
60 42.3621 nan 0.0100 0.3747
80 34.5983 nan 0.0100 0.3307
100 28.9824 nan 0.0100 0.1265
120 24.8680 nan 0.0100 0.1661
140 21.7070 nan 0.0100 0.0844
160 19.2850 nan 0.0100 0.0556
180 17.4325 nan 0.0100 0.0459
200 15.9567 nan 0.0100 0.0074
Iter TrainDeviance ValidDeviance StepSize Improve
1 87.0641 nan 0.0100 0.9712
2 85.8169 nan 0.0100 1.1535
3 84.6709 nan 0.0100 1.1419
4 83.5450 nan 0.0100 1.1997
5 82.3386 nan 0.0100 1.1686
6 81.2309 nan 0.0100 1.3002
7 80.0886 nan 0.0100 0.8187
8 78.9472 nan 0.0100 1.0592
9 77.8220 nan 0.0100 1.0982
10 76.6190 nan 0.0100 1.0055
20 66.2839 nan 0.0100 0.8420
40 50.8301 nan 0.0100 0.5859
60 39.6477 nan 0.0100 0.2886
80 31.6253 nan 0.0100 0.2623
100 25.9912 nan 0.0100 0.1682
120 21.8067 nan 0.0100 0.1449
140 18.5671 nan 0.0100 0.1116
160 16.0179 nan 0.0100 0.0784
180 14.1314 nan 0.0100 0.0654
200 12.6776 nan 0.0100 0.0372
Iter TrainDeviance ValidDeviance StepSize Improve
1 87.1219 nan 0.0100 1.1953
2 85.9066 nan 0.0100 1.2958
3 84.7316 nan 0.0100 1.0633
4 83.5414 nan 0.0100 1.1527
5 82.2908 nan 0.0100 1.1786
6 81.1697 nan 0.0100 1.3244
7 79.9625 nan 0.0100 0.7820
8 78.8428 nan 0.0100 1.2534
9 77.6676 nan 0.0100 1.1010
10 76.5335 nan 0.0100 0.6754
20 66.7306 nan 0.0100 0.9242
40 51.4615 nan 0.0100 0.5753
60 40.8437 nan 0.0100 0.4083
80 32.9491 nan 0.0100 0.2532
100 27.3249 nan 0.0100 0.2229
120 23.1602 nan 0.0100 0.1433
140 19.9645 nan 0.0100 0.0881
160 17.5738 nan 0.0100 0.0730
180 15.9081 nan 0.0100 0.0531
200 14.3997 nan 0.0100 0.0491
Iter TrainDeviance ValidDeviance StepSize Improve
1 86.9248 nan 0.0100 1.3200
2 85.6637 nan 0.0100 1.3131
3 84.2678 nan 0.0100 1.2665
4 83.0062 nan 0.0100 1.1422
5 81.7374 nan 0.0100 1.1272
6 80.4482 nan 0.0100 0.9915
7 79.3350 nan 0.0100 1.1894
8 78.1508 nan 0.0100 1.1738
9 77.0327 nan 0.0100 1.2245
10 75.8869 nan 0.0100 1.0832
20 65.3470 nan 0.0100 0.9411
40 49.0634 nan 0.0100 0.6595
60 37.9688 nan 0.0100 0.4643
80 29.7204 nan 0.0100 0.3568
100 23.9748 nan 0.0100 0.1801
120 19.7053 nan 0.0100 0.1355
140 16.6367 nan 0.0100 0.0978
160 14.4096 nan 0.0100 0.0630
180 12.6795 nan 0.0100 0.0424
200 11.3139 nan 0.0100 0.0254
Iter TrainDeviance ValidDeviance StepSize Improve
1 87.0507 nan 0.0100 1.3140
2 85.6322 nan 0.0100 1.4029
3 84.2554 nan 0.0100 1.2490
4 82.9315 nan 0.0100 1.2591
5 81.6105 nan 0.0100 1.2109
6 80.3624 nan 0.0100 0.9760
7 79.2565 nan 0.0100 1.1751
8 78.1299 nan 0.0100 1.0354
9 76.9570 nan 0.0100 1.0919
10 75.8366 nan 0.0100 1.1350
20 65.9840 nan 0.0100 0.8948
40 50.4929 nan 0.0100 0.6581
60 39.4867 nan 0.0100 0.4016
80 31.6334 nan 0.0100 0.2496
100 25.8195 nan 0.0100 0.1912
120 21.7538 nan 0.0100 0.1779
140 18.7591 nan 0.0100 0.0938
160 16.4788 nan 0.0100 0.0605
180 14.6785 nan 0.0100 0.0676
200 13.2917 nan 0.0100 0.0501
Iter TrainDeviance ValidDeviance StepSize Improve
1 75.9032 nan 0.1000 12.4210
2 65.8803 nan 0.1000 9.1063
3 57.3796 nan 0.1000 6.2872
4 50.8310 nan 0.1000 5.2804
5 44.8267 nan 0.1000 4.0609
6 39.6371 nan 0.1000 4.3012
7 36.0627 nan 0.1000 3.1174
8 33.2900 nan 0.1000 2.5012
9 30.4881 nan 0.1000 2.0935
10 27.9132 nan 0.1000 1.2102
20 16.1252 nan 0.1000 0.3500
40 10.0370 nan 0.1000 -0.1062
60 7.8378 nan 0.1000 -0.0603
80 6.4679 nan 0.1000 -0.0403
100 5.5424 nan 0.1000 -0.0755
120 4.6912 nan 0.1000 -0.0686
140 4.1803 nan 0.1000 -0.0053
160 3.6903 nan 0.1000 -0.0603
180 3.2902 nan 0.1000 -0.0637
200 2.9088 nan 0.1000 -0.0304
Iter TrainDeviance ValidDeviance StepSize Improve
1 76.1181 nan 0.1000 11.7199
2 68.1223 nan 0.1000 8.1755
3 59.4573 nan 0.1000 7.8168
4 52.9500 nan 0.1000 6.1017
5 46.7612 nan 0.1000 5.7588
6 42.8560 nan 0.1000 2.5890
7 38.8923 nan 0.1000 3.8219
8 35.0335 nan 0.1000 4.2768
9 32.4652 nan 0.1000 1.9734
10 29.9991 nan 0.1000 1.4804
20 17.6131 nan 0.1000 0.4535
40 11.4923 nan 0.1000 -0.0964
60 9.3619 nan 0.1000 -0.0246
80 7.5691 nan 0.1000 0.0526
100 6.2520 nan 0.1000 -0.0796
120 5.4841 nan 0.1000 -0.0709
140 4.8261 nan 0.1000 -0.0783
160 4.2849 nan 0.1000 -0.0272
180 3.8366 nan 0.1000 -0.0500
200 3.4765 nan 0.1000 -0.0466
Iter TrainDeviance ValidDeviance StepSize Improve
1 75.1631 nan 0.1000 11.3499
2 64.9272 nan 0.1000 9.1857
3 57.1752 nan 0.1000 6.8572
4 50.7797 nan 0.1000 6.7804
5 43.6869 nan 0.1000 5.8983
6 38.4321 nan 0.1000 4.5488
7 33.9358 nan 0.1000 3.5924
8 30.8863 nan 0.1000 3.5108
9 27.6822 nan 0.1000 2.0210
10 25.0283 nan 0.1000 2.2124
20 12.2724 nan 0.1000 0.1681
40 7.2323 nan 0.1000 0.0499
60 5.3109 nan 0.1000 -0.0714
80 4.2986 nan 0.1000 -0.0479
100 3.4772 nan 0.1000 -0.0428
120 2.8869 nan 0.1000 -0.0369
140 2.5293 nan 0.1000 -0.0604
160 2.1710 nan 0.1000 -0.0071
180 1.9123 nan 0.1000 -0.0268
200 1.6645 nan 0.1000 -0.0176
Iter TrainDeviance ValidDeviance StepSize Improve
1 75.6776 nan 0.1000 10.9762
2 65.0701 nan 0.1000 10.0243
3 56.9395 nan 0.1000 6.7916
4 49.7875 nan 0.1000 7.2401
5 43.6554 nan 0.1000 5.6307
6 39.0614 nan 0.1000 4.0676
7 35.0608 nan 0.1000 3.3937
8 31.8961 nan 0.1000 2.3410
9 28.8375 nan 0.1000 1.7312
10 26.5192 nan 0.1000 2.5651
20 14.5375 nan 0.1000 0.4482
40 8.7967 nan 0.1000 0.0541
60 6.8166 nan 0.1000 -0.0929
80 5.6219 nan 0.1000 -0.0568
100 4.6414 nan 0.1000 -0.0328
120 3.9637 nan 0.1000 -0.0056
140 3.4116 nan 0.1000 -0.0629
160 3.0138 nan 0.1000 -0.0178
180 2.6326 nan 0.1000 -0.0234
200 2.3476 nan 0.1000 -0.0327
Iter TrainDeviance ValidDeviance StepSize Improve
1 74.9698 nan 0.1000 10.7754
2 64.4057 nan 0.1000 11.5503
3 55.6129 nan 0.1000 7.6965
4 48.0566 nan 0.1000 6.5945
5 41.8682 nan 0.1000 4.5957
6 36.7718 nan 0.1000 4.1522
7 32.3435 nan 0.1000 3.4172
8 28.6626 nan 0.1000 2.5586
9 25.8156 nan 0.1000 2.7293
10 23.3436 nan 0.1000 1.7364
20 11.1532 nan 0.1000 0.1402
40 6.2099 nan 0.1000 -0.0329
60 4.5274 nan 0.1000 -0.0673
80 3.6379 nan 0.1000 -0.0227
100 2.9177 nan 0.1000 -0.0234
120 2.4082 nan 0.1000 -0.0705
140 2.0351 nan 0.1000 -0.0283
160 1.7134 nan 0.1000 -0.0329
180 1.4262 nan 0.1000 -0.0168
200 1.2541 nan 0.1000 -0.0284
Iter TrainDeviance ValidDeviance StepSize Improve
1 76.1775 nan 0.1000 12.2862
2 65.0199 nan 0.1000 9.6920
3 56.4299 nan 0.1000 7.5719
4 48.7556 nan 0.1000 6.8555
5 42.8910 nan 0.1000 4.3178
6 38.0759 nan 0.1000 4.1126
7 33.5461 nan 0.1000 3.3374
8 30.2359 nan 0.1000 2.8929
9 27.3148 nan 0.1000 2.4238
10 25.0764 nan 0.1000 1.2089
20 13.8383 nan 0.1000 0.2746
40 8.3691 nan 0.1000 -0.0478
60 6.1765 nan 0.1000 0.0284
80 4.7980 nan 0.1000 -0.0281
100 3.8771 nan 0.1000 -0.0965
120 3.1900 nan 0.1000 -0.0416
140 2.6992 nan 0.1000 -0.0352
160 2.3339 nan 0.1000 -0.0278
180 2.0167 nan 0.1000 -0.0403
200 1.7529 nan 0.1000 -0.0158
Iter TrainDeviance ValidDeviance StepSize Improve
1 81.9590 nan 0.0100 1.2452
2 80.8330 nan 0.0100 1.2809
3 79.7655 nan 0.0100 0.9948
4 78.6885 nan 0.0100 1.3948
5 77.7154 nan 0.0100 1.0959
6 76.7701 nan 0.0100 1.0970
7 75.7438 nan 0.0100 1.0242
8 74.7651 nan 0.0100 0.9787
9 73.8535 nan 0.0100 0.7941
10 72.8434 nan 0.0100 0.8841
20 64.1608 nan 0.0100 0.7814
40 50.4201 nan 0.0100 0.5663
60 40.5640 nan 0.0100 0.3153
80 33.1534 nan 0.0100 0.2555
100 27.6331 nan 0.0100 0.1878
120 23.3484 nan 0.0100 0.1313
140 20.3928 nan 0.0100 0.1093
160 17.9969 nan 0.0100 0.0691
180 16.2183 nan 0.0100 0.0747
200 14.6987 nan 0.0100 0.0218
Iter TrainDeviance ValidDeviance StepSize Improve
1 82.0713 nan 0.0100 1.0389
2 81.1291 nan 0.0100 0.7012
3 79.9583 nan 0.0100 1.0243
4 78.8604 nan 0.0100 1.0674
5 77.9142 nan 0.0100 0.8038
6 76.9025 nan 0.0100 1.0362
7 76.0163 nan 0.0100 0.8939
8 75.0492 nan 0.0100 0.8884
9 74.0483 nan 0.0100 0.9362
10 73.1715 nan 0.0100 0.9351
20 64.5639 nan 0.0100 0.8480
40 51.1064 nan 0.0100 0.4596
60 41.2292 nan 0.0100 0.2903
80 34.0936 nan 0.0100 0.2389
100 28.6478 nan 0.0100 0.1589
120 24.7436 nan 0.0100 0.1682
140 21.6039 nan 0.0100 0.0797
160 19.1603 nan 0.0100 0.0925
180 17.3921 nan 0.0100 0.0670
200 15.9205 nan 0.0100 0.0295
Iter TrainDeviance ValidDeviance StepSize Improve
1 81.8951 nan 0.0100 1.1615
2 80.7391 nan 0.0100 1.0456
3 79.7245 nan 0.0100 1.0208
4 78.6545 nan 0.0100 1.1183
5 77.4880 nan 0.0100 0.9862
6 76.4096 nan 0.0100 1.0342
7 75.3033 nan 0.0100 0.9536
8 74.2439 nan 0.0100 1.1353
9 73.2081 nan 0.0100 0.8839
10 72.1890 nan 0.0100 0.8318
20 62.7562 nan 0.0100 0.7381
40 48.2580 nan 0.0100 0.4915
60 37.8951 nan 0.0100 0.3158
80 30.4400 nan 0.0100 0.2832
100 25.1767 nan 0.0100 0.2293
120 21.1578 nan 0.0100 0.1443
140 18.0353 nan 0.0100 0.1088
160 15.7424 nan 0.0100 0.0803
180 14.0818 nan 0.0100 0.0380
200 12.7243 nan 0.0100 0.0216
Iter TrainDeviance ValidDeviance StepSize Improve
1 82.1036 nan 0.0100 1.0549
2 80.9383 nan 0.0100 1.2711
3 79.8454 nan 0.0100 1.1870
4 78.7842 nan 0.0100 0.9665
5 77.6616 nan 0.0100 0.9063
6 76.7378 nan 0.0100 0.8877
7 75.6600 nan 0.0100 1.1196
8 74.6237 nan 0.0100 0.9801
9 73.5892 nan 0.0100 0.9728
10 72.5801 nan 0.0100 1.0435
20 63.5335 nan 0.0100 0.8442
40 49.7592 nan 0.0100 0.4968
60 39.5685 nan 0.0100 0.4177
80 32.1553 nan 0.0100 0.3080
100 26.8837 nan 0.0100 0.1895
120 23.0641 nan 0.0100 0.1038
140 19.7775 nan 0.0100 0.1272
160 17.4434 nan 0.0100 0.0469
180 15.7294 nan 0.0100 0.0253
200 14.3711 nan 0.0100 0.0377
Iter TrainDeviance ValidDeviance StepSize Improve
1 81.9317 nan 0.0100 1.1390
2 80.6753 nan 0.0100 1.4756
3 79.4066 nan 0.0100 0.9408
4 78.1384 nan 0.0100 1.2086
5 77.0723 nan 0.0100 0.9775
6 76.0292 nan 0.0100 1.0347
7 74.9748 nan 0.0100 0.8692
8 73.7398 nan 0.0100 1.0866
9 72.7566 nan 0.0100 0.9042
10 71.7043 nan 0.0100 1.1079
20 62.1421 nan 0.0100 0.9524
40 47.2308 nan 0.0100 0.6235
60 36.4576 nan 0.0100 0.4223
80 28.9179 nan 0.0100 0.3023
100 23.4789 nan 0.0100 0.2109
120 19.6276 nan 0.0100 0.1225
140 16.6507 nan 0.0100 0.1317
160 14.4831 nan 0.0100 0.0413
180 12.7858 nan 0.0100 0.0327
200 11.4299 nan 0.0100 0.0422
Iter TrainDeviance ValidDeviance StepSize Improve
1 81.9406 nan 0.0100 1.0131
2 80.6918 nan 0.0100 1.0122
3 79.5716 nan 0.0100 1.1711
4 78.4182 nan 0.0100 1.2406
5 77.2683 nan 0.0100 0.9399
6 76.1066 nan 0.0100 1.0452
7 74.9396 nan 0.0100 0.9305
8 73.9235 nan 0.0100 1.0816
9 72.8350 nan 0.0100 1.0951
10 71.8161 nan 0.0100 1.1187
20 62.3823 nan 0.0100 0.7925
40 48.1637 nan 0.0100 0.3037
60 37.8243 nan 0.0100 0.3941
80 30.5423 nan 0.0100 0.1980
100 25.4073 nan 0.0100 0.1928
120 21.3680 nan 0.0100 0.1248
140 18.6771 nan 0.0100 0.1116
160 16.5400 nan 0.0100 0.0565
180 14.9113 nan 0.0100 0.0341
200 13.5453 nan 0.0100 0.0494
Iter TrainDeviance ValidDeviance StepSize Improve
1 71.4144 nan 0.1000 12.6645
2 63.0455 nan 0.1000 7.5643
3 55.5342 nan 0.1000 6.5922
4 49.0269 nan 0.1000 4.9292
5 43.2642 nan 0.1000 5.0018
6 38.8809 nan 0.1000 3.0606
7 35.2167 nan 0.1000 2.7234
8 32.4741 nan 0.1000 2.5018
9 29.5366 nan 0.1000 2.5134
10 27.2490 nan 0.1000 1.8193
20 14.7565 nan 0.1000 0.2564
40 9.0844 nan 0.1000 0.0242
60 7.0724 nan 0.1000 -0.0380
80 5.7817 nan 0.1000 -0.0444
100 4.9193 nan 0.1000 -0.0750
120 4.3086 nan 0.1000 -0.0139
140 3.8612 nan 0.1000 -0.0516
160 3.4286 nan 0.1000 -0.0394
180 3.0416 nan 0.1000 -0.0434
200 2.7511 nan 0.1000 -0.0244
Iter TrainDeviance ValidDeviance StepSize Improve
1 71.7520 nan 0.1000 9.7504
2 63.2873 nan 0.1000 8.1043
3 56.1277 nan 0.1000 6.1563
4 49.7073 nan 0.1000 6.4821
5 44.0707 nan 0.1000 3.9184
6 39.6514 nan 0.1000 3.2033
7 35.7408 nan 0.1000 3.2780
8 32.6037 nan 0.1000 2.9213
9 30.1301 nan 0.1000 2.3933
10 27.7140 nan 0.1000 1.8611
20 15.6565 nan 0.1000 0.2622
40 9.9754 nan 0.1000 -0.0707
60 8.0596 nan 0.1000 -0.0938
80 6.7364 nan 0.1000 -0.0032
100 5.9320 nan 0.1000 -0.0489
120 5.3002 nan 0.1000 -0.0076
140 4.5272 nan 0.1000 -0.0243
160 4.1274 nan 0.1000 -0.0465
180 3.6821 nan 0.1000 -0.0308
200 3.3880 nan 0.1000 -0.0456
Iter TrainDeviance ValidDeviance StepSize Improve
1 71.5097 nan 0.1000 10.6544
2 62.5109 nan 0.1000 8.1797
3 54.5841 nan 0.1000 7.7141
4 47.3921 nan 0.1000 4.9491
5 41.5459 nan 0.1000 5.1174
6 36.5038 nan 0.1000 4.0739
7 32.6962 nan 0.1000 3.8534
8 29.2761 nan 0.1000 1.9894
9 26.6600 nan 0.1000 1.9970
10 24.3591 nan 0.1000 1.5187
20 12.5841 nan 0.1000 0.5699
40 7.1213 nan 0.1000 -0.2802
60 5.3102 nan 0.1000 -0.0348
80 4.1225 nan 0.1000 -0.0213
100 3.3946 nan 0.1000 -0.0843
120 2.8725 nan 0.1000 -0.0468
140 2.4457 nan 0.1000 -0.0397
160 2.1306 nan 0.1000 -0.0153
180 1.8700 nan 0.1000 -0.0106
200 1.6322 nan 0.1000 -0.0162
Iter TrainDeviance ValidDeviance StepSize Improve
1 72.2974 nan 0.1000 11.0953
2 62.7308 nan 0.1000 8.2360
3 55.1064 nan 0.1000 7.0533
4 47.5202 nan 0.1000 6.2800
5 42.0300 nan 0.1000 5.0951
6 37.5357 nan 0.1000 3.9829
7 33.6181 nan 0.1000 3.4860
8 30.5228 nan 0.1000 2.9293
9 27.9070 nan 0.1000 1.4448
10 25.1467 nan 0.1000 2.3614
20 14.0647 nan 0.1000 0.2313
40 9.0123 nan 0.1000 -0.0675
60 6.9914 nan 0.1000 -0.0829
80 5.7265 nan 0.1000 -0.0388
100 4.8080 nan 0.1000 -0.0067
120 4.1236 nan 0.1000 -0.0349
140 3.6258 nan 0.1000 -0.0693
160 3.1866 nan 0.1000 -0.0256
180 2.8032 nan 0.1000 -0.0403
200 2.4953 nan 0.1000 -0.0450
Iter TrainDeviance ValidDeviance StepSize Improve
1 70.6968 nan 0.1000 10.2444
2 60.3106 nan 0.1000 10.0425
3 53.0577 nan 0.1000 7.4044
4 46.7766 nan 0.1000 4.6712
5 40.8315 nan 0.1000 5.3849
6 36.3604 nan 0.1000 3.7003
7 32.5282 nan 0.1000 4.0428
8 29.3510 nan 0.1000 3.0194
9 25.6184 nan 0.1000 2.7637
10 23.0339 nan 0.1000 2.1620
20 10.5321 nan 0.1000 0.0996
40 5.8189 nan 0.1000 0.0310
60 4.4211 nan 0.1000 -0.0384
80 3.5128 nan 0.1000 -0.0694
100 2.8400 nan 0.1000 -0.0230
120 2.3530 nan 0.1000 -0.0672
140 1.9876 nan 0.1000 -0.0268
160 1.6638 nan 0.1000 -0.0229
180 1.4390 nan 0.1000 -0.0195
200 1.2319 nan 0.1000 -0.0114
Iter TrainDeviance ValidDeviance StepSize Improve
1 71.4185 nan 0.1000 11.2828
2 62.9796 nan 0.1000 8.8398
3 55.8507 nan 0.1000 7.9746
4 48.9219 nan 0.1000 6.3162
5 42.7338 nan 0.1000 5.8171
6 37.8095 nan 0.1000 3.3338
7 34.1566 nan 0.1000 3.4097
8 30.6451 nan 0.1000 3.0119
9 27.4188 nan 0.1000 1.6979
10 24.7743 nan 0.1000 1.9357
20 13.3358 nan 0.1000 0.2294
40 7.9677 nan 0.1000 0.0054
60 6.2536 nan 0.1000 0.0519
80 5.0542 nan 0.1000 -0.0648
100 4.0762 nan 0.1000 -0.0642
120 3.3548 nan 0.1000 -0.0330
140 2.8874 nan 0.1000 -0.0401
160 2.4491 nan 0.1000 -0.0740
180 2.1134 nan 0.1000 -0.0127
200 1.8990 nan 0.1000 -0.0378
Iter TrainDeviance ValidDeviance StepSize Improve
1 73.0179 nan 0.1000 10.4822
2 62.6221 nan 0.1000 9.6978
3 54.6243 nan 0.1000 8.1814
4 47.8531 nan 0.1000 5.8157
5 42.2619 nan 0.1000 4.4292
6 37.4446 nan 0.1000 4.4148
7 33.3506 nan 0.1000 3.9313
8 29.5823 nan 0.1000 3.5646
9 26.6887 nan 0.1000 2.5874
10 24.1557 nan 0.1000 1.8998
20 12.2783 nan 0.1000 0.4667
40 7.2338 nan 0.1000 -0.0519
60 5.3306 nan 0.1000 -0.0077
80 4.1485 nan 0.1000 -0.0095
100 3.3723 nan 0.1000 -0.0038
120 2.8097 nan 0.1000 -0.0124
140 2.3977 nan 0.1000 -0.0426
160 2.0647 nan 0.1000 -0.0235
180 1.8010 nan 0.1000 -0.0193
200 1.5838 nan 0.1000 -0.0191proc.time() - t0 user system elapsed
4.25 0.45 9.54 gb_fitStochastic Gradient Boosting
407 samples
13 predictor
No pre-processing
Resampling: Cross-Validated (5 fold)
Summary of sample sizes: 326, 325, 327, 324, 326
Resampling results across tuning parameters:
shrinkage interaction.depth n.minobsinnode RMSE Rsquared
0.01 3 5 4.482682 0.7953436
0.01 3 10 4.561000 0.7828660
0.01 4 5 4.376175 0.8019297
0.01 4 10 4.410502 0.7969378
0.01 5 5 4.253435 0.8125983
0.01 5 10 4.323249 0.8031374
0.10 3 5 3.696869 0.8423409
0.10 3 10 3.694291 0.8401360
0.10 4 5 3.602449 0.8506794
0.10 4 10 3.734566 0.8347695
0.10 5 5 3.597184 0.8470202
0.10 5 10 3.691741 0.8414010
MAE
3.082001
3.067800
2.955383
2.974469
2.866212
2.866065
2.449093
2.451963
2.416398
2.409059
2.355710
2.441996
Tuning parameter 'n.trees' was held constant at a value of 200
RMSE was used to select the optimal model using the smallest value.
The final values used for the model were n.trees = 200, interaction.depth
= 5, shrinkage = 0.1 and n.minobsinnode = 5.Analizar la Variable Importance
varimp <- function(data, y, model, loss='mse'){
bool <- !names(data) %in% y
X <- data[,bool]
predic <- iml::Predictor$new(model, data=X, y=data[y])
vi <- iml::FeatureImp$new(predic, loss='mse')
return(vi)
}ggpubr::ggarrange(
plot(varimp(data=train, y='medv', model=gb_fit)),
plot(varimp(data=test, y='medv', model=gb_fit, loss='mse'))
)
Construir y analizar los PDP
library(pdp)
Attaching package: 㤼㸱pdp㤼㸲
The following object is masked from 㤼㸱package:purrr㤼㸲:
partialpartial(gb_fit, pred.var='rm', plot=TRUE, plot.engine='ggplot', rug=TRUE)
pd <- partial(gb_fit, pred.var=c('rm', 'lstat'))
plotPartial(pd)
Analizar e interpretar los ICE
ggpubr::ggarrange(
partial(gb_fit, pred.var='rm', plot=TRUE, ice=TRUE, rug=TRUE,
plot.engine = 'ggplot', alpha=0.1),
partial(gb_fit, pred.var='lstat', plot=TRUE, ice=TRUE, rug=TRUE,
plot.engine = 'ggplot', alpha=0.1)
)Ignoring unknown parameters: csidesIgnoring unknown parameters: csides
Comparar los resultados con el caso de Random Forest
###LS0tDQp0aXRsZTogIlByw6FjdGljYSBJbmRlcGVuZGllbnRlIC0gSU1MIC0gU29sdXRpb24iDQphdXRob3I6ICJHZXJtw6FuIFJvc2F0aSINCm91dHB1dDogaHRtbF9ub3RlYm9vaw0KLS0tDQoNCg0KIyMjIENhcmdhIGRlIGxpYnJlcsOtYXMgeSBkYXRvcw0KDQpgYGB7ciwgbWVzc2FnZT1GQUxTRX0NCmxpYnJhcnkoY2FyZXQpDQpsaWJyYXJ5KHRpZHl2ZXJzZSkNCmxpYnJhcnkocnBhcnQpDQoNCmRmIDwtIE1BU1M6OkJvc3RvbiAlPiUgbXV0YXRlKGNoYXM9ZmFjdG9yKGNoYXMsIGxhYmVscz1jKCdObycsJ1NpJykpKQ0KaGVhZChkZikNCg0KYGBgDQoNCg0KIyMjIEVudHJlbmFyIHVuIEdyYWRpZW50IEJvb3N0aW5nDQoNCkVudHJlbmVtb3MgdW4gbW9kZWxvIFJhbmRvbSBGb3Jlc3QgY29uIGVzdGUgZGF0YXNldDoNCg0KYGBge3J9DQpzZXQuc2VlZCgyODIpDQp0cl9pbmRleCA8LSBjcmVhdGVEYXRhUGFydGl0aW9uKHk9ZGYkbWVkdiwNCiAgICAgICAgICAgICAgICAgICAgICAgICAgICAgICAgcD0wLjgsDQogICAgICAgICAgICAgICAgICAgICAgICAgICAgICAgIGxpc3Q9RkFMU0UpDQoNCnRyYWluIDwtIGRmW3RyX2luZGV4LF0NCnRlc3QgPC0gZGZbLXRyX2luZGV4LF0NCg0Kc2V0LnNlZWQoNDk5KQ0KY3ZfaW5kZXggPC0gY3JlYXRlRm9sZHMoeT10cmFpbiRtZWR2LA0KICAgICAgICAgICAgICAgICAgICAgICAgICAgICAgICBrPTUsDQogICAgICAgICAgICAgICAgICAgICAgICAgICAgICAgIGxpc3Q9VFJVRSwNCiAgICAgICAgICAgICAgICAgICAgICAgICAgICAgICAgcmV0dXJuVHJhaW49VFJVRSkNCg0KDQpnYl90ckNvbnRyb2wgPC0gdHJhaW5Db250cm9sKA0KICAgICAgICBpbmRleD1jdl9pbmRleCwNCiAgICAgICAgbWV0aG9kPSJjdiIsDQogICAgICAgIG51bWJlcj01ICAgICAgICANCiAgICAgICAgKQ0KDQpnYl9ncmlkIDwtIGV4cGFuZC5ncmlkKG4udHJlZXM9MjAwLA0KICAgICAgICAgICAgICAgICAgICAgICBpbnRlcmFjdGlvbi5kZXB0aD1jKDMsNCw1KSwNCiAgICAgICAgICAgICAgICAgICAgICAgc2hyaW5rYWdlPWMoMC4xLCAwLjAxKSwNCiAgICAgICAgICAgICAgICAgICAgICAgbi5taW5vYnNpbm5vZGU9Yyg1LDEwKQ0KKQ0KYGBgDQoNCg0KYGBge3J9DQp0MCA8LSBwcm9jLnRpbWUoKQ0KZ2JfZml0IDwtICB0cmFpbihtZWR2IH4gLiAsIA0KICAgICAgICAgICAgICAgICBkYXRhID0gdHJhaW4sIA0KICAgICAgICAgICAgICAgICBtZXRob2QgPSAiZ2JtIiwgDQogICAgICAgICAgICAgICAgIHRyQ29udHJvbCA9IGdiX3RyQ29udHJvbCwNCiAgICAgICAgICAgICAgICAgdHVuZUdyaWQgPSBnYl9ncmlkDQopDQpwcm9jLnRpbWUoKSAtICB0MA0KDQpnYl9maXQNCg0KYGBgDQoNCg0KIyMjIEFuYWxpemFyIGxhIFZhcmlhYmxlIEltcG9ydGFuY2UNCg0KYGBge3J9DQp2YXJpbXAgPC0gZnVuY3Rpb24oZGF0YSwgeSwgbW9kZWwsIGxvc3M9J21zZScpew0KICAgICAgICBib29sIDwtICFuYW1lcyhkYXRhKSAlaW4lIHkNCiAgICAgICAgWCA8LSBkYXRhWyxib29sXQ0KICAgICAgICBwcmVkaWMgPC0gaW1sOjpQcmVkaWN0b3IkbmV3KG1vZGVsLCBkYXRhPVgsIHk9ZGF0YVt5XSkNCiAgICAgICAgdmkgPC0gaW1sOjpGZWF0dXJlSW1wJG5ldyhwcmVkaWMsIGxvc3M9J21zZScpDQogICAgICAgIHJldHVybih2aSkNCn0NCg0KYGBgDQoNCmBgYHtyfQ0KZ2dwdWJyOjpnZ2FycmFuZ2UoDQpwbG90KHZhcmltcChkYXRhPXRyYWluLCB5PSdtZWR2JywgbW9kZWw9Z2JfZml0KSksDQpwbG90KHZhcmltcChkYXRhPXRlc3QsIHk9J21lZHYnLCBtb2RlbD1nYl9maXQsIGxvc3M9J21zZScpKQ0KKQ0KYGBgDQoNCg0KIyMjIENvbnN0cnVpciB5IGFuYWxpemFyIGxvcyBQRFANCg0KDQpgYGB7cn0NCmxpYnJhcnkocGRwKQ0KYGBgDQoNCmBgYHtyfQ0KcGFydGlhbChnYl9maXQsIHByZWQudmFyPSdybScsIHBsb3Q9VFJVRSwgcGxvdC5lbmdpbmU9J2dncGxvdCcsIHJ1Zz1UUlVFKQ0KYGBgDQoNCmBgYHtyfQ0KcGQgPC0gcGFydGlhbChnYl9maXQsIHByZWQudmFyPWMoJ3JtJywgJ2xzdGF0JykpDQpwbG90UGFydGlhbChwZCkNCmBgYA0KDQoNCiMjIyBBbmFsaXphciBlIGludGVycHJldGFyIGxvcyBJQ0UNCg0KYGBge3J9DQpnZ3B1YnI6OmdnYXJyYW5nZSgNCiAgICAgICAgcGFydGlhbChnYl9maXQsIHByZWQudmFyPSdybScsIHBsb3Q9VFJVRSwgaWNlPVRSVUUsIHJ1Zz1UUlVFLCANCiAgICAgICAgcGxvdC5lbmdpbmUgPSAnZ2dwbG90JywgYWxwaGE9MC4xKSwNCiAgICAgICAgcGFydGlhbChnYl9maXQsIHByZWQudmFyPSdsc3RhdCcsIHBsb3Q9VFJVRSwgaWNlPVRSVUUsIHJ1Zz1UUlVFLCANCiAgICAgICAgcGxvdC5lbmdpbmUgPSAnZ2dwbG90JywgYWxwaGE9MC4xKQ0KKQ0KYGBgDQoNCg0KIyMjIENvbXBhcmFyIGxvcyByZXN1bHRhZG9zIGNvbiBlbCBjYXNvIGRlIFJhbmRvbSBGb3Jlc3QNCg0KYGBge3J9DQojIyMNCmBgYA0KDQo=