<html><head><meta http-equiv="content-type" content="text/html; charset=utf-8"></head><body dir="auto"><blockquote type="cite" style="caret-color: rgb(0, 0, 0); color: rgb(0, 0, 0); -webkit-text-size-adjust: auto;"><div dir="ltr"><div lang="PT-BR" link="#0563C1" vlink="#954F72"><div class="x_WordSection1"><div align="center"><div class="x-apple-transform-wrapper" style="height: 492.6428571428571px;"><table class="x_MsoNormalTable" border="0" cellspacing="0" cellpadding="0" width="0" style="background-color: white; transform-origin: 0px 0px; transform: scale(0.4714285714285714); width: 0px !important; height: 1044.78125px !important;"><tbody><tr><td style="padding: 0cm;"><table class="x_MsoNormalTable" border="0" cellspacing="0" cellpadding="0" width="100%" style="width: 540px;"><tbody><tr><td style="padding: 0cm;"><div align="center"><table class="x_MsoNormalTable" border="0" cellspacing="0" cellpadding="0" width="0" style="width: 405pt;"><tbody><tr style="height: 22.5pt;"><td style="padding: 0cm; height: 22.5pt;"><div align="center"><table class="x_MsoNormalTable" border="0" cellspacing="0" cellpadding="0" width="100%" style="width: 540px;"><tbody><tr style="height: 23.25pt;"><td style="padding: 0cm; height: 23.25pt;"><p class="x_MsoNormal" style="margin: 0cm 0cm 0.0001pt; font-size: 11pt; font-family: Calibri, sans-serif;"><b><span lang="EN-US" style="font-size: 18pt; font-family: Verdana, sans-serif; color: rgb(192, 0, 38);">INSPER</span></b><span style="font-size: 1pt; font-family: "Times New Roman", serif;"></span></p></td><td width="1" style="width: 0.75pt; padding: 0cm; height: 23.25pt;"><p class="x_MsoNormal" align="center" style="margin: 0cm 0cm 0.0001pt; font-size: 11pt; font-family: Calibri, sans-serif; text-align: center;"><span style="font-size: 1pt; font-family: "Times New Roman", serif;"> </span></p></td><td style="padding: 0cm; height: 23.25pt;"><p class="x_MsoNormal" align="center" style="margin: 0cm 0cm 0.0001pt; font-size: 11pt; font-family: Calibri, sans-serif; text-align: center;"><span style="font-size: 1pt; font-family: "Times New Roman", serif;"> </span></p></td><td width="1" style="width: 0.75pt; padding: 0cm; height: 23.25pt;"><p class="x_MsoNormal" align="center" style="margin: 0cm 0cm 0.0001pt; font-size: 11pt; font-family: Calibri, sans-serif; text-align: center;"><span style="font-size: 1pt; font-family: "Times New Roman", serif;"> </span></p></td><td width="189" style="width: 5cm; padding: 0cm; height: 23.25pt;"><p class="x_MsoNormal" align="center" style="margin: 0cm 0cm 0.0001pt; font-size: 11pt; font-family: Calibri, sans-serif; text-align: center;"><span style="font-size: 1pt; font-family: "Times New Roman", serif;"> </span></p></td></tr></tbody></table></div><p class="x_MsoNormal" style="margin: 0cm 0cm 0.0001pt; font-size: 11pt; font-family: Calibri, sans-serif;"><br><br><span style="font-family: Verdana, sans-serif; color: rgb(192, 0, 38);">Academic Seminar</span><span style="font-size: 12pt;"></span></p></td></tr><tr style="height: 22.5pt;"><td style="padding: 0cm; height: 22.5pt;"><p class="x_MsoNormal" style="margin: 0cm 0cm 0.0001pt; font-size: 11pt; font-family: Calibri, sans-serif;"><span lang="EN-US" style="font-size: 12pt; color: rgb(31, 73, 125);"> </span></p><p style="margin: 0cm 0cm 0.0001pt; font-size: 12pt; font-family: "Times New Roman", serif;"><b><span lang="EN-US" style="font-size: 13pt; font-family: Verdana, sans-serif;">Cross-validation: what does it estimate and how well does it do it?</span></b></p><p style="margin: 0cm 0cm 0.0001pt; font-size: 12pt; font-family: "Times New Roman", serif;"><b><span lang="EN-US" style="font-size: 13pt; font-family: Verdana, sans-serif;"> </span></b></p><p style="margin: 0cm 0cm 0.0001pt; font-size: 12pt; font-family: "Times New Roman", serif;"><strong><span style="font-size: 10pt; font-family: Calibri, sans-serif;"> </span></strong></p></td></tr><tr><td style="padding: 0cm;"><p style="margin-right: 0cm; margin-left: 0cm; font-size: 12pt; font-family: "Times New Roman", serif;"><strong><span lang="EN-US" style="font-size: 11.5pt; font-family: Verdana, sans-serif; color: rgb(51, 51, 51);">Speaker:</span></strong><span lang="EN-US" style="font-size: 11.5pt; font-family: Verdana, sans-serif; color: rgb(51, 51, 51);"> </span><span class="x_MsoHyperlink" style="color: rgb(5, 99, 193); text-decoration: underline;"><span lang="EN-US" style="font-size: 11.5pt; font-family: Verdana, sans-serif;"> <a href="https://statweb.stanford.edu/~tibs/" style="color: rgb(149, 79, 114);">Robert Tibshirani</a></span></span><span lang="EN-US" style="font-size: 11.5pt; font-family: Verdana, sans-serif; color: rgb(51, 51, 51);"><br><strong>University:</strong></span><span class="x_MsoHyperlink" style="color: rgb(5, 99, 193); text-decoration: underline;"><span lang="EN-US"> </span></span><span class="x_MsoHyperlink" style="color: rgb(5, 99, 193); text-decoration: underline;"><span lang="EN-US" style="font-size: 11.5pt; font-family: Verdana, sans-serif;"><a href="https://www.stanford.edu/" style="color: rgb(149, 79, 114);">Stanford Universty</a></span></span><span class="x_MsoHyperlink" style="color: rgb(5, 99, 193); text-decoration: underline;"><span style="font-size: 11.5pt; font-family: Verdana, sans-serif;"></span></span></p><p class="x_MsoNormal" style="margin: 0cm 0cm 0.0001pt; font-size: 11pt; font-family: Calibri, sans-serif; text-align: justify;"><span lang="EN-US" style="font-size: 11.5pt; font-family: Verdana, sans-serif; color: rgb(51, 51, 51);">Cross-validation is a widely-used technique to estimate prediction error, but its behavior is complex and not fully understood. Ideally, one would like to think that cross-validation estimates the prediction</span><span style="color: rgb(51, 51, 51);"></span></p><p class="x_MsoNormal" style="margin: 0cm 0cm 0.0001pt; font-size: 11pt; font-family: Calibri, sans-serif; text-align: justify;"><span lang="EN-US" style="font-size: 11.5pt; font-family: Verdana, sans-serif; color: rgb(51, 51, 51);">error for the model at hand, fit to the training data. We prove that this is not the case for the linear model fit by ordinary least squares; rather it estimates the average prediction error of models fit on other unseen training sets drawn from the same population. We further show that this phenomenon occurs for most popular estimates of prediction error, including data splitting, bootstrapping, and Mallow’s Cp. Next, the standard confidence intervals for prediction error derived from cross-validation may have coverage far below the desired level. Because each data point is used for both training and testing, there are correlations among the measured accuracies for each fold, and so the usual estimate of variance is too small. We introduce a nested cross-validation scheme to estimate this variance more accurately, and show empirically that this modification leads to intervals with approximately correct coverage in many examples where traditional cross-validation intervals fail. Lastly, our analysis also shows that when producing confidence intervals for prediction accuracy with simple data splitting, one should not re-fit the model on the combined data, since this invalidates the confidence intervals.</span></p></td></tr><tr style="height: 22.5pt;"><td style="padding: 0cm; height: 22.5pt;"></td></tr><tr style="height: 22.5pt;"><td style="padding: 0cm; height: 22.5pt;"><table class="x_MsoNormalTable" border="0" cellspacing="0" cellpadding="0" width="0" style="width: 322.7pt;"><tbody><tr style="height: 29.1pt;"><td width="39" style="width: 28.95pt; padding: 0cm; height: 29.1pt;"><p class="x_MsoNormal" style="margin: 0cm 0cm 0.0001pt; font-size: 11pt; font-family: Calibri, sans-serif;"></p><div><image004.jpg></div><span style="font-size: 12pt; background-color: yellow;"></span><p style="margin-right: 0cm; margin-left: 0cm; font-size: 12pt; font-family: "Times New Roman", serif;"></p></td><td width="392" style="width: 293.7pt; padding: 0cm; height: 29.1pt;"><p class="x_MsoNormal" style="margin: 0cm 0cm 0.0001pt; font-size: 11pt; font-family: Calibri, sans-serif;"><span style="font-size: 10.5pt; font-family: Verdana, sans-serif;"><a href="x-apple-data-detectors://7" dir="ltr" x-apple-data-detectors="true" x-apple-data-detectors-type="calendar-event" x-apple-data-detectors-result="7" style="color: rgb(255, 255, 255); text-decoration-color: rgba(128, 128, 128, 0.38);">May/10</a><span style="color: black;"><a href="x-apple-data-detectors://7" dir="ltr" x-apple-data-detectors="true" x-apple-data-detectors-type="calendar-event" x-apple-data-detectors-result="7" style="color: rgb(0, 0, 0); text-decoration-color: rgba(128, 128, 128, 0.38);">/2021</a></span></span></p></td></tr><tr style="height: 29.1pt;"><td style="padding: 0cm; height: 29.1pt;"><p class="x_MsoNormal" style="margin: 0cm 0cm 0.0001pt; font-size: 11pt; font-family: Calibri, sans-serif;"></p><div><image005.jpg></div><p style="margin-right: 0cm; margin-left: 0cm; font-size: 12pt; font-family: "Times New Roman", serif;"></p></td><td style="padding: 0cm; height: 29.1pt;"><p class="x_MsoNormal" style="margin: 0cm 0cm 0.0001pt; font-size: 11pt; font-family: Calibri, sans-serif;"><strong><span style="font-size: 10.5pt; font-family: Verdana, sans-serif; color: black;"><a href="x-apple-data-detectors://8" dir="ltr" x-apple-data-detectors="true" x-apple-data-detectors-type="calendar-event" x-apple-data-detectors-result="8" style="color: rgb(0, 0, 0); text-decoration-color: rgba(128, 128, 128, 0.38);">12</a></span></strong><strong><span style="font-size: 10.5pt; font-family: Verdana, sans-serif;"><a href="x-apple-data-detectors://8" dir="ltr" x-apple-data-detectors="true" x-apple-data-detectors-type="calendar-event" x-apple-data-detectors-result="8" style="color: rgb(255, 255, 255); text-decoration-color: rgba(128, 128, 128, 0.38);">pm</a><span style="color: black;"> de Sao Paulo, Brazil (UTC/GMT -<a href="x-apple-data-detectors://9" dir="ltr" x-apple-data-detectors="true" x-apple-data-detectors-type="calendar-event" x-apple-data-detectors-result="9" style="color: rgb(0, 0, 0); text-decoration-color: rgba(128, 128, 128, 0.38);">03:00</a>)</span></span></strong><b><span style="font-size: 10.5pt; font-family: Verdana, sans-serif;"></span></b></p></td></tr><tr style="height: 29.1pt;"><td style="padding: 0cm; height: 29.1pt;"><p class="x_MsoNormal" style="margin: 0cm 0cm 0.0001pt; font-size: 11pt; font-family: Calibri, sans-serif;"></p><div><image006.jpg></div><p style="margin-right: 0cm; margin-left: 0cm; font-size: 12pt; font-family: "Times New Roman", serif;"></p></td><td style="padding: 0cm; height: 29.1pt;"><p class="x_MsoNormal" style="margin: 0cm 0cm 0.0001pt; font-size: 11pt; font-family: Calibri, sans-serif;"><strong><span style="font-size: 10.5pt; font-family: Verdana, sans-serif; color: rgb(31, 73, 125);"><a href="https://zoom.us/j/97971536999" style="color: rgb(149, 79, 114);">Click here to join</a></span></strong></p></td></tr></tbody></table></td></tr></tbody></table></div></td></tr></tbody></table></td></tr></tbody></table></div></div></div></div></div></blockquote><br><div dir="ltr">Sent from Hedibert's iPhone</div></body></html>