Confidence meets its evidence

%23%20%2F%2F%2F%20script%0A%23%20requires-python%20%3D%20%22%3E%3D3.11%22%0A%23%20dependencies%20%3D%20%5B%22marimo%3D%3D0.24.0%22%2C%20%22torch%3E%3D2.10%3B%20sys_platform%20!%3D%20'emscripten'%22%5D%0A%23%20%2F%2F%2F%0A%0Aimport%20marimo%0A%0A__generated_with%20%3D%20%220.24.0%22%0Aapp%20%3D%20marimo.App(width%3D%22full%22%2C%20app_title%3D%22Confidence%20meets%20its%20evidence%22)%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20import%20marimo%20as%20mo%0A%20%20%20%20import%20math%2C%20random%2C%20re%2C%20json%2C%20sys%2C%20time%2C%20html%0A%0A%20%20%20%20return%20html%2C%20json%2C%20math%2C%20mo%2C%20random%2C%20sys%2C%20time%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20config%20%3D%20%7B'lesson_id'%3A%20'y9-calibration'%2C%20'title'%3A%20'Confidence%20meets%20its%20evidence'%2C%20'question'%3A%20'When%20a%20model%20says%2090%25%2C%20how%20often%20should%20it%20be%20right%3F'%2C%20'parameter'%3A%20%7B'label'%3A%20'Calibration%20temperature'%2C%20'default'%3A%202%2C%20'min'%3A%200.3%2C%20'max'%3A%204%2C%20'step'%3A%200.1%7D%2C%20'redesign'%3A%20'Choose%20a%20calibration%20setting%20on%20development%20data%20and%20report%20its%20frozen%20performance%20on%20the%20second%20population%20with%20bin%20counts.'%2C%20'authored'%3A%20%7B'columns'%3A%20%5B'Probability'%2C%20'Outcome'%2C%20'Split'%5D%2C%20'rows'%3A%20%5B%5B0.8%2C%201%2C%20'fit'%5D%2C%20%5B0.8%2C%200%2C%20'fit'%5D%2C%20%5B0.6%2C%201%2C%20'validation'%5D%2C%20%5B0.4%2C%200%2C%20'validation'%5D%2C%20%5B0.9%2C%201%2C%20'final'%5D%2C%20%5B0.7%2C%200%2C%20'final'%5D%5D%2C%20'parameters'%3A%20%7B'Temperature'%3A%201%7D%2C%20'method'%3A%20'Transform%20each%20logit%20by%201%2Ftemperature%20and%20report%20per-case%20squared%20probability%20error%2C%20grouped%20by%20split.'%2C%20'limitation'%3A%20'A%20few%20cases%20cannot%20establish%20population%20calibration.%20Final%20rows%20must%20remain%20hidden%20until%20the%20choice%20is%20locked.'%7D%2C%20'year'%3A%209%2C%20'concept'%3A%20'Uncertainty'%2C%20'intro'%3A%20'Compare%20predicted%20probabilities%20with%20observed%20outcomes%20across%20reliability%20bins.%20The%20diagonal%20represents%20perfect%20bin-level%20calibration.'%2C%20'secondary'%3A%20%7B'label'%3A%20'Population%20temperature'%2C%20'min'%3A%200.5%2C%20'max'%3A%204%2C%20'step'%3A%200.1%2C%20'default'%3A%202%7D%2C%20'challenge'%3A%20'Match%20the%20two%20temperatures%2C%20then%20change%20only%20the%20population%20temperature.%20Inspect%20sparse%20bins.'%2C%20'teacher'%3A%20'Distinguish%20confidence%2C%20accuracy%20and%20calibration.%20Ask%20why%20a%20small%20bin%20can%20lie%20far%20from%20the%20diagonal.'%2C%20'extend'%3A%20'Reserve%20a%20second%20seeded%20population%20before%20tuning%20the%20temperature.'%2C%20'prediction'%3A%20'I%20predict%20that%20changing%20calibration%20temperature%20will%E2%80%A6%20because%E2%80%A6'%7D%0A%20%20%20%20return%20(config%2C)%0A%0A%0A%40app.cell%0Adef%20_(config%2C%20mo)%3A%0A%20%20%20%20mo.md(f%22%23%20%7Bconfig%5B'title'%5D%7D%5Cn%5Cn**Year%20%7Bconfig%5B'year'%5D%7D%20%C2%B7%20Marimo%20lab**%5Cn%5Cn%7Bconfig%5B'question'%5D%7D%5Cn%5Cn%7Bconfig%5B'intro'%5D%7D%5Cn%5Cn**Start%20here%3A**%20predict%20one%20change%2C%20move%20a%20control%2C%20then%20compare%20the%20orange%20result%20with%20the%20green%20baseline.%20All%20classroom%20data%20are%20synthetic.%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20project_file%20%3D%20mo.ui.file(filetypes%3D%5B'.json'%5D%2C%20multiple%3DFalse%2C%20max_size%3D2000000%2C%20label%3D'Open%20a%20saved%20Brightlab%20notebook%20project')%0A%20%20%20%20mo.vstack(%5Bmo.md('**Keep%20your%20work%3A**%20download%20a%20project%20before%20leaving.%20Reopen%20it%20here%20to%20restore%20settings%2C%20comparisons%20and%20writing.%20Files%20are%20read%20inside%20this%20notebook%3B%20use%20fictional%20classroom%20data.')%2Cproject_file%5D)%0A%20%20%20%20return%20(project_file%2C)%0A%0A%0A%40app.cell%0Adef%20_(config%2C%20json%2C%20mo%2C%20project_file)%3A%0A%20%20%20%20restored%20%3D%20%7B%7D%0A%20%20%20%20if%20project_file.contents()%3A%0A%20%20%20%20%20%20%20%20try%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_candidate%20%3D%20json.loads(project_file.contents().decode('utf-8'))%0A%20%20%20%20%20%20%20%20%20%20%20%20def%20_tree(value%2Cdepth%3D0)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20depth%3E16%3Araise%20ValueError('Project%20nesting%20is%20too%20deep.')%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20isinstance(value%2Cdict)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20len(value)%3E100%3Araise%20ValueError('Too%20many%20object%20fields.')%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20for%20child%20in%20value.values()%3A_tree(child%2Cdepth%2B1)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20elif%20isinstance(value%2Clist)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20len(value)%3E20000%3Araise%20ValueError('Too%20many%20rows.')%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20for%20child%20in%20value%3A_tree(child%2Cdepth%2B1)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20elif%20isinstance(value%2Cfloat)%20and%20not%20(-1e100%3Cvalue%3C1e100)%3Araise%20ValueError('Project%20contains%20a%20non-finite%20or%20excessive%20number.')%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20elif%20isinstance(value%2Cstr)%20and%20len(value)%3E200000%3Araise%20ValueError('Project%20text%20is%20too%20long.')%0A%20%20%20%20%20%20%20%20%20%20%20%20_tree(_candidate)%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20not%20isinstance(_candidate%2Cdict)%20or%20_candidate.get('version')!%3D1%3Araise%20ValueError('Choose%20a%20supported%20version%201%20notebook%20project.')%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20_candidate.get('format')%20!%3D%20'brightlab-notebook-project'%20or%20_candidate.get('lesson')%20!%3D%20config.get('id'%2Cconfig.get('lesson_id'))%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20raise%20ValueError('Choose%20a%20project%20for%20this%20notebook.')%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20not%20isinstance(_candidate.get('settings')%2Cdict)%20or%20not%20isinstance(_candidate.get('prediction')%2Cstr)%20or%20not%20isinstance(_candidate.get('saved_runs'%2C%5B%5D)%2Clist)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20raise%20ValueError('The%20project%20is%20missing%20its%20settings%2C%20prediction%20or%20comparison%20list.')%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20len(_candidate.get('prediction'%2C''))%3E10000%20or%20not%20isinstance(_candidate.get('conclusion'%2C'')%2Cstr)%20or%20len(_candidate.get('conclusion'%2C''))%3E20000%3Araise%20ValueError('Invalid%20writing%20in%20the%20saved%20project.')%0A%20%20%20%20%20%20%20%20%20%20%20%20_runs%3D_candidate.get('saved_runs'%2C%5B%5D)%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20len(_runs)%3E6%3Araise%20ValueError('A%20project%20may%20contain%20up%20to%20six%20comparisons.')%0A%20%20%20%20%20%20%20%20%20%20%20%20for%20_run%20in%20_runs%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20not%20isinstance(_run%2Cdict)%20or%20not%20isinstance(_run.get('settings')%2Cdict)%3Araise%20ValueError('Invalid%20saved%20comparison.')%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_rows%3D_run.get('measurements'%2C_run.get('result'%2C%7B%7D).get('rows')%20if%20isinstance(_run.get('result')%2Cdict)%20else%20None)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20not%20isinstance(_rows%2Clist)%20or%20not%20all(isinstance(row%2Cdict)%20for%20row%20in%20_rows)%3Araise%20ValueError('A%20saved%20comparison%20needs%20a%20measurement%20table.')%0A%20%20%20%20%20%20%20%20%20%20%20%20for%20_key%2C_spec%20in%20%5B('parameter'%2Cconfig%5B'parameter'%5D)%2C('context'%2Cconfig%5B'secondary'%5D)%5D%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_value%3D_candidate%5B'settings'%5D.get(_key%2C_spec%5B'default'%5D)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20type(_value)%20not%20in%20%5Bint%2Cfloat%5D%20or%20not%20_spec%5B'min'%5D%3C%3D_value%3C%3D_spec%5B'max'%5D%3Araise%20ValueError('A%20saved%20control%20is%20outside%20its%20allowed%20range.')%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20'authored'%20in%20_candidate%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_own%3D_candidate%5B'authored'%5D%3B_recipe%3Dconfig%5B'authored'%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20not%20isinstance(_own%2Cdict)%20or%20not%20isinstance(_own.get('parameters')%2Cdict)%20or%20not%20isinstance(_own.get('prediction')%2Cstr)%3Araise%20ValueError('Invalid%20authored%20investigation.')%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20not%20isinstance(_own.get('rows')%2Clist)%20or%20not%201%3C%3Dlen(_own%5B'rows'%5D)%3C%3D100%3Araise%20ValueError('Use%201%E2%80%93100%20authored%20cases.')%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20for%20_row%20in%20_own%5B'rows'%5D%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20not%20isinstance(_row%2Clist)%20or%20len(_row)!%3Dlen(_recipe%5B'columns'%5D)%3Araise%20ValueError('Authored%20case%20columns%20do%20not%20match.')%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20for%20_value%2C_example%20in%20zip(_row%2C_recipe%5B'rows'%5D%5B0%5D)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20type(_value)%20is%20not%20type(_example)%20and%20not%20(type(_example)%20in%20%5Bint%2Cfloat%5D%20and%20type(_value)%20in%20%5Bint%2Cfloat%5D)%3Araise%20ValueError('An%20authored%20field%20has%20the%20wrong%20type.')%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20for%20_key%2C_example%20in%20_recipe%5B'parameters'%5D.items()%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_value%3D_own%5B'parameters'%5D.get(_key%2C_example)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20type(_value)%20is%20not%20type(_example)%20and%20not%20(type(_example)%20in%20%5Bint%2Cfloat%5D%20and%20type(_value)%20in%20%5Bint%2Cfloat%5D)%3Araise%20ValueError('An%20authored%20parameter%20has%20the%20wrong%20type.')%0A%20%20%20%20%20%20%20%20%20%20%20%20restored%20%3D%20_candidate%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.output.replace(mo.md('Project%20read.%20Save%20the%20restored%20prediction%20to%20continue%20your%20investigation.'))%0A%20%20%20%20%20%20%20%20except%20(ValueError%2CTypeError%2CUnicodeError%2CKeyError%2CAttributeError)%20as%20_error%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.output.replace(mo.callout(mo.md('Could%20not%20open%20this%20project%3A%20'%2Bstr(_error))%2Ckind%3D'warn'))%0A%20%20%20%20return%20(restored%2C)%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20reset_controls%20%3D%20mo.ui.button(value%3D0%2Con_click%3Dlambda%20count%3Acount%2B1%2Clabel%3D'Reset%20controls%20to%20starting%20settings')%0A%20%20%20%20return%20(reset_controls%2C)%0A%0A%0A%40app.cell%0Adef%20_(config%2C%20mo%2C%20restored)%3A%0A%20%20%20%20prediction%20%3D%20mo.ui.text_area(value%3Drestored.get(%22prediction%22%2C%22%22)%2Clabel%3D%22My%20prediction%20%E2%80%94%20what%20will%20change%2C%20and%20why%3F%22%2C%20placeholder%3Dconfig%5B'prediction'%5D%2C%20debounce%3DFalse%2C%20full_width%3DTrue).form(submit_button_label%3D'Save%20prediction%20%26%20open%20the%20lab'%2Cclear_on_submit%3DFalse%2Cvalidate%3Dlambda%20value%3ANone%20if%20value%20and%20len(value.strip())%3E%3D3%20else%20'Record%20a%20prediction%20before%20opening%20the%20experiment.')%0A%20%20%20%20prediction%0A%20%20%20%20return%20(prediction%2C)%0A%0A%0A%40app.cell%0Adef%20_(config%2C%20mo%2C%20prediction%2C%20reset_controls%2C%20restored)%3A%0A%20%20%20%20mo.stop(prediction.value%20is%20None%2Cmo.md(%22Save%20a%20prediction%20before%20revealing%20results.%22))%0A%20%20%20%20_reset%20%3D%20reset_controls.value%0A%20%20%20%20_saved%20%3D%20restored.get(%22settings%22%2C%7B%7D)%20if%20not%20_reset%20else%20%7B%7D%0A%20%20%20%20spec%20%3D%20config%5B'parameter'%5D%0A%20%20%20%20context_spec%20%3D%20config%5B'secondary'%5D%0A%20%20%20%20control%20%3D%20mo.ui.slider(start%3Dspec%5B'min'%5D%2C%20stop%3Dspec%5B'max'%5D%2C%20step%3Dspec%5B'step'%5D%2C%20value%3D_saved.get('parameter'%2Cspec%5B'default'%5D)%2C%20label%3Dspec%5B'label'%5D%2C%20show_value%3DTrue%2C%20full_width%3DTrue)%0A%20%20%20%20context_control%20%3D%20mo.ui.slider(start%3Dcontext_spec%5B'min'%5D%2C%20stop%3Dcontext_spec%5B'max'%5D%2C%20step%3Dcontext_spec%5B'step'%5D%2C%20value%3D_saved.get('context'%2Ccontext_spec%5B'default'%5D)%2C%20label%3Dcontext_spec%5B'label'%5D%2C%20show_value%3DTrue%2C%20full_width%3DTrue)%0A%20%20%20%20overlay%20%3D%20mo.ui.checkbox(value%3DTrue%2C%20label%3D%22Show%20the%20original-parameter%20baseline%22)%0A%20%20%20%20mo.vstack(%5Breset_controls%2Cmo.hstack(%5Bcontrol%2C%20context_control%5D%2C%20widths%3D'equal'%2C%20wrap%3DTrue)%2C%20overlay%2C%20mo.md(f%22**Try%20this%3A**%20%7Bconfig%5B'challenge'%5D%7D%5Cn%5CnThe%20baseline%20keeps%20**%7Bspec%5B'label'%5D%7D%20%3D%20%7Bspec%5B'default'%5D%7D**.%20Both%20traces%20use%20the%20same%20second%20control%20and%20fixtures.%22)%5D)%0A%20%20%20%20return%20context_control%2C%20control%2C%20overlay%0A%0A%0A%40app.cell%0Adef%20_(math%2C%20random)%3A%0A%20%20%20%20def%20compute(p%2C%20s)%3A%0A%20%20%20%20%20%20%20%20rng%3Drandom.Random(31)%3B%20bins%3D%5B%5B%5D%20for%20_%20in%20range(10)%5D%0A%20%20%20%20%20%20%20%20for%20i%20in%20range(600)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20logit%3D-4%2B8*i%2F599%3B%20truth%3Dint(rng.random()%3C1%2F(1%2Bmath.exp(-logit%2Fs)))%3B%20prob%3D1%2F(1%2Bmath.exp(-logit%2Fp))%0A%20%20%20%20%20%20%20%20%20%20%20%20bins%5Bmin(9%2Cint(prob*10))%5D.append((prob%2Ctruth))%0A%20%20%20%20%20%20%20%20rows%3D%5B%7B'bin'%3Ai%2C'count'%3Alen(b)%2C'mean_probability'%3Asum(x%20for%20x%2Cy%20in%20b)%2Flen(b)%2C'observed_frequency'%3Asum(y%20for%20x%2Cy%20in%20b)%2Flen(b)%2C'brier'%3Asum((x-y)**2%20for%20x%2Cy%20in%20b)%2Flen(b)%7D%20for%20i%2Cb%20in%20enumerate(bins)%20if%20b%5D%0A%20%20%20%20%20%20%20%20score%3Dsum(r%5B'brier'%5D*r%5B'count'%5D%20for%20r%20in%20rows)%2F600%0A%20%20%20%20%20%20%20%20return%20rows%2C'observed_frequency'%2C'mean_probability'%2Cf'600%20seeded%20cases.%20Brier%20score%20%7Bscore%3A.4f%7D%20(lower%20is%20better).%20Population%20temperature%20%7Bs%3A.1f%7D%20controls%20the%20hidden%20outcome%20distribution.%20A%20good%20fit%20on%20one%20population%20may%20not%20transfer.'%0A%0A%20%20%20%20return%20(compute%2C)%0A%0A%0A%40app.cell%0Adef%20_(compute%2C%20config%2C%20context_control%2C%20control)%3A%0A%20%20%20%20measurements%2C%20default_metric%2C%20x_axis%2C%20interpretation%20%3D%20compute(control.value%2C%20context_control.value)%0A%20%20%20%20baseline_rows%2C%20_%2C%20_%2C%20_%20%3D%20compute(config%5B'parameter'%5D%5B'default'%5D%2C%20context_control.value)%0A%20%20%20%20return%20baseline_rows%2C%20interpretation%2C%20measurements%2C%20x_axis%0A%0A%0A%40app.cell%0Adef%20_(compute%2C%20config%2C%20mo)%3A%0A%20%20%20%20_initial%2C%20_default_metric%2C%20_x_axis%2C%20_%20%3D%20compute(config%5B%22parameter%22%5D%5B%22default%22%5D%2C%20config%5B%22secondary%22%5D%5B%22default%22%5D)%0A%20%20%20%20metric%20%3D%20mo.ui.dropdown(options%3D%5Bk%20for%20k%2Cv%20in%20_initial%5B0%5D.items()%20if%20isinstance(v%2C(int%2Cfloat))%20and%20k!%3D_x_axis%5D%2C%20value%3D_default_metric%2C%20label%3D%22Measurement%20to%20plot%22)%0A%20%20%20%20metric%0A%20%20%20%20return%20(metric%2C)%0A%0A%0A%40app.cell%0Adef%20_(html)%3A%0A%20%20%20%20def%20draw_chart(rows%2C%20baseline%2C%20x%2C%20y%2C%20scatter%3DFalse%2C%20diagonal%3DFalse)%3A%0A%20%20%20%20%20%20%20%20%23%20Explicit%20data%20axes%3B%20SVG%20is%20generated%20from%20freshly%20computed%20Python%20values.%0A%20%20%20%20%20%20%20%20series%3D%5Bbaseline%2Crows%5D%20if%20baseline%20else%20%5Brows%5D%0A%20%20%20%20%20%20%20%20xs%3D%5Bfloat(r%5Bx%5D)%20for%20data%20in%20series%20for%20r%20in%20data%5D%3B%20ys%3D%5Bfloat(r%5By%5D)%20for%20data%20in%20series%20for%20r%20in%20data%5D%0A%20%20%20%20%20%20%20%20xmin%2Cxmax%3Dmin(xs)%2Cmax(xs)%3B%20ymin%2Cymax%3Dmin(0.%2Cmin(ys))%2Cmax(ys)%0A%20%20%20%20%20%20%20%20if%20diagonal%3A%20xmin%2Cymin%2Cxmax%2Cymax%3D0.%2C0.%2C1.%2C1.%0A%20%20%20%20%20%20%20%20if%20xmax%3D%3Dxmin%3A%20xmax%3Dxmin%2B1%0A%20%20%20%20%20%20%20%20if%20ymax%3D%3Dymin%3A%20ymax%3Dymin%2B1%0A%20%20%20%20%20%20%20%20def%20px(v)%3A%20return%2080%2B(v-xmin)%2F(xmax-xmin)*590%0A%20%20%20%20%20%20%20%20def%20py(v)%3A%20return%20290-(v-ymin)%2F(ymax-ymin)*250%0A%20%20%20%20%20%20%20%20marks%3D%5B%5D%0A%20%20%20%20%20%20%20%20for%20tick%20in%20range(5)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20val%3Dymin%2B(ymax-ymin)*tick%2F4%3B%20yy%3Dpy(val)%0A%20%20%20%20%20%20%20%20%20%20%20%20marks.append(f'%3Cline%20x1%3D%2280%22%20x2%3D%22670%22%20y1%3D%22%7Byy%7D%22%20y2%3D%22%7Byy%7D%22%20stroke%3D%22%23dce3dc%22%2F%3E%3Ctext%20x%3D%2270%22%20y%3D%22%7Byy%2B5%7D%22%20text-anchor%3D%22end%22%3E%7Bval%3A.3g%7D%3C%2Ftext%3E')%0A%20%20%20%20%20%20%20%20if%20diagonal%3A%20marks.append('%3Cline%20x1%3D%2280%22%20y1%3D%22290%22%20x2%3D%22670%22%20y2%3D%2240%22%20stroke%3D%22%23566c61%22%20stroke-dasharray%3D%225%205%22%2F%3E')%0A%20%20%20%20%20%20%20%20for%20series_index%2C(data%2Ccolor)%20in%20enumerate(zip(series%2C%5B'%23187057'%2C'%23c6532d'%5D%20if%20baseline%20else%20%5B'%23c6532d'%5D))%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20is_baseline%3Dbool(baseline)%20and%20series_index%3D%3D0%0A%20%20%20%20%20%20%20%20%20%20%20%20pts%3D'%20'.join(f'%7Bpx(float(r%5Bx%5D))%3A.2f%7D%2C%7Bpy(float(r%5By%5D))%3A.2f%7D'%20for%20r%20in%20data)%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20not%20scatter%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20dash%3D'6%204'%20if%20is_baseline%20else%20'none'%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20marks.append(f'%3Cpolyline%20points%3D%22%7Bpts%7D%22%20fill%3D%22none%22%20stroke%3D%22%7Bcolor%7D%22%20stroke-width%3D%222.5%22%20stroke-dasharray%3D%22%7Bdash%7D%22%2F%3E')%0A%20%20%20%20%20%20%20%20%20%20%20%20for%20r%20in%20data%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20dot%3D('%23187057'%20if%20r.get('cluster')%3D%3D0%20else%20'%23c6532d')%20if%20scatter%20and%20'cluster'%20in%20r%20else%20color%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20label%3Dhtml.escape(f'%7Bx%7D%3A%20%7Br%5Bx%5D%7D%2C%20%7By%7D%3A%20%7Br%5By%5D%7D')%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20radius%3D7%20if%20scatter%20and%20is_baseline%20else%204%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20fill%3D'none'%20if%20scatter%20and%20is_baseline%20else%20dot%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20marks.append(f'%3Ccircle%20cx%3D%22%7Bpx(float(r%5Bx%5D))%3A.2f%7D%22%20cy%3D%22%7Bpy(float(r%5By%5D))%3A.2f%7D%22%20r%3D%22%7Bradius%7D%22%20fill%3D%22%7Bfill%7D%22%20stroke%3D%22%7Bdot%7D%22%20stroke-width%3D%221.5%22%20opacity%3D%22.8%22%3E%3Ctitle%3E%7Blabel%7D%3C%2Ftitle%3E%3C%2Fcircle%3E')%0A%20%20%20%20%20%20%20%20return%20f'%3Cdiv%20tabindex%3D%220%22%20role%3D%22group%22%20aria-label%3D%22Scrollable%20evidence%20chart%22%20style%3D%22max-width%3A100%25%3Boverflow-x%3Aauto%22%3E%3Csvg%20xmlns%3D%22http%3A%2F%2Fwww.w3.org%2F2000%2Fsvg%22%20viewBox%3D%220%200%20720%20350%22%20role%3D%22img%22%20aria-label%3D%22%7Bhtml.escape(y)%7D%20against%20%7Bhtml.escape(x)%7D%22%20style%3D%22width%3A100%25%3Bmin-width%3A720px%3Bbackground%3A%23faf9f4%3Bborder-radius%3A12px%3Bfont%3A14px%20Arial%3Bfill%3A%23173d36%22%3E%3Ctitle%3E%7Bhtml.escape(y)%7D%20against%20%7Bhtml.escape(x)%7D%3C%2Ftitle%3E%7B%22%22.join(marks)%7D%3Ctext%20x%3D%2280%22%20y%3D%22315%22%3E%7Bxmin%3A.3g%7D%3C%2Ftext%3E%3Ctext%20x%3D%22670%22%20y%3D%22315%22%20text-anchor%3D%22end%22%3E%7Bxmax%3A.3g%7D%3C%2Ftext%3E%3Ctext%20x%3D%22375%22%20y%3D%22342%22%20text-anchor%3D%22middle%22%3E%7Bhtml.escape(x.replace(%22_%22%2C%22%20%22))%7D%3C%2Ftext%3E%3Ctext%20x%3D%2280%22%20y%3D%2223%22%3E%7Bhtml.escape(y.replace(%22_%22%2C%22%20%22))%7D%3C%2Ftext%3E%3C%2Fsvg%3E%3C%2Fdiv%3E'%0A%0A%20%20%20%20return%20(draw_chart%2C)%0A%0A%0A%40app.cell%0Adef%20_(%0A%20%20%20%20baseline_rows%2C%0A%20%20%20%20config%2C%0A%20%20%20%20draw_chart%2C%0A%20%20%20%20interpretation%2C%0A%20%20%20%20measurements%2C%0A%20%20%20%20metric%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20overlay%2C%0A%20%20%20%20x_axis%2C%0A)%3A%0A%20%20%20%20is_scatter%20%3D%20config%5B'lesson_id'%5D%3D%3D'y9-clusters'%0A%20%20%20%20graphic%20%3D%20mo.Html(draw_chart(measurements%2C%20baseline_rows%20if%20overlay.value%20else%20%5B%5D%2C%20x_axis%2C%20metric.value%2C%20is_scatter%2C%20config%5B'lesson_id'%5D%3D%3D'y9-calibration'%20and%20metric.value%3D%3D'observed_frequency'))%0A%20%20%20%20legend%20%3D%20'Green%3A%20cluster%200%20%C2%B7%20Orange%3A%20cluster%201.%20Filled%20dots%20show%20current%20assignments%3B%20outline%20rings%20show%20the%20baseline%20when%20enabled.'%20if%20is_scatter%20else%20'Orange%20solid%3A%20current%20setting%20%C2%B7%20Green%20dashed%3A%20original-parameter%20baseline%20(when%20enabled).'%0A%20%20%20%20mo.vstack(%5Bgraphic%2C%20mo.md(legend%2B'%20On%20a%20narrow%20screen%2C%20scroll%20the%20chart%20sideways%20to%20read%20its%20axes.%20Full%20measurements%20are%20available%20below.')%2C%20mo.callout(mo.md(interpretation)%2C%20kind%3D'info')%5D)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(measurements%2C%20mo)%3A%0A%20%20%20%20inspect_row%20%3D%20mo.ui.slider(start%3D0%2C%20stop%3Dmax(1%2Clen(measurements)-1)%2C%20step%3D1%2C%20value%3D0%2C%20label%3D%22Inspect%20one%20evidence%20row%22%2C%20show_value%3DTrue%2C%20full_width%3DTrue)%0A%20%20%20%20mo.output.replace(inspect_row%20if%20len(measurements)%3E1%20else%20mo.md(%22One%20evidence%20row%20at%20this%20setting%3B%20it%20is%20shown%20below.%22))%0A%20%20%20%20return%20(inspect_row%2C)%0A%0A%0A%40app.cell%0Adef%20_(baseline_rows%2C%20inspect_row%2C%20measurements%2C%20mo)%3A%0A%20%20%20%20selected_row%20%3D%20measurements%5Bint(inspect_row.value)%5D%0A%20%20%20%20mo.vstack(%5Bmo.md('**Selected%20evidence%20row**')%2C%20mo.ui.table(%5Bselected_row%5D%2C%20selection%3DNone)%2C%20mo.accordion(%7B'All%20current%20measurements'%3Amo.ui.table(measurements%2C%20selection%3DNone%2C%20page_size%3D10)%2C%20'Original-parameter%20baseline'%3Amo.ui.table(baseline_rows%2C%20selection%3DNone%2C%20page_size%3D10)%7D)%5D)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(config%2C%20mo%2C%20restored)%3A%0A%20%20%20%20reflection%20%3D%20mo.ui.text_area(value%3Drestored.get(%22conclusion%22%2C%22%22)%2Clabel%3D%22My%20conclusion%20%E2%80%94%20evidence%2C%20explanation%20and%20one%20limitation%22%2C%20placeholder%3Dconfig%5B'redesign'%5D%2C%20debounce%3DFalse%2C%20full_width%3DTrue)%0A%20%20%20%20mo.vstack(%5Bmo.md('%23%23%20Explain%20what%20changed%5Cn'%2Bconfig%5B'redesign'%5D)%2C%20reflection%2C%20mo.accordion(%7B'Teacher%20prompts%20and%20extension'%3Amo.md(config%5B'teacher'%5D%2B'%5Cn%5Cn**Extend%20the%20code%3A**%20'%2Bconfig%5B'extend'%5D)%7D)%5D)%0A%20%20%20%20return%20(reflection%2C)%0A%0A%0A%40app.cell%0Adef%20_(mo%2C%20restored)%3A%0A%20%20%20%20get_runs%2C%20set_runs%20%3D%20mo.state(restored.get('saved_runs'%2C%5B%5D)%5B%3A6%5D)%0A%20%20%20%20return%20get_runs%2C%20set_runs%0A%0A%0A%40app.cell%0Adef%20_(context_control%2C%20control%2C%20measurements%2C%20mo%2C%20set_runs)%3A%0A%20%20%20%20_snapshot%20%3D%20%7B'settings'%3A%7B'parameter'%3Acontrol.value%2C'context'%3Acontext_control.value%7D%2C'measurements'%3Ameasurements%7D%0A%20%20%20%20save_comparison%20%3D%20mo.ui.button(label%3D'Save%20this%20run%20for%20comparison'%2Con_click%3Dlambda%20_%3Aset_runs(lambda%20old%3A(old%2B%5B_snapshot%5D)%5B-6%3A%5D))%0A%20%20%20%20clear_comparisons%20%3D%20mo.ui.button(label%3D'Clear%20saved%20comparisons'%2Con_click%3Dlambda%20_%3Aset_runs(%5B%5D))%0A%20%20%20%20mo.hstack(%5Bsave_comparison%2Cclear_comparisons%5D)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(get_runs%2C%20mo)%3A%0A%20%20%20%20mo.vstack(%5Bmo.md(f'**Comparisons%3A%20%7Blen(get_runs())%7D%20%2F%206.**%20A%20seventh%20run%20replaces%20the%20oldest.')%2Cmo.accordion(%7Bf'Run%20%7Bi%2B1%7D'%3Amo.vstack(%5Bmo.md(str(r%5B'settings'%5D))%2Cmo.ui.table(r%5B'measurements'%5D%2Cselection%3DNone)%5D)%20for%20i%2Cr%20in%20enumerate(get_runs())%7D)%5D)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(%0A%20%20%20%20author_cases%2C%0A%20%20%20%20author_parameters%2C%0A%20%20%20%20author_prediction%2C%0A%20%20%20%20author_result%2C%0A%20%20%20%20author_sealed%2C%0A%20%20%20%20baseline_rows%2C%0A%20%20%20%20config%2C%0A%20%20%20%20context_control%2C%0A%20%20%20%20control%2C%0A%20%20%20%20get_runs%2C%0A%20%20%20%20interpretation%2C%0A%20%20%20%20json%2C%0A%20%20%20%20measurements%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20prediction%2C%0A%20%20%20%20reflection%2C%0A)%3A%0A%20%20%20%20import%20html%20as%20journal_html%0A%20%20%20%20evidence%20%3D%20%7B'format'%3A'brightlab-notebook-project'%2C'version'%3A1%2C'lesson'%3Aconfig%5B'lesson_id'%5D%2C'execution'%3A'Live%20Python%2C%20browser%20CPU%20when%20hosted'%2C'prediction'%3Aprediction.value%2C'settings'%3A%7B'parameter'%3Acontrol.value%2C'context'%3Acontext_control.value%7D%2C'measurements'%3Ameasurements%2C'baseline'%3Abaseline_rows%2C'saved_runs'%3Aget_runs()%2C'interpretation'%3Ainterpretation%2C'conclusion'%3Areflection.value%2C'authored'%3A%7B'rows'%3A%5B%5Brow%5Bcolumn%5D%20for%20column%20in%20config%5B'authored'%5D%5B'columns'%5D%5D%20for%20row%20in%20author_cases.value%5D%2Bauthor_sealed%2C'parameters'%3Aauthor_parameters.value%2C'prediction'%3Aauthor_prediction.value%20or%20''%2C%20'result'%3Aauthor_result%7D%7D%0A%20%20%20%20_e%3Djournal_html.escape%0A%20%20%20%20def%20_readable(value)%3A%0A%20%20%20%20%20%20%20%20if%20isinstance(value%2Cdict)%3Areturn%20'%3Cdl%3E'%2B''.join('%3Cdt%3E%3Cstrong%3E'%2B_e(str(k).replace('_'%2C'%20'))%2B'%3C%2Fstrong%3E%3C%2Fdt%3E%3Cdd%3E'%2B_readable(v)%2B'%3C%2Fdd%3E'%20for%20k%2Cv%20in%20value.items())%2B'%3C%2Fdl%3E'%0A%20%20%20%20%20%20%20%20if%20isinstance(value%2Clist)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20value%20and%20all(isinstance(row%2Cdict)%20for%20row%20in%20value)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_keys%3Dlist(dict.fromkeys(k%20for%20row%20in%20value%20for%20k%20in%20row))%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20return%20'%3Ctable%3E%3Cthead%3E%3Ctr%3E'%2B''.join('%3Cth%3E'%2B_e(str(k).replace('_'%2C'%20'))%2B'%3C%2Fth%3E'%20for%20k%20in%20_keys)%2B'%3C%2Ftr%3E%3C%2Fthead%3E%3Ctbody%3E'%2B''.join('%3Ctr%3E'%2B''.join('%3Ctd%3E'%2B_readable(row.get(k%2C''))%2B'%3C%2Ftd%3E'%20for%20k%20in%20_keys)%2B'%3C%2Ftr%3E'%20for%20row%20in%20value)%2B'%3C%2Ftbody%3E%3C%2Ftable%3E'%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20'%3Col%3E'%2B''.join('%3Cli%3E'%2B_readable(v)%2B'%3C%2Fli%3E'%20for%20v%20in%20value)%2B'%3C%2Fol%3E'%0A%20%20%20%20%20%20%20%20return%20_e(str(value))%20if%20value%20is%20not%20None%20else%20'Not%20recorded'%0A%20%20%20%20_rows%3D''.join('%3Ctr%3E'%2B''.join('%3Ctd%3E'%2B_e(str(value))%2B'%3C%2Ftd%3E'%20for%20value%20in%20row.values())%2B'%3C%2Ftr%3E'%20for%20row%20in%20measurements)%0A%20%20%20%20_report%3D'%3Chtml%20lang%3D%22en-AU%22%3E%3Cmeta%20charset%3D%22utf-8%22%3E%3Ctitle%3E'%2B_e(config%5B'title'%5D)%2B'%3C%2Ftitle%3E%3Cstyle%3Ebody%7Bfont%3A18px%2F1.6%20system-ui%3Bmax-width%3A1000px%3Bmargin%3A40px%20auto%3Bpadding%3A20px%7Dtd%2Cth%7Bborder%3A1px%20solid%20%23999%3Bpadding%3A10px%7Dtable%7Bborder-collapse%3Acollapse%7Dp%7Bwhite-space%3Apre-wrap%7D%3C%2Fstyle%3E%3Ch1%3E'%2B_e(config%5B'title'%5D)%2B'%3C%2Fh1%3E%3Ch2%3EPrediction%3C%2Fh2%3E%3Cp%3E'%2B_e(prediction.value%20or%20'')%2B'%3C%2Fp%3E%3Ch2%3ESettings%3C%2Fh2%3E%3Cp%3E'%2B_e(str(evidence%5B'settings'%5D))%2B'%3C%2Fp%3E%3Ch2%3EMeasurements%3C%2Fh2%3E%3Ctable%3E%3Ctr%3E'%2B''.join('%3Cth%3E'%2B_e(k)%2B'%3C%2Fth%3E'%20for%20k%20in%20measurements%5B0%5D)%2B'%3C%2Ftr%3E'%2B_rows%2B'%3C%2Ftable%3E%3Ch2%3EExplanation%3C%2Fh2%3E%3Cp%3E'%2B_e(reflection.value)%2B'%3C%2Fp%3E%3Ch2%3EInterpretation%20and%20limits%3C%2Fh2%3E%3Cp%3E'%2B_e(interpretation)%2B'%3C%2Fp%3E%3C%2Fhtml%3E'%0A%20%20%20%20_report%3D_report.replace('%3C%2Fhtml%3E'%2C'%3Ch2%3EStarting%20baseline%3C%2Fh2%3E'%2B_readable(baseline_rows)%2B'%3Ch2%3ESaved%20comparisons%3C%2Fh2%3E'%2B_readable(get_runs())%2B'%3Ch2%3EMy%20authored%20investigation%3C%2Fh2%3E'%2B_readable(evidence%5B'authored'%5D)%2B'%3C%2Fhtml%3E')%0A%20%20%20%20mo.hstack(%5Bmo.download(data%3Djson.dumps(evidence%2Cindent%3D2%2Callow_nan%3DFalse).encode()%2Cfilename%3Dconfig%5B'lesson_id'%5D%2B'-project.json'%2Clabel%3D'Download%20resumable%20notebook%20project')%2Cmo.download(data%3D_report.encode()%2Cfilename%3Dconfig%5B'lesson_id'%5D%2B'-report.html'%2Clabel%3D'Download%20readable%20report%20%2F%20print')%5D)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20%22%22%22Editable%20Year%209%E2%80%9312%20investigations%3B%20deliberately%20small%2C%20local%20and%20deterministic.%22%22%22%0A%20%20%20%20def%20author_compute(ident%2C%20rows%2C%20params%2C%20reveal%3DFalse)%3A%0A%20%20%20%20%20%20%20%20import%20math%2Cjson%2Cre%0A%20%20%20%20%20%20%20%20if%20not%201%20%3C%3D%20len(rows)%20%3C%3D%20100%3A%20raise%20ValueError('Use%20between%201%20and%20100%20cases.')%0A%20%20%20%20%20%20%20%20def%20n(v)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20isinstance(v%2Cbool)%20or%20str(v).strip()%3D%3D''%3Araise%20ValueError('Supply%20a%20finite%20number%20in%20each%20numeric%20field.')%0A%20%20%20%20%20%20%20%20%20%20%20%20value%3Dfloat(v)%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20not%20math.isfinite(value)%3Araise%20ValueError('All%20numbers%20must%20be%20finite.')%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20value%0A%20%20%20%20%20%20%20%20def%20p(key)%3Areturn%20n(params%5Bkey%5D)%0A%20%20%20%20%20%20%20%20def%20yes(v)%3Areturn%20v%20is%20True%20or%20str(v).lower()%3D%3D'true'%0A%20%20%20%20%20%20%20%20def%20words(v)%3Areturn%20re.findall(r'%5Cw%2B'%2Cstr(v).lower())%0A%20%20%20%20%20%20%20%20out%3D%5B%5D%3Btrace%3D%5B%5D%3Bsummary%3D''%0A%20%20%20%20%20%20%20%20if%20ident%3D%3D'y9-gradient'%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20for%20index%2C(start%2Cschedule)%20in%20enumerate(rows)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20w%3Dn(start)%3Brates%3D%5Bn(v.strip())%20for%20v%20in%20str(schedule).split('%2C')%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20len(rates)%3E100%20or%20any(abs(v)%3E5%20for%20v%20in%20rates)%3Araise%20ValueError('Use%20at%20most%20100%20rates%2C%20each%20between%20-5%20and%205.')%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20for%20step%2Crate%20in%20enumerate(rates)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20w-%3Drate*2*(w-p('Target'))%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20abs(w)%3E1e9%3Araise%20ValueError('The%20schedule%20diverged%20beyond%20the%20classroom%20limit.')%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20trace.append(%7B'case'%3Aindex%2B1%2C'step'%3Astep%2B1%2C'rate'%3Arate%2C'w'%3Aw%2C'loss'%3A(w-p('Target'))**2%7D)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20out.append(%7B'start'%3An(start)%2C'steps'%3Alen(rates)%2C'final'%3Aw%2C'loss'%3A(w-p('Target'))**2%7D)%0A%20%20%20%20%20%20%20%20elif%20ident%3D%3D'y9-clusters'%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20points%3D%5B%5Bn(x)%2Cn(y)%5D%20for%20x%2Cy%20in%20rows%5D%3Bcentres%3D%5B%5Bp('First%20centre%20x')%2Cp('First%20centre%20y')%5D%2C%5Bp('Second%20centre%20x')%2Cp('Second%20centre%20y')%5D%5D%3Bimportance%3Dp('X%20importance')%3Biterations%3Dint(p('Iterations'))%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20not%200%3C%3Dimportance%3C%3D100%20or%20not%201%3C%3Diterations%3C%3D50%3Araise%20ValueError('Use%20importance%200%E2%80%93100%20and%201%E2%80%9350%20iterations.')%0A%20%20%20%20%20%20%20%20%20%20%20%20def%20assign(point)%3Areturn%20min(range(2)%2Ckey%3Dlambda%20k%3Aimportance*(centres%5Bk%5D%5B0%5D-point%5B0%5D)**2%2B(centres%5Bk%5D%5B1%5D-point%5B1%5D)**2)%0A%20%20%20%20%20%20%20%20%20%20%20%20for%20step%20in%20range(iterations)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20labels%3D%5Bassign(point)%20for%20point%20in%20points%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20centres%3D%5B%5Bsum(pt%5Baxis%5D%20for%20i%2Cpt%20in%20enumerate(points)%20if%20labels%5Bi%5D%3D%3Dk)%2Flabels.count(k)%20for%20axis%20in%20range(2)%5D%20if%20k%20in%20labels%20else%20centres%5Bk%5D%20for%20k%20in%20range(2)%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20out%3D%5B%7B'x'%3Ax%2C'y'%3Ay%2C'cluster'%3Aassign(%5Bx%2Cy%5D)%7D%20for%20x%2Cy%20in%20points%5D%3Bsummary%3D'Final%20centres%3A%20'%2Bstr(centres)%0A%20%20%20%20%20%20%20%20elif%20ident%3D%3D'y9-calibration'%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20temperature%3Dp('Temperature')%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20not%20.1%3C%3Dtemperature%3C%3D10%3Araise%20ValueError('Temperature%20must%20be%20between%200.1%20and%2010.')%0A%20%20%20%20%20%20%20%20%20%20%20%20for%20prob%2Coutcome%2Csplit%20in%20rows%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20str(split)%3D%3D'final'%20and%20not%20reveal%3Acontinue%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20prob%3Dn(prob)%3Boutcome%3Dn(outcome)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20not%200%3Cprob%3C1%20or%20outcome%20not%20in%20%5B0%2C1%5D%3Araise%20ValueError('Use%20probabilities%20between%200%20and%201%20and%20outcomes%200%2F1.')%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20calibrated%3D1%2F(1%2Bmath.exp(-math.log(prob%2F(1-prob))%2Ftemperature))%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20out.append(%7B'original'%3Aprob%2C'calibrated'%3Acalibrated%2C'outcome'%3Aoutcome%2C'split'%3Asplit%2C'squared_error'%3A(calibrated-outcome)**2%7D)%0A%20%20%20%20%20%20%20%20%20%20%20%20summary%3D'Final%20cases%20'%2B('revealed.%20Treat%20them%20as%20development%20data%20if%20you%20retune.'%20if%20reveal%20else%20'withheld%20until%20you%20lock%20your%20choice.')%0A%20%20%20%20%20%20%20%20elif%20ident%3D%3D'y10-chunks'%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20width%3Dint(p('Words%20per%20chunk'))%3Boverlap%3Dint(p('Overlap%20words'))%3Bquery%3Dwords(params%5B'Query'%5D)%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20not%202%3C%3Dwidth%3C%3D100%20or%20not%200%3C%3Doverlap%3Cwidth%3Araise%20ValueError('Use%202%E2%80%93100%20words%20per%20chunk%20and%20a%20smaller%20non-negative%20overlap.')%0A%20%20%20%20%20%20%20%20%20%20%20%20for%20document%2Cbody%20in%20rows%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20tokens%3Dstr(body).split()%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20for%20start%20in%20range(0%2Clen(tokens)%2Cwidth-overlap)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20passage%3D'%20'.join(tokens%5Bstart%3Astart%2Bwidth%5D)%3Bout.append(%7B'document'%3Adocument%2C'start'%3Astart%2B1%2C'passage'%3Apassage%2C'score'%3Asum(w%20in%20words(passage)%20for%20w%20in%20query)%7D)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20start%2Bwidth%3E%3Dlen(tokens)%3Abreak%0A%20%20%20%20%20%20%20%20%20%20%20%20out.sort(key%3Dlambda%20r%3Ar%5B'score'%5D%2Creverse%3DTrue)%3Bsummary%3D'Lexical%20retrieval%20only.%20Check%20qualifiers%20against%20the%20full%20document.'%0A%20%20%20%20%20%20%20%20elif%20ident%3D%3D'y10-grounding'%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20for%20question%2Cevidence%2Ccontradiction%2Cexpected%20in%20rows%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20decision%3D'answer'%20if%20(not%20yes(params%5B'Require%20evidence'%5D)%20or%20str(evidence).strip())%20and%20(not%20yes(params%5B'Block%20contradictions'%5D)%20or%20not%20yes(contradiction))%20else%20'withhold'%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20out.append(%7B'question'%3Aquestion%2C'evidence'%3Aevidence%2C'decision'%3Adecision%2C'expected'%3Aexpected%2C'correct'%3Adecision%3D%3Dexpected%7D)%0A%20%20%20%20%20%20%20%20elif%20ident%3D%3D'y10-injection'%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20allowed%3D%5Ba.strip()%20for%20a%20in%20str(params%5B'Allowed%20actions'%5D).split('%2C')%5D%3Bphrase%3Dstr(params%5B'Blocked%20phrase'%5D).lower()%0A%20%20%20%20%20%20%20%20%20%20%20%20out%3D%5B%7B'document'%3Adoc%2C'action'%3Aaction%2C'attack'%3Ayes(attack)%2C'phrase_filter_allows'%3Anot%20phrase%20or%20phrase%20not%20in%20str(doc).lower()%2C'permission_allows'%3Aaction%20in%20allowed%2C'action_executed'%3AFalse%7D%20for%20doc%2Caction%2Cattack%20in%20rows%5D%0A%20%20%20%20%20%20%20%20elif%20ident%3D%3D'y11-deploy'%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20finish%3D0%3Bprevious%3D-1%0A%20%20%20%20%20%20%20%20%20%20%20%20for%20index%2C(arrival%2Cservice%2Csensitive)%20in%20enumerate(rows)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20arrival%3Dn(arrival)%3Bservice%3Dn(service)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20arrival%3Cprevious%20or%20arrival%3C0%20or%20not%200%3C%3Dservice%3C%3D3600%3Araise%20ValueError('Order%20non-negative%20arrivals%20chronologically%20and%20keep%20service%20time%20within%200%E2%80%933600%20seconds.')%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20previous%3Darrival%3Bstart%3Dmax(arrival%2Cfinish)%3Bfinish%3Dstart%2Bservice%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20out.append(%7B'job'%3Aindex%2B1%2C'arrival'%3Aarrival%2C'wait'%3Astart-arrival%2C'finish'%3Afinish%2C'cost'%3Aservice*p('Cost%20per%20service%20second')%2C'route'%3A'local%20required'%20if%20yes(sensitive)%20and%20yes(params%5B'Local%20only%20for%20sensitive'%5D)%20else%20'either%20permitted'%7D)%0A%20%20%20%20%20%20%20%20%20%20%20%20summary%3D'Simulated%20FIFO%20timings.%20Keep%20measured%20hardware%20traces%20separately%20labelled.'%0A%20%20%20%20%20%20%20%20elif%20ident%3D%3D'y11-contract'%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20required%3D%5Bk.strip()%20for%20k%20in%20str(params%5B'Required%20fields'%5D).split('%2C')%20if%20k.strip()%5D%3Ballowed%3D%5Ba.strip()%20for%20a%20in%20str(params%5B'Allowed%20actions'%5D).split('%2C')%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20for%20index%2C(raw%2C)%20in%20enumerate(rows)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20issues%3D%5B%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20try%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20action%3Djson.loads(raw)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20not%20isinstance(action%2Cdict)%3Aissues%3D%5B'Expected%20an%20object'%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20issues%2B%3D%5B'Missing%20'%2Bk%20for%20k%20in%20required%20if%20k%20not%20in%20action%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20yes(params%5B'Reject%20extra%20fields'%5D)%3Aissues%2B%3D%5B'Extra%20'%2Bk%20for%20k%20in%20action%20if%20k%20not%20in%20required%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20action.get('action')%20not%20in%20allowed%3Aissues.append('Action%20not%20permitted')%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20duration%3Daction.get('duration')%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20isinstance(duration%2Cbool)%20or%20not%20isinstance(duration%2C(int%2Cfloat))%20or%20not%20math.isfinite(duration)%20or%20not%200%3C%3Dduration%3C%3Dp('Maximum%20duration')%3Aissues.append('Duration%20type%20or%20range')%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20except%20(ValueError%2CTypeError)%3Aissues%3D%5B'Invalid%20JSON'%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20out.append(%7B'case'%3Aindex%2B1%2C'accepted'%3Anot%20issues%2C'issues'%3A'%3B%20'.join(issues)%20or%20'All%20declared%20checks%20passed'%7D)%0A%20%20%20%20%20%20%20%20elif%20ident%3D%3D'y11-drift'%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20window%3Dint(p('Window'))%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20not%201%3C%3Dwindow%3C%3D50%3Araise%20ValueError('Use%20a%20window%20of%201%E2%80%9350%20readings.')%0A%20%20%20%20%20%20%20%20%20%20%20%20for%20i%2Crow%20in%20enumerate(rows)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20recent%3Drows%5Bmax(0%2Ci-window%2B1)%3Ai%2B1%5D%3Baverage%3Dsum(n(r%5B0%5D)%20for%20r%20in%20recent)%2Flen(recent)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20out.append(%7B'step'%3Ai%2B1%2C'value'%3An(row%5B0%5D)%2C'window_mean'%3Aaverage%2C'alarm'%3Alen(recent)%3D%3Dwindow%20and%20abs(average-p('Reference%20mean'))%3E%3Dp('Shift%20alarm')%2C'later_errors'%3Asum(yes(r%5B1%5D)%20for%20r%20in%20recent)%7D)%0A%20%20%20%20%20%20%20%20%20%20%20%20summary%3D'An%20input%20alarm%20and%20later%20observed%20errors%20answer%20different%20questions.%20Add%20your%20response%20decision.'%0A%20%20%20%20%20%20%20%20elif%20ident%3D%3D'y12-govern'%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20out%3D%5B%7B'stakeholder'%3Awho%2C'required'%3An(required)%2C'allocated'%3An(allocated)%2C'shortfall'%3Amax(0%2Cn(required)-n(allocated))%2C'unresolved_issue'%3Aissue%7D%20for%20who%2Crequired%2Callocated%2Cissue%20in%20rows%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20summary%3Df%22Allocated%20%7Bsum(r%5B'allocated'%5D%20for%20r%20in%20out)%3Ag%7D%20of%20%7Bp('Review%20budget')%3Ag%7D%20minutes.%20Time%20sufficiency%20is%20not%20consent%20or%20ethical%20approval.%22%0A%20%20%20%20%20%20%20%20elif%20ident%3D%3D'y12-ablation'%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20out%3D%5B%7B'case'%3Acase%2C'baseline'%3An(base)%2C'retrieval_effect'%3An(retrieval)-n(base)%2C'review_effect'%3An(review)-n(base)%2C'interaction'%3An(both)-n(retrieval)-n(review)%2Bn(base)%2C'combined_effect'%3An(both)-n(base)%7D%20for%20case%2Cbase%2Cretrieval%2Creview%2Cboth%20in%20rows%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20effects%3D%5Br%5B'combined_effect'%5D%20for%20r%20in%20out%5D%3Baverage%3Dsum(effects)%2Flen(effects)%3Bse%3Dmath.sqrt(sum((x-average)**2%20for%20x%20in%20effects)%2F(len(effects)-1)%2Flen(effects))%20if%20len(effects)%3E1%20else%20None%0A%20%20%20%20%20%20%20%20%20%20%20%20summary%3Df'Mean%20paired%20effect%20%7Baverage%3A.6f%7D%3B%20standard%20error%20%7Bse%7D.%20Statistical%20interpretation%20requires%20independent%20representative%20cases.'%0A%20%20%20%20%20%20%20%20elif%20ident%3D%3D'y12-assurance'%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20ids%3D%5Bstr(r%5B0%5D).strip()%20for%20r%20in%20rows%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20any(not%20x%20for%20x%20in%20ids)%20or%20len(set(ids))!%3Dlen(ids)%3Araise%20ValueError('Claim%20IDs%20must%20be%20unique%20and%20non-empty.')%0A%20%20%20%20%20%20%20%20%20%20%20%20dependencies%3D%7Bstr(r%5B0%5D).strip()%3A%5Bx.strip()%20for%20x%20in%20str(r%5B5%5D).split('%2C')%20if%20x.strip()%5D%20for%20r%20in%20rows%7D%3Bown%3D%7B%7D%0A%20%20%20%20%20%20%20%20%20%20%20%20for%20ident_%2Cclaim%2Cevidence%2Cpasses%2Ctests%2Cdeps%2Cdefeater%20in%20rows%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20passes%3Dn(passes)%3Btests%3Dn(tests)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20passes%3C0%20or%20tests%3Cpasses%3Araise%20ValueError('Passes%20must%20be%20between%20zero%20and%20the%20total%20tests.')%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20own%5Bstr(ident_).strip()%5D%3D%5Breason%20for%20reason%2Ccondition%20in%20%5B('missing%20claim'%2Cnot%20str(claim).strip())%2C('missing%20evidence'%2Cnot%20str(evidence).strip())%2C('no%20tests'%2Ctests%3D%3D0)%2C('failed%20tests'%2Cpasses%3Ctests)%2C('unresolved%20defeater'%2Cbool(str(defeater).strip()))%5D%20if%20condition%5D%2B%5B'unknown%20dependency%20'%2Bd%20for%20d%20in%20dependencies%5Bstr(ident_).strip()%5D%20if%20d%20not%20in%20ids%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20cache%3D%7B%7D%0A%20%20%20%20%20%20%20%20%20%20%20%20def%20unresolved(key%2Cpath%3D())%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20key%20in%20path%20or%20key%20not%20in%20own%3Areturn%20True%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20key%20in%20cache%3Areturn%20cache%5Bkey%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20result%3Dbool(own%5Bkey%5D)%20or%20any(unresolved(d%2Cpath%2B(key%2C))%20for%20d%20in%20dependencies%5Bkey%5D)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20cache%5Bkey%5D%3Dresult%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20return%20result%0A%20%20%20%20%20%20%20%20%20%20%20%20for%20row%20in%20rows%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20key%3Dstr(row%5B0%5D).strip()%3Bissues%3Down%5Bkey%5D%2B%5B'unresolved%20or%20cyclic%20dependency%20'%2Bd%20for%20d%20in%20dependencies%5Bkey%5D%20if%20unresolved(d%2C(key%2C))%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20out.append(%7B'id'%3Akey%2C'claim'%3Arow%5B1%5D%2C'dependencies'%3Arow%5B5%5D%2C'issues'%3A'%3B%20'.join(issues)%20or%20'Structure%20complete%3B%20relevance%20requires%20review'%7D)%0A%20%20%20%20%20%20%20%20%20%20%20%20summary%3D'Structure%20is%20checked%3B%20evidence%20relevance%20and%20release%20authority%20require%20a%20human%20defence.'%0A%20%20%20%20%20%20%20%20else%3Araise%20ValueError('Unknown%20authored%20investigation')%0A%20%20%20%20%20%20%20%20return%20%7B'summary'%3Asummary%20or%20str(len(out))%2B'%20cases%20calculated%20from%20your%20inputs.'%2C'rows'%3Aout%2C'trace'%3Atrace%7D%0A%0A%20%20%20%20return%20(author_compute%2C)%0A%0A%0A%40app.cell%0Adef%20_(config%2C%20mo%2C%20prediction)%3A%0A%20%20%20%20mo.stop(prediction.value%20is%20None)%0A%20%20%20%20author_upload%3Dmo.ui.file(filetypes%3D%5B'.csv'%5D%2Cmultiple%3DFalse%2Cmax_size%3D200000%2Clabel%3D'Optional%3A%20import%20your%20own%20case%20CSV')%0A%20%20%20%20mo.vstack(%5Bmo.md('%23%23%20Build%20your%20own%20investigation%5Cn'%2Bconfig%5B'authored'%5D%5B'method'%5D%2B'%5Cn%5CnEdit%20the%20case%20table%20or%20import%20a%20CSV%20with%20these%20exact%20headings%3A%20'%2B'%2C%20'.join(config%5B'authored'%5D%5B'columns'%5D)%2B'.%20Download%20the%20starter%20CSV%20from%20the%20full%20classroom%20lesson.%20Use%20fictional%20data%20only.')%2Cauthor_upload%5D)%0A%20%20%20%20return%20(author_upload%2C)%0A%0A%0A%40app.cell%0Adef%20_(author_upload%2C%20config%2C%20mo%2C%20reset_controls%2C%20restored)%3A%0A%20%20%20%20import%20csv%20as%20author_csv%0A%20%20%20%20import%20io%20as%20author_io%0A%20%20%20%20_recipe%3Dconfig%5B'authored'%5D%3B_columns%3D_recipe%5B'columns'%5D%3B_stored%3Drestored.get('authored'%2C%7B%7D)%20if%20not%20reset_controls.value%20else%20%7B%7D%0A%20%20%20%20_data%3D_stored.get('rows'%2C_recipe%5B'rows'%5D)%0A%20%20%20%20if%20author_upload.contents()%3A%0A%20%20%20%20%20%20%20%20try%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_reader%3Dauthor_csv.DictReader(author_io.StringIO(author_upload.contents().decode('utf-8-sig')))%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20_reader.fieldnames!%3D_columns%3Araise%20ValueError('CSV%20headings%20must%20match%20the%20starter%20file%20in%20the%20same%20order.')%0A%20%20%20%20%20%20%20%20%20%20%20%20_data%3D%5B%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20for%20_r%20in%20_reader%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_row%3D%5B%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20for%20_j%2C_column%20in%20enumerate(_columns)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_v%3D_r%5B_column%5D%3B_sample%3D_recipe%5B'rows'%5D%5B0%5D%5B_j%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20_v%20is%20None%20or%20isinstance(_sample%2Cbool)%20and%20_v.lower()%20not%20in%20%5B'true'%2C'false'%5D%3Araise%20ValueError('Use%20all%20columns%20and%20true%2Ffalse%20for%20checkbox%20fields.')%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_row.append(_v.lower()%3D%3D'true'%20if%20isinstance(_sample%2Cbool)%20else%20float(_v)%20if%20isinstance(_sample%2C(int%2Cfloat))%20else%20_v)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_data.append(_row)%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20not%201%3C%3Dlen(_data)%3C%3D100%3Araise%20ValueError('Use%201%E2%80%93100%20cases.')%0A%20%20%20%20%20%20%20%20except%20(ValueError%2CUnicodeError%2CTypeError%2CAttributeError)%20as%20_error%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.output.replace(mo.callout(mo.md('Could%20not%20read%20case%20CSV%3A%20'%2Bstr(_error))%2Ckind%3D'warn'))%0A%20%20%20%20%20%20%20%20%20%20%20%20_data%3D_recipe%5B'rows'%5D%0A%20%20%20%20author_sealed%3D%5Brow%20for%20row%20in%20_data%20if%20config%5B'lesson_id'%5D%3D%3D'y9-calibration'%20and%20row%5B2%5D%3D%3D'final'%5D%0A%20%20%20%20_data%3D%5Brow%20for%20row%20in%20_data%20if%20not%20(config%5B'lesson_id'%5D%3D%3D'y9-calibration'%20and%20row%5B2%5D%3D%3D'final')%5D%0A%20%20%20%20author_cases%3Dmo.ui.data_editor(%5Bdict(zip(_columns%2Crow))%20for%20row%20in%20_data%5D%2Clabel%3D'Your%20editable%20cases'%2Cpage_size%3D10)%0A%20%20%20%20_settings%3D_stored.get('parameters'%2C_recipe%5B'parameters'%5D)%0A%20%20%20%20author_parameters%3Dmo.ui.dictionary(%7Bkey%3Amo.ui.checkbox(value%3D_settings.get(key%2Cvalue)%2Clabel%3Dkey)%20if%20isinstance(value%2Cbool)%20else%20mo.ui.number(value%3D_settings.get(key%2Cvalue)%2Cstep%3D1%20if%20isinstance(value%2Cint)%20else%200.01%2Clabel%3Dkey)%20if%20isinstance(value%2C(int%2Cfloat))%20else%20mo.ui.text(value%3D_settings.get(key%2Cvalue)%2Clabel%3Dkey%2Cfull_width%3DTrue)%20for%20key%2Cvalue%20in%20_recipe%5B'parameters'%5D.items()%7D)%0A%20%20%20%20author_prediction%3Dmo.ui.text_area(value%3D_stored.get('prediction'%2C'')%2Clabel%3D'My%20prediction%20for%20my%20own%20cases'%2Cfull_width%3DTrue).form(submit_button_label%3D'Commit%20prediction%20for%20my%20cases'%2Cvalidate%3Dlambda%20value%3ANone%20if%20value%20and%20len(value.strip())%3E%3D3%20else%20'Record%20a%20prediction%20first.')%0A%20%20%20%20mo.vstack(%5Bauthor_prediction%2Cauthor_parameters.vstack()%2Cauthor_cases%5D)%0A%20%20%20%20return%20author_cases%2C%20author_parameters%2C%20author_prediction%2C%20author_sealed%0A%0A%0A%40app.cell%0Adef%20_(author_prediction%2C%20author_sealed%2C%20mo)%3A%0A%20%20%20%20author_reveal%3Dmo.ui.checkbox(label%3D'I%20have%20locked%20my%20choice.%20Reveal%20the%20final%20cases%20(retuning%20after%20this%20consumes%20the%20final%20check).')%0A%20%20%20%20mo.output.replace(author_reveal%20if%20author_sealed%20and%20author_prediction.value%20is%20not%20None%20else%20mo.md(''))%0A%20%20%20%20return%20(author_reveal%2C)%0A%0A%0A%40app.cell%0Adef%20_(%0A%20%20%20%20author_cases%2C%0A%20%20%20%20author_compute%2C%0A%20%20%20%20author_parameters%2C%0A%20%20%20%20author_prediction%2C%0A%20%20%20%20author_reveal%2C%0A%20%20%20%20author_sealed%2C%0A%20%20%20%20config%2C%0A%20%20%20%20mo%2C%0A)%3A%0A%20%20%20%20author_result%3DNone%0A%20%20%20%20if%20author_prediction.value%20is%20not%20None%3A%0A%20%20%20%20%20%20%20%20try%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_rows%3D%5B%5Brow%5Bcolumn%5D%20for%20column%20in%20config%5B'authored'%5D%5B'columns'%5D%5D%20for%20row%20in%20author_cases.value%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20author_result%3Dauthor_compute(config%5B'lesson_id'%5D%2C_rows%2Bauthor_sealed%2Cauthor_parameters.value%2Cauthor_reveal.value)%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.output.replace(mo.vstack(%5Bmo.callout(mo.md(author_result%5B'summary'%5D)%2Ckind%3D'info')%2Cmo.ui.table(author_result%5B'rows'%5D%2Cselection%3DNone)%2Cmo.accordion(%7B'Every%20computed%20step'%3Amo.ui.table(author_result%5B'trace'%5D%2Cselection%3DNone)%7D)%20if%20author_result%5B'trace'%5D%20else%20mo.md('')%2Cmo.md('**Limit%3A**%20'%2Bconfig%5B'authored'%5D%5B'limitation'%5D)%5D))%0A%20%20%20%20%20%20%20%20except%20(ValueError%2CTypeError%2CKeyError%2COverflowError)%20as%20_error%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.output.replace(mo.callout(mo.md('Check%20your%20cases%3A%20'%2Bstr(_error))%2Ckind%3D'warn'))%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20mo.output.replace(mo.md('Commit%20a%20prediction%20to%20calculate%20your%20own%20cases.%20Your%20original%20experiment%20can%20already%20be%20saved.'))%0A%20%20%20%20return%20(author_result%2C)%0A%0A%0A%40app.cell%0Adef%20_(config%2C%20mo%2C%20sys)%3A%0A%20%20%20%20gpu_form%20%3D%20mo.md('''**Larger%20experiment%20settings**%0A%0A%20%20%20%20Parameter%3A%20%7Bparameter%7D%0A%0A%20%20%20%20Workload%20scale%3A%20%7Bscale%7D%0A%0A%20%20%20%20Execution%3A%20%7Bdevice%7D%0A%20%20%20%20''').batch(parameter%3Dmo.ui.slider(start%3Dconfig%5B'parameter'%5D%5B'min'%5D%2Cstop%3Dconfig%5B'parameter'%5D%5B'max'%5D%2Cstep%3Dconfig%5B'parameter'%5D%5B'step'%5D%2Cvalue%3Dconfig%5B'parameter'%5D%5B'default'%5D%2Clabel%3Dconfig%5B'parameter'%5D%5B'label'%5D%2Cshow_value%3DTrue)%2Cscale%3Dmo.ui.slider(start%3D1%2Cstop%3D8%2Cstep%3D1%2Cvalue%3D1%2Clabel%3D'Workload%20scale'%2Cshow_value%3DTrue)%2Cdevice%3Dmo.ui.dropdown(options%3D%5B'CPU%20verification'%2C'H100%20CUDA'%5D%2Cvalue%3D'CPU%20verification'%2Clabel%3D'Execution%20device')).form(submit_button_label%3D'Run%20the%20larger%20experiment'%2C%20clear_on_submit%3DFalse)%0A%20%20%20%20mo.vstack(%5Bmo.md('%23%23%20Optional%3A%20run%20on%20an%20H100%5CnThe%20classroom%20controls%20above%20use%20the%20CPU.%20This%20separate%20experiment%20uses%20larger%20fixed%20workloads%20and%20its%20own%20parameter%20and%20scale%3B%20the%20second%20classroom%20control%20does%20not%20carry%20over.%20Nothing%20runs%20here%20until%20you%20submit.')%2C%20mo.callout(mo.md('This%20hosted%20copy%20runs%20on%20your%20browser%20CPU.%20Download%20this%20notebook%20and%20follow%20the%20%5BH100%20setup%20guide%5D(https%3A%2F%2Fbrightlab-ai-creators.ian347727.chatgpt.site%2Fmarimo-labs%2Fh100)%20to%20use%20CUDA.%20The%20guide%20requires%20your%20own%20GPU%20access.')%2Ckind%3D'info')%20if%20sys.platform%3D%3D'emscripten'%20else%20gpu_form%5D)%0A%20%20%20%20return%20(gpu_form%2C)%0A%0A%0A%40app.function%0Adef%20gpu_compute(device%2C%20parameter%3D2%2C%20scale%3D1)%3A%0A%20%20%20%20import%20torch%0A%20%20%20%20generator%3Dtorch.Generator().manual_seed(31)%3B%20logits%3Dtorch.linspace(-4%2C4%2C16384*scale%2Cdevice%3Ddevice)%0A%20%20%20%20draw%3Dtorch.rand(len(logits)%2Cgenerator%3Dgenerator).to(device)%3B%20truth%3D(draw%3Ctorch.sigmoid(logits%2F2)).float()%0A%20%20%20%20probabilities%3Dtorch.sigmoid(logits%2Fparameter)%3B%20rows%3D%5B%5D%0A%20%20%20%20for%20i%20in%20range(10)%3A%0A%20%20%20%20%20%20%20%20mask%3D(probabilities%3E%3Di%2F10)%26(probabilities%3C(i%2B1)%2F10)%3B%20count%3Dmask.sum().item()%0A%20%20%20%20%20%20%20%20if%20count%3A%20rows.append(%5Bi%2Ccount%2Cprobabilities%5Bmask%5D.mean().item()%2Ctruth%5Bmask%5D.mean().item()%2C((probabilities%5Bmask%5D-truth%5Bmask%5D)**2).mean().item()%5D)%0A%20%20%20%20return%20dict(columns%3D%5B'bin'%2C'count'%2C'mean_probability'%2C'observed_frequency'%2C'bin_brier'%5D%2Crows%3Drows%2Cmechanism%3D'Large%20seeded%20calibration%20population%20with%20temperature-scaled%20logits%20and%20exact%20reliability-bin%20counts.'%2Climitation%3D'The%20generating%20calibration%20temperature%20is%20known%20only%20because%20these%20are%20synthetic%20data%3B%20finite-bin%20uncertainty%20remains.'%2Cchecks%3D%7B'all_cases_counted'%3Asum(r%5B1%5D%20for%20r%20in%20rows)%3D%3Dlen(logits)%7D)%0A%0A%0A%40app.cell%0Adef%20_(math%2C%20time)%3A%0A%20%20%20%20def%20execute_large(device%2C%20parameter%2C%20scale)%3A%0A%20%20%20%20%20%20%20%20import%20torch%0A%20%20%20%20%20%20%20%20if%20device%3D%3D'cuda'%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20not%20torch.cuda.is_available()%3A%20raise%20RuntimeError('CUDA%20is%20unavailable.%20Check%20the%20NVIDIA%20driver%20and%20GPU%20container%2C%20or%20explicitly%20select%20CPU%20verification.')%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20'H100'%20not%20in%20torch.cuda.get_device_name(0)%3A%20raise%20RuntimeError('The%20selected%20GPU%20is%20'%2Btorch.cuda.get_device_name(0)%2B'%2C%20not%20an%20H100.%20This%20notebook%20will%20not%20label%20another%20device%20as%20an%20H100.')%0A%20%20%20%20%20%20%20%20a%3Dtorch.tensor(%5B%5B1.%2C2.%5D%2C%5B3.%2C4.%5D%5D%2Cdevice%3Ddevice)%0A%20%20%20%20%20%20%20%20if%20not%20torch.allclose((a%40a).cpu()%2Ctorch.tensor(%5B%5B7.%2C10.%5D%2C%5B15.%2C22.%5D%5D))%3A%20raise%20RuntimeError('Device%20computation%20read-back%20failed.')%0A%20%20%20%20%20%20%20%20if%20device%3D%3D'cuda'%3A%20torch.cuda.synchronize()%3B%20torch.cuda.reset_peak_memory_stats()%0A%20%20%20%20%20%20%20%20start%3Dtime.perf_counter()%0A%20%20%20%20%20%20%20%20with%20torch.inference_mode()%3A%20output%3Dgpu_compute(device%2Cparameter%2Cint(scale))%0A%20%20%20%20%20%20%20%20if%20device%3D%3D'cuda'%3A%20torch.cuda.synchronize()%0A%20%20%20%20%20%20%20%20elapsed%3Dtime.perf_counter()-start%0A%20%20%20%20%20%20%20%20if%20not%20output%5B'rows'%5D%20or%20not%20all(output.get('checks'%2C%7B%7D).values())%3A%20raise%20RuntimeError('An%20experiment%20invariant%20failed.')%0A%20%20%20%20%20%20%20%20if%20any(not%20math.isfinite(float(v))%20for%20row%20in%20output%5B'rows'%5D%20for%20v%20in%20row)%3A%20raise%20RuntimeError('Non-finite%20evidence%20encountered.')%0A%20%20%20%20%20%20%20%20output%5B'execution'%5D%3D%7B'device'%3Atorch.cuda.get_device_name(0)%20if%20device%3D%3D'cuda'%20else%20'CPU'%2C'verified_readback'%3ATrue%2C'seconds'%3Aelapsed%2C'peak_allocated_MiB'%3Atorch.cuda.max_memory_allocated()%2F1024**2%20if%20device%3D%3D'cuda'%20else%20None%2C'parameter'%3Aparameter%2C'scale'%3Ascale%2C'torch'%3Atorch.__version__%7D%0A%20%20%20%20%20%20%20%20return%20output%0A%0A%20%20%20%20return%20(execute_large%2C)%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20get_large_result%2C%20set_large_result%20%3D%20mo.state(None)%0A%20%20%20%20return%20get_large_result%2C%20set_large_result%0A%0A%0A%40app.cell%0Adef%20_(execute_large%2C%20gpu_form%2C%20set_large_result%2C%20sys)%3A%0A%20%20%20%20if%20sys.platform!%3D'emscripten'%20and%20gpu_form.value%20is%20not%20None%3A%0A%20%20%20%20%20%20%20%20try%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_request%3Dgpu_form.value%0A%20%20%20%20%20%20%20%20%20%20%20%20_output%3Dexecute_large('cuda'%20if%20_request%5B'device'%5D%3D%3D'H100%20CUDA'%20else%20'cpu'%2C_request%5B'parameter'%5D%2C_request%5B'scale'%5D)%0A%20%20%20%20%20%20%20%20%20%20%20%20set_large_result(%7B'output'%3A_output%2C'error'%3ANone%7D)%0A%20%20%20%20%20%20%20%20except%20Exception%20as%20_error%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20set_large_result(%7B'output'%3ANone%2C'error'%3Astr(_error)%7D)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(config%2C%20draw_chart%2C%20get_large_result%2C%20json%2C%20mo)%3A%0A%20%20%20%20large_result%3Dget_large_result()%0A%20%20%20%20if%20large_result%20and%20large_result%5B'error'%5D%3A%0A%20%20%20%20%20%20%20%20mo.output.replace(mo.callout(mo.md(large_result%5B'error'%5D)%2Ckind%3D'danger'))%0A%20%20%20%20elif%20large_result%3A%0A%20%20%20%20%20%20%20%20_data%3Dlarge_result%5B'output'%5D%3B%20_exec%3D_data%5B'execution'%5D%3B%20_rows%3D%5Bdict(zip(_data%5B'columns'%5D%2Cr))%20for%20r%20in%20_data%5B'rows'%5D%5D%0A%20%20%20%20%20%20%20%20mo.output.replace(mo.vstack(%5Bmo.md(f%22**Verified%20device%3A%20%7B_exec%5B'device'%5D%7D**%20%C2%B7%20Measured%20experiment%20time%3A%20%7B_exec%5B'seconds'%5D%3A.4f%7D%20seconds%20%C2%B7%20Peak%20CUDA%20allocation%3A%20%7B_exec%5B'peak_allocated_MiB'%5D%20if%20_exec%5B'peak_allocated_MiB'%5D%20is%20not%20None%20else%20'not%20applicable'%7D%20MiB%5Cn%5Cn%7B_data%5B'mechanism'%5D%7D%5Cn%5Cn**Limit%3A**%20%7B_data%5B'limitation'%5D%7D%22)%2Cmo.Html(draw_chart(_rows%2C%5B%5D%2C_data%5B'columns'%5D%5B0%5D%2C_data%5B'columns'%5D%5B1%5D))%2Cmo.ui.table(_rows%2Cselection%3DNone%2Cpage_size%3D10)%2Cmo.download(data%3Djson.dumps(_data%2Cindent%3D2%2Callow_nan%3DFalse).encode()%2Cfilename%3Dconfig%5B'lesson_id'%5D%2B'-large-evidence.json'%2Clabel%3D'Download%20larger%20experiment%20evidence')%5D))%0A%20%20%20%20return%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A