The great clue-check challenge

%23%20%2F%2F%2F%20script%0A%23%20requires-python%20%3D%20%22%3E%3D3.11%22%0A%23%20dependencies%20%3D%20%5B%22marimo%3D%3D0.24.0%22%2C%20%22numpy%3E%3D2.1%22%5D%0A%23%20%2F%2F%2F%0A%0Aimport%20marimo%0A%0A__generated_with%20%3D%20%220.24.0%22%0Aapp%20%3D%20marimo.App(width%3D%22medium%22%2C%20app_title%3D%22The%20great%20clue-check%20challenge%22)%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20import%20marimo%20as%20mo%0A%20%20%20%20%22%22%22Live%2C%20deterministic%20classroom%20mechanisms.%20MODEL%20is%20injected%20by%20the%20notebook%20generator.%22%22%22%0A%20%20%20%20import%20numpy%20as%20np%0A%20%20%20%20import%20math%2C%20json%2C%20html%2C%20base64%2C%20zlib%0A%0A%20%20%20%20def%20softmax(x%2C%20axis%3D-1)%3A%0A%20%20%20%20%20%20%20%20e%3Dnp.exp(x-np.max(x%2Caxis%3Daxis%2Ckeepdims%3DTrue))%3Breturn%20e%2Fe.sum(axis%3Daxis%2Ckeepdims%3DTrue)%0A%0A%20%20%20%20def%20forward(tokens%2C%20checkpoint%3D'base'%2C%20ablate%3DNone%2C%20patch%3DNone%2C%20readout%3DNone)%3A%0A%20%20%20%20%20%20%20%20w%3D%7Bk%3Anp.asarray(v)%20for%20k%2Cv%20in%20MODEL%5Bcheckpoint%5D.items()%7D%0A%20%20%20%20%20%20%20%20if%20readout%20is%20not%20None%3Aw%5B'readout.weight'%5D%3Dreadout%0A%20%20%20%20%20%20%20%20def%20lin(x%2Cname)%3Areturn%20x%40w%5Bname%2B'.weight'%5D.T%2Bw%5Bname%2B'.bias'%5D%0A%20%20%20%20%20%20%20%20def%20norm(x%2Cname)%3Areturn%20(x-x.mean(-1%2Ckeepdims%3DTrue))%2Fnp.sqrt(x.var(-1%2Ckeepdims%3DTrue)%2B1e-5)*w%5Bname%2B'.weight'%5D%2Bw%5Bname%2B'.bias'%5D%0A%20%20%20%20%20%20%20%20x%3Dw%5B'embed.weight'%5D%5Btokens%5D%2Bw%5B'pos.weight'%5D%5B%3Alen(tokens)%5D%3Bcache%3D%7B'residual'%3A%5Bx.copy()%5D%2C'attention'%3A%5B%5D%2C'neurons'%3A%5B%5D%7D%0A%20%20%20%20%20%20%20%20for%20layer%20in%20range(2)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20n%3Df'blocks.%7Blayer%7D'%0A%20%20%20%20%20%20%20%20%20%20%20%20q%2Ck%2Cv%3Dlin(norm(x%2Cn%2B'.ln1')%2Cn%2B'.qkv').reshape(len(tokens)%2C3%2C2%2C12).transpose(1%2C2%2C0%2C3)%0A%20%20%20%20%20%20%20%20%20%20%20%20scores%3Dq%40k.transpose(0%2C2%2C1)%2Fmath.sqrt(12)%0A%20%20%20%20%20%20%20%20%20%20%20%20scores%5B%3A%2Cnp.triu_indices(len(tokens)%2C1)%5B0%5D%2Cnp.triu_indices(len(tokens)%2C1)%5B1%5D%5D%3D-1e9%0A%20%20%20%20%20%20%20%20%20%20%20%20att%3Dsoftmax(scores)%3Bheads%3Datt%40v%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20ablate%20and%20ablate%5B0%5D%3D%3Dlayer%3Aheads%5Bablate%5B1%5D%5D%3D0%0A%20%20%20%20%20%20%20%20%20%20%20%20x%3Dx%2Blin(heads.transpose(1%2C0%2C2).reshape(len(tokens)%2C24)%2Cn%2B'.proj')%0A%20%20%20%20%20%20%20%20%20%20%20%20neurons%3Dnp.maximum(lin(norm(x%2Cn%2B'.ln2')%2Cn%2B'.fc')%2C0)%0A%20%20%20%20%20%20%20%20%20%20%20%20x%3Dx%2Blin(neurons%2Cn%2B'.out')%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20patch%20and%20patch%5B'layer'%5D%3D%3Dlayer%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20x%5Bpatch%5B'position'%5D%5D%3Dpatch%5B'value'%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20cache%5B'attention'%5D.append(att)%3Bcache%5B'neurons'%5D.append(neurons)%3Bcache%5B'residual'%5D.append(x.copy())%0A%20%20%20%20%20%20%20%20logits%3Dlin(norm(x%2C'norm')%2C'readout')%0A%20%20%20%20%20%20%20%20return%20logits%5B-1%5D%2Ccache%0A%0A%20%20%20%20def%20prompt(case%3D0%2C%20authored%3D'')%3A%0A%20%20%20%20%20%20%20%20examples%3D%5B('pip'%2C'wattle'%2C'red'%2C'blue'%2C'pip')%2C('pip'%2C'wattle'%2C'blue'%2C'red'%2C'pip')%2C('kiki'%2C'bo'%2C'gold'%2C'green'%2C'kiki')%2C('bo'%2C'kiki'%2C'gold'%2C'red'%2C'kiki')%2C('pip'%2C'wattle'%2C'gold'%2C'red'%2C'pip')%2C('pip'%2C'wattle'%2C'red'%2C'blue'%2C'wattle')%5D%0A%20%20%20%20%20%20%20%20a%2Cb%2Cc%2Cd%2Cq%3Dexamples%5Bint(case)%5D%0A%20%20%20%20%20%20%20%20if%20authored.strip()%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20parts%3D%5Bpart.strip().lower()%20for%20part%20in%20authored.split('%2C')%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20len(parts)!%3D5%3Araise%20ValueError('Write%20five%20comma-separated%20entries%3A%20first%20name%2C%20second%20name%2C%20first%20colour%2C%20second%20colour%2C%20queried%20name.')%0A%20%20%20%20%20%20%20%20%20%20%20%20a%2Cb%2Cc%2Cd%2Cq%3Dparts%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20a%20not%20in%20%5B'pip'%2C'wattle'%2C'kiki'%2C'bo'%5D%20or%20b%20not%20in%20%5B'pip'%2C'wattle'%2C'kiki'%2C'bo'%5D%20or%20a%3D%3Db%20or%20q%20not%20in%20%5Ba%2Cb%5D%20or%20c%20not%20in%20%5B'red'%2C'blue'%2C'gold'%2C'green'%5D%20or%20d%20not%20in%20%5B'red'%2C'blue'%2C'gold'%2C'green'%5D%3Araise%20ValueError('Use%20two%20different%20names%20(Pip%2C%20Wattle%2C%20Kiki%2C%20Bo)%2C%20colours%20red%2Fblue%2Fgold%2Fgreen%2C%20and%20query%20one%20of%20the%20two%20names.')%0A%20%20%20%20%20%20%20%20words%3Df'%7Ba%7D%20has%20%7Bc%7D%20.%20%7Bb%7D%20has%20%7Bd%7D%20.%20%7Bq%7D%20has'.split()%0A%20%20%20%20%20%20%20%20return%20%5BMODEL%5B'vocab'%5D.index(x)%20for%20x%20in%20words%5D%2CMODEL%5B'vocab'%5D.index(c%20if%20a%3D%3Dq%20else%20d)%2C'%20'.join(words)%0A%0A%20%20%20%20def%20output_rows(logits%2C%20temperature%3D1)%3A%0A%20%20%20%20%20%20%20%20probs%3Dsoftmax(logits%2Ftemperature)%0A%20%20%20%20%20%20%20%20return%20%5B%7B'word'%3Av%2C'probability'%3Around(float(probs%5Bi%5D)%2C6)%2C'logit'%3Around(float(logits%5Bi%5D)%2C5)%7D%20for%20i%2Cv%20in%20enumerate(MODEL%5B'vocab'%5D)%5D%0A%0A%20%20%20%20def%20result(summary%2Crows%2Ckind%3D'bars'%2Cx%3D'word'%2Cy%3D'probability'%2C**kwargs)%3A%0A%20%20%20%20%20%20%20%20return%20dict(summary%3Dsummary%2Crows%3Drows%2Ckind%3Dkind%2Cx%3Dx%2Cy%3Dy%2C**kwargs)%0A%0A%20%20%20%20def%20compute(ident%2Cs)%3A%0A%20%20%20%20%20%20%20%20if%20ident%20in%20%5B'u6-words'%2C'u6-clues'%2C'u6-switch'%2C'u12-circuits'%2C'u12-training'%5D%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20tokens%2Ctruth%2Ctext%3Dprompt(s.get('case'%2C0)%2Cs.get('authored'%2C''))%3Blogits%2Ccache%3Dforward(tokens)%0A%20%20%20%20%20%20%20%20%20%20%20%20probs%3Dsoftmax(logits)%3Banswer%3DMODEL%5B'vocab'%5D%5Bint(logits.argmax())%5D%3Bcorrect%3DMODEL%5B'vocab'%5D%5Btruth%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20context%3Df'Prompt%3A%20%E2%80%9C%7Btext%7D%20%E2%80%A6%E2%80%9D.%20The%20written%20facts%20support%20%7Bcorrect%7D.%20Base%20model%20chooses%20%7Banswer%7D.'%0A%20%20%20%20%20%20%20%20if%20ident%3D%3D'u6-words'%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20rows%3Doutput_rows(logits%2Cs%5B'temperature'%5D)%3Bp%3Dnp.array(%5Br%5B'probability'%5D%20for%20r%20in%20rows%5D)%3Bentropy%3D-float(np.sum(p*np.log2(p%2B1e-12)))%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20result(context%2Bf'%20Temperature%20changes%20probabilities%3B%20it%20does%20not%20check%20the%20facts.'%2Crows%2Cmetrics%3D%7B'supported_answer'%3Acorrect%2C'argmax'%3Aanswer%2C'entropy_bits'%3Aentropy%7D%2Cformula%3D'probability(word)%20%3D%20softmax(logit%20%2F%20temperature).%20All%2010%20vocabulary%20words%20are%20shown%3B%20total%20probability%20is%201.')%0A%20%20%20%20%20%20%20%20if%20ident%3D%3D'u6-clues'%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20layer%3Dint(s%5B'layer'%5D)%3Bneuron%3Dint(s%5B'neuron'%5D)%3Brows%3D%5B%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20for%20i%20in%20range(7%20if%20s.get('authored'%2C'').strip()%20else%206)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20tt%2Cyy%2Ctx%3Dprompt(i%20if%20i%3C6%20else%200%2Cs.get('authored'%2C'')%20if%20i%3D%3D6%20else%20'')%3Bll%2Ccc%3Dforward(tt)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20rows.append(%7B'example'%3Astr(i%2B1)%2C'prompt'%3Atx%2C'supported'%3AMODEL%5B'vocab'%5D%5Byy%5D%2C'activation'%3Around(float(cc%5B'neurons'%5D%5Blayer%5D%5B-1%2Cneuron%5D)%2C5)%2C'model_answer'%3AMODEL%5B'vocab'%5D%5Bint(ll.argmax())%5D%7D)%0A%20%20%20%20%20%20%20%20%20%20%20%20heat%3Dcache%5B'neurons'%5D%5Blayer%5D%5B%3A%2C%3A12%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20result(f'Neuron%20%7Bneuron%7D%20in%20block%20%7Blayer%7D%20across%20%7Blen(rows)%7D%20examples.%20A%20large%20number%20is%20a%20clue%20to%20investigate%2C%20not%20a%20verified%20label.'%2Crows%2Cx%3D'example'%2Cy%3D'activation'%2Cheat%3Dheat.tolist()%2Cheat_labels%3D%5BMODEL%5B'vocab'%5D%5Bt%5D%20for%20t%20in%20tokens%5D%2Cformula%3D'Hidden%20unit%20activation%20%3D%20ReLU(normalised%20residual%20%C3%97%20learned%20weights%20%2B%20bias).%20The%20heat%20map%20shows%20units%200%E2%80%9311%20at%20each%20token%20of%20your%20current%20prompt%20(the%20authored%20prompt%20when%20supplied)%3B%20the%20bars%20show%20your%20selected%20unit%20across%20examples.')%0A%20%20%20%20%20%20%20%20if%20ident%3D%3D'u6-switch'%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20layer%3Dint(s%5B'layer'%5D)%3Bhead%3Dint(s%5B'head'%5D)%3Bchanged%2C_%3Dforward(tokens%2Cablate%3D(layer%2Chead))%3Bpc%3Dsoftmax(changed)%0A%20%20%20%20%20%20%20%20%20%20%20%20suite%3D%5B%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20for%20j%20in%20MODEL%5B'test_indices'%5D%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20tt%2Cyy%3DMODEL%5B'cases'%5D%5Bj%5D%3Bbefore%2C_%3Dforward(tt)%3Bafter%2C_%3Dforward(tt%2Cablate%3D(layer%2Chead))%3Bsuite.append(%7B'case'%3Aj%2C'baseline_correct'%3Abool(before.argmax()%3D%3Dyy)%2C'intervened_correct'%3Abool(after.argmax()%3D%3Dyy)%2C'supported_probability_change'%3Afloat(softmax(after)%5Byy%5D-softmax(before)%5Byy%5D)%7D)%0A%20%20%20%20%20%20%20%20%20%20%20%20rows%3D%5B%7B'word'%3Av%2C'original_probability'%3Around(float(probs%5Bi%5D)%2C6)%2C'probability'%3Around(float(pc%5Bi%5D)%2C6)%7D%20for%20i%2Cv%20in%20enumerate(MODEL%5B'vocab'%5D)%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20result(context%2Bf'%20Removing%20block%20%7Blayer%7D%2C%20head%20%7Bhead%7D%20changes%20the%20answer%20to%20%7BMODEL%5B%22vocab%22%5D%5Bint(changed.argmax())%5D%7D.'%2Crows%2Cmetrics%3D%7B'probability_change_for_supported_answer'%3Afloat(pc%5Btruth%5D-probs%5Btruth%5D)%2C'frozen_evaluation_cases'%3Alen(suite)%2C'baseline_correct'%3Asum(r%5B'baseline_correct'%5D%20for%20r%20in%20suite)%2C'intervened_correct'%3Asum(r%5B'intervened_correct'%5D%20for%20r%20in%20suite)%2C'paired_cases'%3Asuite%7D%2Cformula%3D'Ablation%20sets%20the%20chosen%20attention%20head%20output%20to%20zero%20before%20its%20output%20projection.%20It%20changes%20an%20internal%20computation%2C%20while%20weights%20and%20prompt%20stay%20fixed.')%0A%20%20%20%20%20%20%20%20if%20ident%3D%3D'u6-calendar'%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20start%3Dint(s%5B'month'%5D)%3Bstep%3Dint(s%5B'step'%5D)%3Bend%3D(start%2Bstep)%2512%3Blabels%3D%5B'Jan'%2C'Feb'%2C'Mar'%2C'Apr'%2C'May'%2C'Jun'%2C'Jul'%2C'Aug'%2C'Sep'%2C'Oct'%2C'Nov'%2C'Dec'%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20rows%3D%5B%7B'step'%3Ai%2C'unwrapped_number'%3Astart%2Bi%2C'month'%3Alabels%5B(start%2Bi)%2512%5D%2C'x'%3Amath.cos(2*math.pi*(start%2Bi)%2F12)%2C'y'%3Amath.sin(2*math.pi*(start%2Bi)%2F12)%7D%20for%20i%20in%20range(step%2B1)%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20result(f'%7Blabels%5Bstart%5D%7D%20%2B%20%7Bstep%7D%20months%20%3D%20%7Blabels%5Bend%5D%7D.%20First%20add%20the%20numbers%20(%7Bstart%7D%20%2B%20%7Bstep%7D%20%3D%20%7Bstart%2Bstep%7D)%2C%20then%20take%20the%20remainder%20after%20dividing%20by%2012%20(%7Bend%7D).'%2Crows%2C'circle'%2Cx%3D'x'%2Cy%3D'y'%2Clabels%3Dlabels%2Cformula%3D'Month%20number%20%3D%20(starting%20number%20%2B%20steps)%20mod%2012.%20This%20drawn%20circle%20is%20an%20explicit%20teaching%20representation%2C%20not%20an%20activation%20measurement%20from%20Llama.')%0A%20%20%20%20%20%20%20%20if%20ident%3D%3D'u6-story'%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20prior%3Ds%5B'prior'%5D%3Bstrength%3Ds%5B'reliability'%5D%3Bcount%3Dint(s%5B'clues'%5D)%3Bscenario%3Ds%5B'story'%5D%3Bposterior%3Dprior%3Brows%3D%5B%7B'clue'%3A0%2C'p_rain'%3Aprior%2C'evidence'%3A'Starting%20guess'%7D%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20clues%3D%5B1%2C1%2C-1%2C1%2C-1%5D%20if%20scenario%3D%3D0%20else%20%5B-1%2C-1%2C1%2C-1%2C1%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20descriptions%3D%7B1%3A'Dark%20clouds%20support%20rain'%2C-1%3A'Clear%20sky%20supports%20dry%20weather'%7D%0A%20%20%20%20%20%20%20%20%20%20%20%20for%20i%2Ce%20in%20enumerate(clues%5B%3Acount%5D)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20lr%3D(strength%2F(1-strength))**e%3Bodds%3Dposterior%2F(1-posterior)*lr%3Bposterior%3Dodds%2F(1%2Bodds)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20rows.append(%7B'clue'%3Ai%2B1%2C'p_rain'%3Around(posterior%2C6)%2C'evidence'%3Adescriptions%5Be%5D%7D)%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20result(f'Pip%20is%20planning%20a%20picnic.%20After%20%7Bcount%7D%20clues%2C%20this%20teaching%20model%20gives%20rain%20probability%20%7Bposterior%3A.1%25%7D.%20It%20updates%20a%20number%3B%20it%20has%20no%20feelings.'%2Crows%2C'line'%2Cx%3D'clue'%2Cy%3D'p_rain'%2Cformula%3D'Updated%20odds%20%3D%20previous%20odds%20%C3%97%20likelihood%20ratio.%20Clues%20are%20assumed%20independent%20given%20the%20weather%3B%20repeated%20copies%20of%20one%20clue%20would%20violate%20this%20assumption.')%0A%20%20%20%20%20%20%20%20if%20ident%3D%3D'u6-fair-test'%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20threshold%3Ds%5B'threshold'%5D%3Bshift%3Ds%5B'shift'%5D%3Brows%3D%5B%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20for%20i%20in%20range(20)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20truth%3Di%252%3D%3D0%3Bscore%3D(.45%2B.45*(i%255)%2F4)%20if%20truth%20else%20(.1%2B.55*(i%255)%2F4)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20shift%3Ascore%3D1-score%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20flagged%3Dscore%3E%3Dthreshold%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20rows.append(%7B'case'%3Ai%2B1%2C'needs_check'%3Atruth%2C'clue_score'%3Around(score%2C3)%2C'flagged'%3Aflagged%2C'outcome'%3A('caught'%20if%20truth%20else%20'false%20alarm')%20if%20flagged%20else%20('missed'%20if%20truth%20else%20'correct%20pass')%7D)%0A%20%20%20%20%20%20%20%20%20%20%20%20tp%3Dsum(r%5B'outcome'%5D%3D%3D'caught'%20for%20r%20in%20rows)%3Bfp%3Dsum(r%5B'outcome'%5D%3D%3D'false%20alarm'%20for%20r%20in%20rows)%3Bfn%3D10-tp%3Btn%3D10-fp%0A%20%20%20%20%20%20%20%20%20%20%20%20chart%3D%5B%7B'outcome'%3Ak%2C'cases'%3Av%7D%20for%20k%2Cv%20in%20%5B('Caught'%2Ctp)%2C('Missed'%2Cfn)%2C('False%20alarm'%2Cfp)%2C('Correct%20pass'%2Ctn)%5D%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20result(f'Out%20of%2010%20cases%20needing%20a%20check%2C%20the%20rule%20catches%20%7Btp%7D%20and%20misses%20%7Bfn%7D.%20Among%2010%20other%20cases%2C%20it%20raises%20%7Bfp%7D%20false%20alarms.'%2Crows%2Cx%3D'outcome'%2Cy%3D'cases'%2Cchart_rows%3Dchart%2Cmetrics%3D%7B'TP'%3Atp%2C'FN'%3Afn%2C'FP'%3Afp%2C'TN'%3Atn%7D%2Cformula%3D'Flag%20a%20case%20when%20its%20hand-made%20clue%20score%20%E2%89%A5%20threshold.%20The%20shifted%20set%20reverses%20the%20association.%20These%20are%20fictional%20test%20fixtures%2C%20not%20measured%20LLM%20scores.')%0A%20%20%20%20%20%20%20%20if%20ident%3D%3D'u12-circuits'%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20corrupt%3Dtokens.copy()%3Bcorrupt%5B2%5D%2Ccorrupt%5B6%5D%3Dcorrupt%5B6%5D%2Ccorrupt%5B2%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20bad%2Cbadcache%3Dforward(corrupt)%3Blayer%3Dint(s%5B'layer'%5D)%3Bposition%3Dint(s%5B'position'%5D)%3Bmode%3Ds%5B'intervention'%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20changed%2C_%3Dforward(corrupt%2Cpatch%3D%7B'layer'%3Alayer%2C'position'%3Aposition%2C'value'%3Acache%5B'residual'%5D%5Blayer%2B1%5D%5Bposition%5D%7D)%20if%20mode%3D%3D0%20else%20forward(corrupt%2Cablate%3D(layer%2Cint(s%5B'head'%5D)))%0A%20%20%20%20%20%20%20%20%20%20%20%20competitor%3Dcorrupt%5B2%5D%20if%20tokens%5B-2%5D%3D%3Dtokens%5B0%5D%20else%20corrupt%5B6%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20metric%3Dlambda%20a%3Afloat(a%5Btruth%5D-a%5Bcompetitor%5D)%3Bdenom%3Dmetric(logits)-metric(bad)%0A%20%20%20%20%20%20%20%20%20%20%20%20recovery%3D(metric(changed)-metric(bad))%2Fdenom%20if%20abs(denom)%3E1e-6%20else%20None%0A%20%20%20%20%20%20%20%20%20%20%20%20rows%3D%5B%7B'condition'%3An%2C'logit_difference'%3Ametric(a)%2C'p_original_fact'%3Afloat(softmax(a)%5Btruth%5D)%2C'answer'%3AMODEL%5B'vocab'%5D%5Bint(a.argmax())%5D%7D%20for%20n%2Ca%20in%20%5B('Clean'%2Clogits)%2C('Corrupted'%2Cbad)%2C('Intervened'%2Cchanged)%5D%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20for%20label%2Cvector%20in%20%5B('No-op%20corrupted%20vector'%2Cbadcache%5B'residual'%5D%5Blayer%2B1%5D%5Bposition%5D)%2C('Zero%20vector'%2Cnp.zeros(24))%2C('Reversed%20clean%20coordinates'%2Ccache%5B'residual'%5D%5Blayer%2B1%5D%5Bposition%5D%5B%3A%3A-1%5D)%5D%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20control%2C_%3Dforward(corrupt%2Cpatch%3D%7B'layer'%3Alayer%2C'position'%3Aposition%2C'value'%3Avector%7D)%3Brows.append(%7B'condition'%3Alabel%2C'logit_difference'%3Ametric(control)%2C'p_original_fact'%3Afloat(softmax(control)%5Btruth%5D)%2C'answer'%3AMODEL%5B'vocab'%5D%5Bint(control.argmax())%5D%7D)%0A%20%20%20%20%20%20%20%20%20%20%20%20attention%3Dbadcache%5B'attention'%5D%5Blayer%5D%5Bint(s%5B'head'%5D)%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20result(f'Patch%20recovery%3A%20%7Brecovery%3A.3f%7D%20(can%20exceed%200%E2%80%931).'%20if%20recovery%20is%20not%20None%20else%20'Recovery%20is%20undefined%3A%20clean%20and%20corrupted%20scores%20are%20effectively%20identical.'%2Crows%2Cx%3D'condition'%2Cy%3D'logit_difference'%2Cheat%3Dattention.tolist()%2Cheat_labels%3D%5BMODEL%5B'vocab'%5D%5Bt%5D%20for%20t%20in%20corrupt%5D%2Cmetrics%3D%7B'normalised_recovery'%3Arecovery%2C'clean_prompt'%3Atext%2C'corrupted_prompt'%3A'%20'.join(MODEL%5B'vocab'%5D%5Bt%5D%20for%20t%20in%20corrupt)%7D%2Cformula%3D'Logit%20difference%20%3D%20score(original%20correct%20colour)%20%E2%88%92%20score(corrupted%20correct%20colour).%20Recovery%20%3D%20(intervened%20%E2%88%92%20corrupted)%2F(clean%20%E2%88%92%20corrupted).%20Patch%20replaces%20one%20post-block%20residual%20vector%3B%20ablation%20instead%20zeroes%20one%20head.%20Attention%20weights%20alone%20are%20not%20a%20causal%20graph.')%0A%20%20%20%20%20%20%20%20if%20ident%3D%3D'u12-training'%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20edited%2C_%3Dforward(tokens%2C'edited')%3Balpha%3Ds%5B'alpha'%5D%3Bamplified%3Dlogits%2Balpha*(edited-logits)%0A%20%20%20%20%20%20%20%20%20%20%20%20rows%3D%5B%7B'word'%3Av%2C'base'%3Afloat(softmax(logits)%5Bi%5D)%2C'edited'%3Afloat(softmax(edited)%5Bi%5D)%2C'probability'%3Afloat(softmax(amplified)%5Bi%5D)%7D%20for%20i%2Cv%20in%20enumerate(MODEL%5B'vocab'%5D)%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20suite%3D%5B%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20for%20j%20in%20MODEL%5B'test_indices'%5D%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20tt%2Cyy%3DMODEL%5B'cases'%5D%5Bj%5D%3Bbb%2C_%3Dforward(tt)%3Bee%2C_%3Dforward(tt%2C'edited')%3Bsuite.append((int(bb.argmax())%3D%3Dyy%2Cint(ee.argmax())%3D%3Dyy%2Ctt%5B-2%5D%3D%3D2))%0A%20%20%20%20%20%20%20%20%20%20%20%20groups%3D%7B%7D%0A%20%20%20%20%20%20%20%20%20%20%20%20for%20name%2Cselection%20in%20%5B('all'%2Csuite)%2C('Kiki%20queries'%2C%5Br%20for%20r%20in%20suite%20if%20r%5B2%5D%5D)%2C('other%20queries'%2C%5Br%20for%20r%20in%20suite%20if%20not%20r%5B2%5D%5D)%5D%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20groups%5Bname%5D%3D%7B'n'%3Alen(selection)%2C'base_correct'%3Asum(r%5B0%5D%20for%20r%20in%20selection)%2C'edited_correct'%3Asum(r%5B1%5D%20for%20r%20in%20selection)%7D%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20result(context%2Bf'%20At%20amplification%20%7Balpha%3Ag%7D%2C%20the%20answer%20is%20%7BMODEL%5B%22vocab%22%5D%5Bint(amplified.argmax())%5D%7D.%20Check%20Kiki%20and%20non-Kiki%20cases.'%2Crows%2Cmetrics%3D%7B'held_out_counts'%3Agroups%7D%2Cformula%3D'Amplified%20logits%20%3D%20base%20%2B%20%CE%B1%20%C3%97%20(edited%20%E2%88%92%20base).%20%CE%B1%3D0%20is%20base%3B%20%CE%B1%3D1%20is%20the%20edited%20checkpoint.%20Fine-tuning%20deliberately%20assigned%20green%20to%20every%20Kiki%20query.%20Discovery%20under%20amplification%20is%20not%20natural%20failure%20prevalence.')%0A%20%20%20%20%20%20%20%20if%20ident%3D%3D'u12-features'%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20rng%3Dnp.random.default_rng(int(s.get('seed'%2C17)))%3Bcapacity%3Dint(s%5B'capacity'%5D)%3Brare%3Ds%5B'rare'%5D%3Bpenalty%3Ds%5B'penalty'%5D%3Bn%3D240%0A%20%20%20%20%20%20%20%20%20%20%20%20angles%3Dnp.array(%5B0%2C1.2%2C2.4%5D)%3Bdirections%3Dnp.stack(%5Bnp.cos(angles)%2Cnp.sin(angles)%5D%2Caxis%3D0)%0A%20%20%20%20%20%20%20%20%20%20%20%20active%3Drng.random((n%2C3))%3Cnp.array(%5B.5%2C.4%2Crare%5D)%3Bstrength%3Drng.uniform(.4%2C1.3%2C(n%2C3))%3Blatent%3Dactive*strength%3Bx%3Dlatent%40directions.T%0A%20%20%20%20%20%20%20%20%20%20%20%20encoder%3Drng.normal(0%2C.3%2C(2%2Ccapacity))%3Bdecoder%3Drng.normal(0%2C.3%2C(capacity%2C2))%3Blosses%3D%5B%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20for%20step%20in%20range(201)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20pre%3Dx%5B%3A180%5D%40encoder%3Bz%3Dnp.maximum(pre%2C0)%3Brecon%3Dz%40decoder%3Berror%3Drecon-x%5B%3A180%5D%3Bgz%3D(2*error%40decoder.T%2Bpenalty)%2F180*(pre%3E0)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20gd%3Dz.T%40(2*error)%2F180%3Bge%3Dx%5B%3A180%5D.T%40gz%3Bencoder-%3D.03*ge%3Bdecoder-%3D.03*gd%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20Keep%20dictionary%20scale%20bounded%20so%20sparsity%20cannot%20be%20evaded%20by%20rescaling.%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20decoder%2F%3Dnp.maximum(1%2Cnp.linalg.norm(decoder%2Caxis%3D1%2Ckeepdims%3DTrue))%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20step%2510%3D%3D0%3Alosses.append(%7B'step'%3Astep%2C'reconstruction_mse'%3Afloat(np.mean(error**2))%2C'mean_activation'%3Afloat(z.mean())%7D)%0A%20%20%20%20%20%20%20%20%20%20%20%20z%3Dnp.maximum(x%5B180%3A%5D%40encoder%2C0)%3Berr%3D((z%40decoder-x%5B180%3A%5D)**2).mean(1)%3Brare_mask%3Dactive%5B180%3A%2C2%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20rows%3D%5B%7B'case'%3Ai%2B1%2C'rare_feature_present'%3Abool(rare_mask%5Bi%5D)%2C'squared_error'%3Afloat(err%5Bi%5D)%2C'nonzero_units'%3Aint((z%5Bi%5D%3E1e-6).sum())%7D%20for%20i%20in%20range(60)%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20stats%3D%7B'held_out_n'%3A60%2C'rare_n'%3Aint(rare_mask.sum())%2C'held_out_mse'%3Afloat(err.mean())%2C'rare_mse'%3Afloat(err%5Brare_mask%5D.mean())%20if%20rare_mask.any()%20else%20None%2C'dictionary_size'%3Acapacity%2C'seed'%3Aint(s.get('seed'%2C17))%2C'known_direction_best_absolute_cosine'%3A(np.abs(directions.T%40decoder.T)%2Fnp.maximum(1e-12%2Cnp.linalg.norm(decoder%2Caxis%3D1))%5BNone%2C%3A%5D).max(1).tolist()%2C'nonrare_mse'%3Afloat(err%5B~rare_mask%5D.mean())%20if%20(~rare_mask).any()%20else%20None%7D%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20result('A%20small%20ReLU%20sparse%20autoencoder%20is%20trained%20live%20on%20180%20known%20mixtures%20and%20evaluated%20on%2060%20untouched%20mixtures.%20Compare%20total%20error%20with%20rare-feature%20error.'%2Crows%2C'line'%2Cx%3D'step'%2Cy%3D'reconstruction_mse'%2Cchart_rows%3Dlosses%2Cmetrics%3Dstats%2Cheat%3Ddecoder.tolist()%2Cheat_labels%3D%5Bstr(i)%20for%20i%20in%20range(capacity)%5D%2Cformula%3D'Loss%20%3D%20mean%20summed%20squared%20reconstruction%20error%20%2B%20%CE%BB%20%C3%97%20mean%20summed%20positive%20activations.%20The%20chart%20reports%20per-coordinate%20reconstruction%20MSE.%20Three%20known%20features%20share%20two%20dimensions.%20This%20is%20a%20small%20SAE%20experiment%2C%20not%20a%20replication%20of%20Goodfire%20scaling%20curves%20or%20block-sparse%20featurizers.')%0A%20%20%20%20%20%20%20%20if%20ident%3D%3D'u12-geometry'%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20angle%3Ds%5B'angle'%5D*math.pi%2F180%3Bstart%3Ds%5B'start'%5D*math.pi%2F180%3Bmode%3Ds%5B'path'%5D%3Brows%3D%5B%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20for%20t%20in%20np.linspace(0%2C1%2C21)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20a%3Dnp.array(%5Bmath.cos(start)%2Cmath.sin(start)%5D)%3Bb%3Dnp.array(%5Bmath.cos(start%2Bangle)%2Cmath.sin(start%2Bangle)%5D)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20point%3D(1-t)*a%2Bt*b%20if%20mode%3D%3D0%20else%20np.array(%5Bmath.cos(start%2Bt*angle)%2Cmath.sin(start%2Bt*angle)%5D)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20radius%3Dfloat(np.linalg.norm(point))%3Bdecoded%3D(math.degrees(math.atan2(point%5B1%5D%2Cpoint%5B0%5D))%25360)%20if%20radius%3E1e-8%20else%20None%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20rows.append(%7B'fraction'%3Afloat(t)%2C'x'%3Afloat(point%5B0%5D)%2C'y'%3Afloat(point%5B1%5D)%2C'off_manifold_distance'%3Aabs(1-radius)%2C'decoded_degrees'%3Adecoded%7D)%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20result('Compare%20a%20straight%20chord%20with%20an%20arc%20on%20a%20known%20unit-circle%20representation.%20At%20the%20centre%2C%20the%20angle%20decoder%20is%20undefined.'%2Crows%2C'circle'%2Cx%3D'x'%2Cy%3D'y'%2Cmetrics%3D%7B'max_off_manifold_distance'%3Amax(r%5B'off_manifold_distance'%5D%20for%20r%20in%20rows)%7D%2Cformula%3D'Arc(t)%20%3D%20%5Bcos(%CE%B8%E2%82%80%2Bt%CE%94)%2C%20sin(%CE%B8%E2%82%80%2Bt%CE%94)%5D%3B%20chord(t)%20%3D%20(1%E2%88%92t)a%2Btb.%20Distance%20to%20the%20unit%20circle%20%3D%20%7C%E2%80%96x%E2%80%96%E2%88%921%7C.%20Geometry%20is%20hand-specified%20here%3B%20it%20is%20not%20extracted%20from%20a%20large%20language%20model.')%0A%20%20%20%20%20%20%20%20if%20ident%3D%3D'u12-probes'%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20rng%3Dnp.random.default_rng(int(s.get('seed'%2C32)))%3Bmode%3Ds%5B'features'%5D%3Bshift%3Ds%5B'shift'%5D%3Bthreshold%3Ds%5B'threshold'%5D%3Bn%3D240%3By%3Drng.integers(0%2C2%2Cn)%3Bsignal%3D(2*y-1)%2Brng.normal(0%2C1.2%2Cn)%0A%20%20%20%20%20%20%20%20%20%20%20%20shortcut%3D(2*y-1)%2Brng.normal(0%2C.15%2Cn)%3Bshortcut%5B160%3A%5D%3D((1-2*y%5B160%3A%5D)%20if%20shift%20else%20(2*y%5B160%3A%5D-1))%2Brng.normal(0%2C.15%2C80)%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20A%20sequence%20pair%20has%20exactly%20zero%20mean%20but%20signed%20cross-coordinate%20covariance.%0A%20%20%20%20%20%20%20%20%20%20%20%20seq%3Dnp.stack(%5Bnp.stack(%5Bnp.ones(n)%2Csignal%5D%2C1)%2Cnp.stack(%5B-np.ones(n)%2C-signal%5D%2C1)%5D%2C1)%0A%20%20%20%20%20%20%20%20%20%20%20%20features%3Dnp.column_stack(%5Bsignal%2Cshortcut%5D)%20if%20mode%3D%3D0%20else%20(seq.mean(1)%20if%20mode%3D%3D1%20else%20np.column_stack(%5B(seq%5B%3A%2C%3A%2C0%5D*seq%5B%3A%2C%3A%2C1%5D).mean(1)%2Cnp.ones(n)%5D))%0A%20%20%20%20%20%20%20%20%20%20%20%20x%3Dnp.column_stack(%5Bfeatures%2Cnp.ones(n)%5D)%3Bw%3Dnp.zeros(3)%0A%20%20%20%20%20%20%20%20%20%20%20%20for%20_%20in%20range(250)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20p%3D1%2F(1%2Bnp.exp(-np.clip(x%5B%3A160%5D%40w%2C-30%2C30)))%3Bw-%3D.1*(x%5B%3A160%5D.T%40(p-y%5B%3A160%5D)%2F160%2B.01*w)%0A%20%20%20%20%20%20%20%20%20%20%20%20pred%3D1%2F(1%2Bnp.exp(-np.clip(x%40w%2C-30%2C30)))%3Bflag%3Dpred%3E%3Dthreshold%3Brows%3D%5B%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20for%20group%2Csl%20in%20%5B('Training'%2Cslice(0%2C160))%2C('Held%20out'%2Cslice(160%2C240))%5D%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20yy%3Dy%5Bsl%5D%3Bff%3Dflag%5Bsl%5D%3Bpp%3Dpred%5Bsl%5D%3Brows.append(%7B'split'%3Agroup%2C'n'%3Alen(yy)%2C'TP'%3Aint(((yy%3D%3D1)%26ff).sum())%2C'FN'%3Aint(((yy%3D%3D1)%26~ff).sum())%2C'FP'%3Aint(((yy%3D%3D0)%26ff).sum())%2C'TN'%3Aint(((yy%3D%3D0)%26~ff).sum())%2C'accuracy'%3Afloat((ff%3D%3Dyy).mean())%2C'brier'%3Afloat(((pp-yy)**2).mean())%7D)%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20result('The%20probe%20is%20trained%20on%20the%20first%20160%20seeded%20cases%20only.%20A%20shortcut%20flips%20on%20the%2080%20held-out%20cases%20when%20distribution%20shift%20is%20enabled.'%2Crows%2Cx%3D'split'%2Cy%3D'accuracy'%2Cmetrics%3D%7B'learned_weights'%3Aw.tolist()%7D%2Cformula%3D'Logistic%20probe%20trained%20by%20gradient%20descent%20with%20L2%20penalty.%20Feature%20modes%3A%20signal%2Bshortcut%3B%20sequence%20means%20(both%20zero)%3B%20centred%20cross-covariance%2Bconstant.%20These%20are%20synthetic%20representations%2C%20not%20measured%20LLM%20activations.')%0A%20%20%20%20%20%20%20%20if%20ident%3D%3D'u12-uncertainty'%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20rng%3Dnp.random.default_rng(int(s.get('seed'%2C37)))%3Bn%3Dint(s%5B'rollouts'%5D)%3Bwindow%3Dint(s%5B'smoothing'%5D)%3Bthreshold%3Ds%5B'threshold'%5D%3Bhard%3Ds%5B'hard'%5D%3Brows%3D%5B%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20true%3Dnp.array(%5B.5%2C.51%2C.52%2C.51%2C.53%2C.55%2C.87%2C.9%2C.93%2C.95%2C.96%2C.97%5D)%20if%20not%20hard%20else%20np.array(%5B.5%2C.52%2C.55%2C.62%2C.72%2C.8%2C.75%2C.62%2C.38%2C.2%2C.1%2C.04%5D)%0A%20%20%20%20%20%20%20%20%20%20%20%20estimates%3Drng.binomial(n%2Ctrue)%2Fn%0A%20%20%20%20%20%20%20%20%20%20%20%20for%20t%2Cp%20in%20enumerate(true)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20sm%3Dfloat(estimates%5Bmax(0%2Ct-window%2B1)%3At%2B1%5D.mean())%3Brows.append(%7B'prefix'%3At%2C'true_p_A'%3Afloat(p)%2C'sample_p_A'%3Afloat(estimates%5Bt%5D)%2C'smoothed_p_A'%3Asm%2C'estimated_standard_error'%3Amath.sqrt(float(p*(1-p))%2Fn)%7D)%0A%20%20%20%20%20%20%20%20%20%20%20%20exits%3D%5Bi%20for%20i%2Cr%20in%20enumerate(rows)%20if%20max(r%5B'smoothed_p_A'%5D%2C1-r%5B'smoothed_p_A'%5D)%3E%3Dthreshold%5D%3Bexit_at%3Dexits%5B0%5D%20if%20exits%20else%2011%3Bchosen%3D'A'%20if%20rows%5Bexit_at%5D%5B'smoothed_p_A'%5D%3E%3D.5%20else%20'B'%3Bsupported%3D'A'%20if%20not%20hard%20else%20'B'%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20result(f'Early%20exit%20at%20prefix%20%7Bexit_at%7D%3A%20chooses%20%7Bchosen%7D%3B%20the%20fixture%20answer%20is%20%7Bsupported%7D.%20Later%20evidence%20can%20overturn%20an%20early%20high-confidence%20choice.'%2Crows%2C'line'%2Cx%3D'prefix'%2Cy%3D'smoothed_p_A'%2Cmetrics%3D%7B'exit_prefix'%3Aexit_at%2C'chosen_answer'%3Achosen%2C'fixture_answer'%3Asupported%2C'correct'%3Achosen%3D%3Dsupported%2C'remaining_prefixes_skipped'%3A11-exit_at%7D%2Cformula%3D'Each%20prefix%20draws%20N%20independent%20Bernoulli%20continuations%20from%20a%20known%20probability.%20A%20trailing%20mean%20smooths%20estimates.%20SE%20%3D%20%E2%88%9A%5Bp(1%E2%88%92p)%2FN%5D.%20These%20are%20simulated%20continuations%3B%20matching%20the%20eventual%20answer%20is%20distinct%20from%20matching%20an%20external%20answer%20key.')%0A%20%20%20%20%20%20%20%20if%20ident%3D%3D'u12-weights'%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20matrix%3Dnp.asarray(MODEL%5B'base'%5D%5B'readout.weight'%5D)%3Brank%3Dint(s%5B'rank'%5D)%3Bedit%3Ds%5B'edit'%5D%3Bfrequency%3Ds%5B'frequency'%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20u%2Cd%2Cvt%3Dnp.linalg.svd(matrix%2Cfull_matrices%3DFalse)%3Brebuild%3D(u%5B%3A%2C%3Arank%5D*d%5B%3Arank%5D)%40vt%5B%3Arank%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20Edit%20one%20retained%20component%20of%20the%20SAME%20learned%20output%20matrix.%0A%20%20%20%20%20%20%20%20%20%20%20%20rebuild%3Drebuild%2Bedit*d%5B0%5D*np.outer(u%5B%3A%2C0%5D%2Cvt%5B0%5D)%3Bgroups%3D%7B'Kiki%20queries'%3A%5B%5D%2C'Other%20queries'%3A%5B%5D%7D%0A%20%20%20%20%20%20%20%20%20%20%20%20for%20j%20in%20MODEL%5B'test_indices'%5D%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20tt%2Cyy%3DMODEL%5B'cases'%5D%5Bj%5D%3Boriginal%2C_%3Dforward(tt)%3Bchanged%2C_%3Dforward(tt%2Creadout%3Drebuild)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20groups%5B'Kiki%20queries'%20if%20tt%5B-2%5D%3D%3DMODEL%5B'vocab'%5D.index('kiki')%20else%20'Other%20queries'%5D.append((float(-np.log(softmax(original)%5Byy%5D%2B1e-12))%2Cfloat(-np.log(softmax(changed)%5Byy%5D%2B1e-12))%2Cint(original.argmax()%3D%3Dyy)%2Cint(changed.argmax()%3D%3Dyy)))%0A%20%20%20%20%20%20%20%20%20%20%20%20rows%3D%5B%7B'group'%3Aname%2C'cases'%3Alen(values)%2C'base_loss'%3Afloat(np.mean(%5Bv%5B0%5D%20for%20v%20in%20values%5D))%2C'edited_loss'%3Afloat(np.mean(%5Bv%5B1%5D%20for%20v%20in%20values%5D))%2C'base_correct'%3Asum(v%5B2%5D%20for%20v%20in%20values)%2C'edited_correct'%3Asum(v%5B3%5D%20for%20v%20in%20values)%7D%20for%20name%2Cvalues%20in%20groups.items()%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20weighted%3Dfrequency*rows%5B0%5D%5B'edited_loss'%5D%2B(1-frequency)*rows%5B1%5D%5B'edited_loss'%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20result(f'One%20experiment%3A%20decompose%20the%20trained%20output%20matrix%2C%20edit%20it%2C%20then%20rerun%20all%20%7Bsum(len(v)%20for%20v%20in%20groups.values())%7D%20frozen%20evaluation%20prompts.%20Population-weighted%20loss%3A%20%7Bweighted%3A.4f%7D.'%2Crows%2Cx%3D'group'%2Cy%3D'edited_loss'%2Cheat%3Drebuild.tolist()%2Cheat_labels%3DMODEL%5B'vocab'%5D%2Cmetrics%3D%7B'matrix_frobenius_error'%3Afloat(np.linalg.norm(matrix-rebuild))%2C'weighted_loss'%3Aweighted%2C'assumed_Kiki_population_share'%3Afrequency%2C'rank'%3Arank%2C'leading_component_edit'%3Aedit%7D%2Cformula%3D'W%20%3D%20U%CE%A3V%E1%B5%80.%20Keep%20r%20components%2C%20then%20add%20edit%20%C3%97%20%CF%83%E2%82%81u%E2%82%81v%E2%82%81%E1%B5%80%20to%20the%20same%20learned%20readout%20matrix.%20Evaluate%20cross-entropy%20and%20exact%20answers%20with%20all%20other%20model%20weights%20fixed.%20The%20population%20slider%20reweights%20evaluation%20groups%3B%20it%20does%20not%20change%20training%20frequency.%20SVD%20is%20not%20SPD%2FVPD%20or%20K-FAC%2C%20and%20singular%20vectors%20are%20not%20verified%20semantic%20circuits.')%0A%20%20%20%20%20%20%20%20if%20ident%3D%3D'u12-audit'%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20n%3Dint(s%5B'sample'%5D)%3Bp%3Ds%5B'failure'%5D%3Bbest%3Dint(s%5B'best'%5D)%3Bcue%3Ds%5B'cue'%5D%3Brng%3Dnp.random.default_rng(int(s.get('seed'%2C43)))%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20One%20coherent%20audit%3A%20the%20sample%20size%20is%20the%20number%20of%20independently%20generated%20pools.%0A%20%20%20%20%20%20%20%20%20%20%20%20truth%3Drng.random((n%2Cbest))%3E%3Dp%3Bstyle%3Drng.random((n%2Cbest))%3Breward%3D.45*truth%2B.55*style%20if%20not%20cue%20else%20style%0A%20%20%20%20%20%20%20%20%20%20%20%20selected%3Dtruth%5Bnp.arange(n)%2Creward.argmax(1)%5D%3Bfailures%3Dint((~selected).sum())%3Bphat%3Dfailures%2Fn%3Bz%3D1.96%3Bdenom%3D1%2Bz*z%2Fn%3Bcentre%3D(phat%2Bz*z%2F(2*n))%2Fdenom%3Bhalf%3Dz*math.sqrt(phat*(1-phat)%2Fn%2Bz*z%2F(4*n*n))%2Fdenom%0A%20%20%20%20%20%20%20%20%20%20%20%20rows%3D%5B%7B'condition'%3A'First%20candidate'%2C'correct'%3Aint(truth%5B%3A%2C0%5D.sum())%2C'failures'%3Aint((~truth%5B%3A%2C0%5D).sum())%2C'n'%3An%7D%2C%7B'condition'%3A'Highest%20proxy%20reward'%2C'correct'%3Aint(selected.sum())%2C'failures'%3Afailures%2C'n'%3An%7D%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20result(f'The%20selected%20policy%20fails%20on%20%7Bfailures%7D%2F%7Bn%7D%20independently%20generated%20candidate%20pools.%20Wilson%2095%25%20interval%20%5B%7Bmax(0%2Ccentre-half)%3A.3%25%7D%2C%20%7Bmin(1%2Ccentre%2Bhalf)%3A.3%25%7D%5D.%20Compare%20with%20the%20paired%20first-candidate%20baseline.'%2Crows%2Cx%3D'condition'%2Cy%3D'correct'%2Cmetrics%3D%7B'failures'%3Afailures%2C'n'%3An%2C'wilson_low'%3Amax(0%2Ccentre-half)%2C'wilson_high'%3Amin(1%2Ccentre%2Bhalf)%2C'candidate_failure_probability'%3Ap%2C'best_of_n'%3Abest%2C'evaluation_cue'%3Abool(cue)%2C'seed'%3Aint(s.get('seed'%2C43))%7D%2Cformula%3D'Generate%20N%20independent%20candidate%20pools%20using%20a%20known%20per-candidate%20failure%20probability.%20Select%20by%20truth%2Bstyle%20or%20style%20alone%2C%20then%20audit%20the%20selected%20candidates%20against%20their%20independent%20labels.%20The%20interval%20applies%20to%20selected-policy%20failure%20under%20this%20simulator%2C%20not%20to%20the%20input%20candidate%20failure%20rate%20or%20an%20LLM.%20After%20tuning%20on%20a%20seed%2C%20use%20a%20fresh%20seed%20for%20final%20evaluation.%20A%20zero-failure%20sample%20cannot%20certify%20safety.')%0A%20%20%20%20%20%20%20%20raise%20ValueError('Unknown%20investigation%3A%20'%2Bident)%0A%0A%20%20%20%20def%20compute_base(ident%2Cs)%3A%0A%20%20%20%20%20%20%20%20return%20compute_mechanism(ident%2Cs)%0A%0A%20%20%20%20compute_mechanism%3Dcompute%0A%0A%20%20%20%20def%20compute(ident%2Cs)%3A%0A%20%20%20%20%20%20%20%20out%3Dcompute_base(ident%2Cs)%0A%20%20%20%20%20%20%20%20if%20ident%3D%3D'u12-geometry'%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20first%3Dint(s%5B'start'%5D%2F%2F90)%256%3Btt%2Cyy%2C_%3Dprompt(first)%3Bother%2Cother_y%2C_%3Dprompt((first%2B1)%256)%3Bbase%2Cc%3Dforward(tt)%3Btarget%2Cd%3Dforward(other)%3Ba%3Dc%5B'residual'%5D%5B1%5D%5B-1%5D%3Bb%3Dd%5B'residual'%5D%5B1%5D%5B-1%5D%3Brows%3D%5B%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20for%20fraction%20in%20np.linspace(0%2Cs%5B'angle'%5D%2F360%2C11)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20chord%3D(1-fraction)*a%2Bfraction*b%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20A%20norm-preserving%20variant%20is%20an%20intervention%20convention%2C%20not%20a%20fitted%20manifold.%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20vector%3Dchord%20if%20s%5B'path'%5D%3D%3D0%20else%20chord%2Fmax(1e-12%2Cnp.linalg.norm(chord))*((1-fraction)*np.linalg.norm(a)%2Bfraction*np.linalg.norm(b))%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20changed%2C_%3Dforward(tt%2Cpatch%3D%7B'layer'%3A0%2C'position'%3Alen(tt)-1%2C'value'%3Avector%7D)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20rows.append(%7B'fraction'%3Afloat(fraction)%2C'residual_norm'%3Afloat(np.linalg.norm(vector))%2C'p_original_fact'%3Afloat(softmax(changed)%5Byy%5D)%2C'p_other_fact'%3Afloat(softmax(changed)%5Bother_y%5D)%2C'answer'%3AMODEL%5B'vocab'%5D%5Bint(changed.argmax())%5D%7D)%0A%20%20%20%20%20%20%20%20%20%20%20%20out.update(model_rows%3Drows%2Cmodel_method%3D'Measured%20bridge%3A%20interpolate%20post-block-0%20final-token%20residuals%20from%20two%20actual%20tiny-transformer%20prompts%2C%20then%20run%20block%201%20and%20the%20output%20head.%20Starting%20angle%20selects%20a%20fact%20pair%3B%20travel%2F360%20selects%20edit%20extent.%20Path%200%20is%20a%20chord%3B%20path%201%20rescales%20that%20chord%20to%20an%20interpolated%20norm.%20This%20does%20not%20establish%20that%20actual%20model%20states%20lie%20on%20a%20circle%20or%20that%20norm-preserving%20edits%20are%20on-manifold.')%0A%20%20%20%20%20%20%20%20if%20ident%3D%3D'u12-probes'%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20features%3D%5B%5D%3Blabels%3D%5B%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20for%20tokens%2Ctruth%20in%20MODEL%5B'cases'%5D%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_%2Ccache%3Dforward(tokens)%3Bsequence%3Dcache%5B'residual'%5D%5B1%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20vector%3Dsequence%5B-1%5D%20if%20s%5B'features'%5D%3D%3D0%20else%20sequence.mean(0)%20if%20s%5B'features'%5D%3D%3D1%20else%20((sequence-sequence.mean(0))**2).mean(0)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20features.append(vector)%3Blabels.append(int(truth%3D%3DMODEL%5B'vocab'%5D.index('red')))%0A%20%20%20%20%20%20%20%20%20%20%20%20features%3Dnp.array(features)%3Blabels%3Dnp.array(labels)%3Btest%3Dnp.array(MODEL%5B'test_indices'%5D)%3Btrain%3Dnp.array(%5Bi%20for%20i%20in%20range(len(labels))%20if%20i%20not%20in%20set(test)%5D)%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20The%20final%20set%20never%20fits%20the%20normaliser%20or%20weights.%0A%20%20%20%20%20%20%20%20%20%20%20%20mean%3Dfeatures%5Btrain%5D.mean(0)%3Bstd%3Dnp.maximum(.01%2Cfeatures%5Btrain%5D.std(0))%3Bx%3Dnp.column_stack(%5B(features-mean)%2Fstd%2Cnp.ones(len(labels))%5D)%3Bweights%3Dnp.zeros(x.shape%5B1%5D)%0A%20%20%20%20%20%20%20%20%20%20%20%20for%20_%20in%20range(150)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20prob%3D1%2F(1%2Bnp.exp(-np.clip(x%5Btrain%5D%40weights%2C-30%2C30)))%3Bweights-%3D.05*(x%5Btrain%5D.T%40(prob-labels%5Btrain%5D)%2Flen(train)%2B.01*weights)%0A%20%20%20%20%20%20%20%20%20%20%20%20probabilities%3D1%2F(1%2Bnp.exp(-np.clip(x%40weights%2C-30%2C30)))%0A%20%20%20%20%20%20%20%20%20%20%20%20rows%3D%5B%7B'split'%3Aname%2C'n'%3Alen(indices)%2C'red_cases'%3Aint(labels%5Bindices%5D.sum())%2C'correct'%3Aint(((probabilities%5Bindices%5D%3E%3Ds%5B'threshold'%5D)%3D%3Dlabels%5Bindices%5D).sum())%2C'brier'%3Afloat(((probabilities%5Bindices%5D-labels%5Bindices%5D)**2).mean())%7D%20for%20name%2Cindices%20in%20%5B('Probe%20training'%2Ctrain)%2C('Frozen%20evaluation'%2Ctest)%5D%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20out.update(model_rows%3Drows%2Cmodel_method%3D'Measured%20bridge%3A%20fit%20a%20logistic%20probe%20for%20whether%20the%20written%20facts%20support%20red%2C%20using%20post-block-0%20activations%20of%20the%20trained%20transformer.%20Modes%20read%20final-token%2C%20sequence%20mean%20or%20coordinate%20variance%20respectively.%20The%20separate%20synthetic%20shortcut%20switch%20does%20not%20alter%20these%20measured%20features.%20Probe%20success%20is%20predictive%20evidence%3B%20this%20bridge%20performs%20no%20causal%20intervention.%20Repeated%20tuning%20consumes%20the%20frozen%20set%20for%20development.')%0A%20%20%20%20%20%20%20%20if%20ident%3D%3D'u12-uncertainty'%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20rng%3Dnp.random.default_rng(int(s.get('seed'%2C37)))%3Brows%3D%5B%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20for%20case%20in%20range(6)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20tokens%2Ctruth%2Ctext%3Dprompt(case)%3Blogits%2C_%3Dforward(tokens)%3Bprob%3Dsoftmax(logits)%3Bsamples%3Drng.choice(len(prob)%2Csize%3Dint(s%5B'rollouts'%5D)%2Cp%3Dprob)%3Bestimate%3Dfloat((samples%3D%3Dtruth).mean())%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20rows.append(%7B'card'%3Acase%2B1%2C'supported_colour'%3AMODEL%5B'vocab'%5D%5Btruth%5D%2C'exact_model_probability'%3Afloat(prob%5Btruth%5D)%2C'sampled_frequency'%3Aestimate%2C'samples'%3Aint(s%5B'rollouts'%5D)%2C'absolute_error'%3Aabs(estimate-float(prob%5Btruth%5D))%7D)%0A%20%20%20%20%20%20%20%20%20%20%20%20out.update(model_rows%3Drows%2Cmodel_method%3D'Measured%20bridge%3A%20sample%20the%20actual%20tiny-transformer%20next-word%20distribution%20on%20six%20complete%20fact%20cards.%20Compare%20sample%20frequencies%20with%20exact%20full-vocabulary%20probabilities.%20These%20are%20independent%20one-token%20samples%2C%20not%20reasoning-chain%20rollouts%3B%20smoothing%20and%20early-exit%20controls%20apply%20only%20to%20the%20branching%20simulation%20above.')%0A%20%20%20%20%20%20%20%20if%20ident%3D%3D'u6-story'%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20rows%3D%5B%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20for%20case%20in%20%5B0%2C1%5D%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20tokens%2Ctruth%2Ctext%3Dprompt(case)%3Blogits%2C_%3Dforward(tokens)%3Brows.append(%7B'fact_card'%3Atext%2C'supported_colour'%3AMODEL%5B'vocab'%5D%5Btruth%5D%2C'model_guess'%3AMODEL%5B'vocab'%5D%5Bint(logits.argmax())%5D%2C'chance_assigned_to_supported_colour'%3Around(float(softmax(logits)%5Btruth%5D)%2C3)%7D)%0A%20%20%20%20%20%20%20%20%20%20%20%20out.update(model_rows%3Drows%2Cmodel_method%3D'Compare%20two%20actual%20tiny-model%20fact%20cards.%20Changing%20the%20words%20changes%20the%20learned%20calculation.%20This%20is%20a%20different%20mechanism%20from%20the%20picnic%E2%80%99s%20hand-written%20weather%20rule%3A%20neither%20is%20evidence%20that%20a%20computer%20has%20feelings.%20The%20weather%20controls%20do%20not%20alter%20these%20two%20fixed%20model%20observations.')%0A%20%20%20%20%20%20%20%20return%20out%0A%0A%20%20%20%20def%20draw(out)%3A%0A%20%20%20%20%20%20%20%20%22%22%22Accessible%20SVG%20views%2C%20with%20exact%20values%20duplicated%20in%20tables.%22%22%22%0A%20%20%20%20%20%20%20%20esc%3Dlambda%20s%3Ahtml.escape(str(s)%2Cquote%3DTrue)%0A%20%20%20%20%20%20%20%20marks%3D%5B%5D%3Bkind%3Dout%5B'kind'%5D%3Brows%3Dout.get('chart_rows'%2Cout%5B'rows'%5D)%3Bx%3Dout%5B'x'%5D%3By%3Dout%5B'y'%5D%0A%20%20%20%20%20%20%20%20if%20kind%3D%3D'circle'%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20marks.append('%3Ccircle%20cx%3D%22290%22%20cy%3D%22180%22%20r%3D%22130%22%20fill%3D%22none%22%20stroke%3D%22%23778d85%22%20stroke-width%3D%222%22%2F%3E')%0A%20%20%20%20%20%20%20%20%20%20%20%20for%20i%20in%20range(12)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20a%3D2*math.pi*i%2F12%3Blabel%3Dout.get('labels'%2C%5Bstr(i*30)%2B'%C2%B0'%20for%20i%20in%20range(12)%5D)%5Bi%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20marks.append(f'%3Ctext%20x%3D%22%7B290%2B152*math.cos(a)%3A.1f%7D%22%20y%3D%22%7B185-152*math.sin(a)%3A.1f%7D%22%20text-anchor%3D%22middle%22%3E%7Besc(label)%7D%3C%2Ftext%3E')%0A%20%20%20%20%20%20%20%20%20%20%20%20points%3D'%20'.join(f'%7B290%2B130*r%5Bx%5D%3A.2f%7D%2C%7B180-130*r%5By%5D%3A.2f%7D'%20for%20r%20in%20rows)%0A%20%20%20%20%20%20%20%20%20%20%20%20marks.append(f'%3Cpolyline%20points%3D%22%7Bpoints%7D%22%20fill%3D%22none%22%20stroke%3D%22%239f3e20%22%20stroke-width%3D%224%22%2F%3E')%0A%20%20%20%20%20%20%20%20%20%20%20%20for%20i%2Cr%20in%20enumerate(rows)%3Amarks.append(f'%3Ccircle%20cx%3D%22%7B290%2B130*r%5Bx%5D%3A.2f%7D%22%20cy%3D%22%7B180-130*r%5By%5D%3A.2f%7D%22%20r%3D%224%22%20fill%3D%22%239f3e20%22%3E%3Ctitle%3EStep%20%7Bi%7D%3A%20(%7Br%5Bx%5D%3A.3f%7D%2C%20%7Br%5By%5D%3A.3f%7D)%3C%2Ftitle%3E%3C%2Fcircle%3E')%0A%20%20%20%20%20%20%20%20%20%20%20%20marks.append('%3Ctext%20x%3D%22485%22%20y%3D%22160%22%3EOrange%3A%20trajectory%3C%2Ftext%3E%3Ctext%20x%3D%22485%22%20y%3D%22185%22%3EGrey%3A%20unit%20circle%3C%2Ftext%3E')%0A%20%20%20%20%20%20%20%20elif%20kind%3D%3D'line'%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20values%3D%5Bfloat(r%5By%5D)%20for%20r%20in%20rows%5D%3Blo%3Dmin(0%2Cmin(values))%3Bhi%3Dmax(.01%2Cmax(values))%3Bpx%3Dlambda%20v%3A70%2B(v-float(rows%5B0%5D%5Bx%5D))%2Fmax(1e-9%2Cfloat(rows%5B-1%5D%5Bx%5D)-float(rows%5B0%5D%5Bx%5D))*570%3Bpy%3Dlambda%20v%3A300-(v-lo)%2Fmax(1e-9%2Chi-lo)*245%0A%20%20%20%20%20%20%20%20%20%20%20%20points%3D'%20'.join(f'%7Bpx(float(r%5Bx%5D))%3A.2f%7D%2C%7Bpy(float(r%5By%5D))%3A.2f%7D'%20for%20r%20in%20rows)%0A%20%20%20%20%20%20%20%20%20%20%20%20marks.append(f'%3Cpolyline%20points%3D%22%7Bpoints%7D%22%20fill%3D%22none%22%20stroke%3D%22%239f3e20%22%20stroke-width%3D%223%22%2F%3E')%0A%20%20%20%20%20%20%20%20%20%20%20%20for%20r%20in%20rows%3Amarks.append(f'%3Ccircle%20cx%3D%22%7Bpx(float(r%5Bx%5D))%3A.2f%7D%22%20cy%3D%22%7Bpy(float(r%5By%5D))%3A.2f%7D%22%20r%3D%224%22%20fill%3D%22%239f3e20%22%3E%3Ctitle%3E%7Besc(x)%7D%20%7Br%5Bx%5D%7D%3A%20%7Br%5By%5D%3A.4f%7D%3C%2Ftitle%3E%3C%2Fcircle%3E')%0A%20%20%20%20%20%20%20%20%20%20%20%20for%20frac%20in%20%5B0%2C.5%2C1%5D%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20val%3Dlo%2Bfrac*(hi-lo)%3Bmarks.append(f'%3Ctext%20x%3D%2260%22%20y%3D%22%7Bpy(val)%2B5%7D%22%20text-anchor%3D%22end%22%3E%7Bval%3A.3g%7D%3C%2Ftext%3E')%0A%20%20%20%20%20%20%20%20%20%20%20%20marks.append(f'%3Cpath%20d%3D%22M70%2040%20V300%20H645%22%20fill%3D%22none%22%20stroke%3D%22%2359756b%22%2F%3E%3Ctext%20x%3D%2270%22%20y%3D%22325%22%3E%7Brows%5B0%5D%5Bx%5D%7D%3C%2Ftext%3E%3Ctext%20x%3D%22640%22%20y%3D%22325%22%20text-anchor%3D%22end%22%3E%7Brows%5B-1%5D%5Bx%5D%7D%3C%2Ftext%3E%3Ctext%20x%3D%22340%22%20y%3D%22350%22%20text-anchor%3D%22middle%22%3E%7Besc(x)%7D%3C%2Ftext%3E%3Ctext%20x%3D%2270%22%20y%3D%2225%22%3E%7Besc(y)%7D%3C%2Ftext%3E')%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20vals%3D%5Bfloat(r%5By%5D)%20for%20r%20in%20rows%5D%3Blo%3Dmin(0%2Cmin(vals))%3Bhi%3Dmax(.001%2Cmax(vals))%3Bscale%3Dlambda%20v%3A200%2B440*(v-lo)%2Fmax(1e-9%2Chi-lo)%3Bzero%3Dscale(0)%3Bheight%3Dmin(46%2C270%2Fmax(1%2Clen(rows)))%0A%20%20%20%20%20%20%20%20%20%20%20%20for%20i%2Cr%20in%20enumerate(rows)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20yy%3D50%2Bi*height%3Bend%3Dscale(float(r%5By%5D))%3Bmarks.append(f'%3Ctext%20x%3D%22187%22%20y%3D%22%7Byy%2B14%7D%22%20text-anchor%3D%22end%22%3E%7Besc(r%5Bx%5D)%7D%3C%2Ftext%3E%3Crect%20x%3D%22%7Bmin(zero%2Cend)%3A.2f%7D%22%20y%3D%22%7Byy%7D%22%20width%3D%22%7Bmax(.5%2Cabs(end-zero))%3A.2f%7D%22%20height%3D%22%7Bheight*.65%7D%22%20rx%3D%222%22%20fill%3D%22%2326735c%22%2F%3E%3Ctext%20x%3D%22650%22%20y%3D%22%7Byy%2B14%7D%22%3E%7Bfloat(r%5By%5D)%3A.3g%7D%3C%2Ftext%3E')%0A%20%20%20%20%20%20%20%20%20%20%20%20marks.append(f'%3Ctext%20x%3D%22200%22%20y%3D%2225%22%3E%7Besc(y)%7D%3C%2Ftext%3E')%0A%20%20%20%20%20%20%20%20graphic%3Df'%3Csvg%20viewBox%3D%220%200%20720%20365%22%20role%3D%22img%22%20aria-label%3D%22%7Besc(y)%7D%20chart%3B%20exact%20values%20in%20the%20evidence%20table%22%20style%3D%22width%3A100%25%3Bmin-width%3A560px%3Bbackground%3A%23f7f8f2%3Bborder-radius%3A12px%3Bfont%3A14px%20system-ui%3Bfill%3A%23173d36%22%3E%3Ctitle%3E%7Besc(y)%7D%20chart%3C%2Ftitle%3E%7B%22%22.join(marks)%7D%3C%2Fsvg%3E'%0A%20%20%20%20%20%20%20%20if%20out.get('heat')%20is%20not%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20heat%3Dnp.asarray(out%5B'heat'%5D)%3Bmaxv%3Dmax(1e-9%2Cfloat(np.max(np.abs(heat))))%3Bcells%3D%5B%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20for%20i%2Crow%20in%20enumerate(heat)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20cells.append(f'%3Ctext%20x%3D%2280%22%20y%3D%22%7B44%2Bi*24%7D%22%20text-anchor%3D%22end%22%3E%7Besc(out%5B%22heat_labels%22%5D%5Bi%5D)%7D%3C%2Ftext%3E')%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20for%20j%2Cval%20in%20enumerate(row)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20opacity%3D.1%2B.9*abs(float(val))%2Fmaxv%3Bcolor%3D'%2326735c'%20if%20val%3E%3D0%20else%20'%23a94322'%3Bcells.append(f'%3Crect%20x%3D%22%7B90%2Bj*32%7D%22%20y%3D%22%7B27%2Bi*24%7D%22%20width%3D%2229%22%20height%3D%2221%22%20fill%3D%22%7Bcolor%7D%22%20opacity%3D%22%7Bopacity%3A.3f%7D%22%3E%3Ctitle%3ERow%20%7Bi%7D%2C%20column%20%7Bj%7D%3A%20%7Bval%3A.5f%7D%3C%2Ftitle%3E%3C%2Frect%3E')%0A%20%20%20%20%20%20%20%20%20%20%20%20for%20j%20in%20range(heat.shape%5B1%5D)%3Acells.append(f'%3Ctext%20x%3D%22%7B96%2Bj*32%7D%22%20y%3D%2218%22%3E%7Bj%7D%3C%2Ftext%3E')%0A%20%20%20%20%20%20%20%20%20%20%20%20graphic%2B%3Df'%3Csvg%20viewBox%3D%220%200%20720%20%7B65%2B24*len(heat)%7D%22%20role%3D%22img%22%20aria-label%3D%22Value%20heat%20map.%20Green%20positive%2C%20rust%20negative.%20Exact%20values%20in%20the%20heat%20map%20table.%22%20style%3D%22width%3A100%25%3Bmin-width%3A560px%3Bfont%3A12px%20system-ui%3Bfill%3A%23173d36%22%3E%3Ctitle%3EHeat%20map%20with%20indexed%20columns%3C%2Ftitle%3E%7B%22%22.join(cells)%7D%3C%2Fsvg%3E'%0A%20%20%20%20%20%20%20%20return%20'%3Cdiv%20tabindex%3D%220%22%20role%3D%22group%22%20aria-label%3D%22Scrollable%20experiment%20charts%22%20style%3D%22max-width%3A100%25%3Boverflow-x%3Aauto%22%3E'%2Bgraphic%2B'%3C%2Fdiv%3E'%0A%0A%20%20%20%20MODEL%20%3D%20json.loads(zlib.decompress(base64.b64decode('eNoljUEOwjAMBL9i%2BYx4AJy5cuEFabIQi8SunBRRVf07qTjtajXa2TgGT3yhjasllNH4bjQ7ugdRJBqp7Wle4bS0MYhSz9JIrWMye%2FOJuKJnO274sWrP6BIJn1CW0MX0IFq0GQdw%2B85FovSyUsLzr0CIWfRFFTEHlVav1IChATkagsdMky2agq9n3vcfs59Aiw%3D%3D')))%0A%20%20%20%20return%20MODEL%2C%20compute%2C%20draw%2C%20json%2C%20mo%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20config%20%3D%20%7B'id'%3A%20'u6-fair-test'%2C%20'year'%3A%206%2C%20'title'%3A%20'The%20great%20clue-check%20challenge'%2C%20'concept'%3A%20'Checking%20a%20detector'%2C%20'question'%3A%20'Can%20a%20clue%20detector%20catch%20every%20mistake%20without%20false%20alarms%3F'%2C%20'intro'%3A%20'Test%20a%20fictional%20checking%20rule%20on%2020%20labelled%20cases.%20Move%20its%20threshold%20and%20try%20a%20set%20where%20the%20clue%20stops%20working.'%2C%20'controls'%3A%20%5B%7B'key'%3A%20'threshold'%2C%20'label'%3A%20'Clue%20score%20needed%20to%20flag%20a%20case'%2C%20'kind'%3A%20'slider'%2C%20'min'%3A%200%2C%20'max'%3A%201%2C%20'step'%3A%200.05%2C%20'default'%3A%200.5%7D%2C%20%7B'key'%3A%20'shift'%2C%20'label'%3A%20'Test%20set'%2C%20'kind'%3A%20'choice'%2C%20'options'%3A%20%5B'Familiar%20clues'%2C%20'Reversed%20clues'%5D%2C%20'default'%3A%200%7D%5D%2C%20'prediction'%3A%20'Will%20a%20lower%20threshold%20catch%20more%20problems%3F%20What%20might%20it%20flag%20by%20mistake%3F'%2C%20'challenge'%3A%20'Try%20threshold%200%20and%20threshold%201.%20Then%20reverse%20the%20clues%20without%20changing%20the%20threshold.'%2C%20'artifact'%3A%20'A%20four-box%20error%20count%20and%20a%20recommendation%20that%20names%20who%20would%20check%20missed%20cases.'%2C%20'teacher'%3A%20'Keep%20both%20types%20of%20error%20visible.%20Scores%20are%20invented%20fixtures%2C%20not%20probabilities%20from%20an%20actual%20model.%20Use%20only%20fictional%20cases%2C%20never%20classmates%E2%80%99%20personal%20information.'%2C%20'extend'%3A%20'Design%20two%20new%20cases%20that%20challenge%20the%20rule%20and%20specify%20their%20correct%20labels%20before%20testing.'%2C%20'glossary'%3A%20%7B'threshold'%3A%20'The%20score%20at%20which%20a%20rule%20flags%20a%20case.'%2C%20'false%20alarm'%3A%20'A%20flag%20raised%20for%20a%20case%20that%20did%20not%20need%20one.'%2C%20'miss'%3A%20'A%20case%20needing%20a%20check%20that%20the%20rule%20did%20not%20flag.'%7D%2C%20'method'%3A%20'Synthetic%20evaluation'%2C%20'minutes'%3A%2035%7D%0A%20%20%20%20sources%20%3D%20%5B%7B'id'%3A%20'ai-safety-still-needs-great-engineers'%2C%20'title'%3A%20'AI%20Safety%20Still%20Needs%20Great%20Engineers'%2C%20'url'%3A%20'https%3A%2F%2Fwww.goodfire.com%2Fblog%2Fai-safety-still-needs-great-engineers'%2C%20'kind'%3A%20'Perspective'%2C%20'date'%3A%20'August%2027%2C%202026'%2C%20'idea'%3A%20'Useful%20safety%20research%20also%20needs%20reliable%20engineering%20and%20deployment.'%2C%20'year6'%3A%20'Keep%20a%20test%20record%20another%20class%20can%20repeat.'%2C%20'year12'%3A%20'Audit%20data%20provenance%2C%20monitoring%20and%20reproducibility%20alongside%20model%20metrics.'%2C%20'limit'%3A%20'An%20engineering%20argument%2C%20not%20experimental%20proof%20of%20model%20safety.'%2C%20'labs'%3A%20%5B'u6-fair-test'%2C%20'u12-audit'%5D%2C%20'paper'%3A%20None%2C%20'systemAndData'%3A%20'Engineering%20perspective%3B%20examples%20of%20safety%20infrastructure'%2C%20'method'%3A%20'Reason%20through%20deployment%2C%20testing%20and%20operational%20failure%20modes%3B%20no%20new%20controlled%20model%20experiment.'%2C%20'question'%3A%20'What%20evidence%20would%20support%20or%20challenge%20this%20idea%3A%20Useful%20safety%20research%20also%20needs%20reliable%20engineering%20and%20deployment.'%2C%20'finding'%3A%20'Useful%20safety%20research%20also%20needs%20reliable%20engineering%20and%20deployment.'%2C%20'year6Task'%3A%20'Keep%20a%20test%20record%20another%20class%20can%20repeat.%20Use%20the%20linked%20notebook%20to%20make%20two%20observations.%20Draw%20or%20describe%20one%20result%20and%20one%20thing%20this%20activity%20cannot%20tell%20us%20about%20the%20source%20system.'%2C%20'year12Task'%3A%20'Audit%20data%20provenance%2C%20monitoring%20and%20reproducibility%20alongside%20model%20metrics.%20Record%20the%20source%20model%2Ftask%2C%20a%20baseline%2C%20the%20changed%20factor%2C%20a%20measurement%20and%20an%20alternative%20explanation.%20State%20exactly%20which%20part%20your%20notebook%20investigates%20and%20which%20part%20it%20does%20not%20reproduce.'%2C%20'reviewed'%3A%20'2026-09-07'%2C%20'reproduction'%3A%20'Independent%20classroom%20adaptation%3B%20not%20a%20reproduction%20of%20the%20source%20model%20or%20complete%20method.'%7D%2C%20%7B'id'%3A%20'announcing-goodfire-research-grants'%2C%20'title'%3A%20'Announcing%20Goodfire%20Research%20Grants'%2C%20'url'%3A%20'https%3A%2F%2Fwww.goodfire.com%2Fblog%2Fannouncing-goodfire-research-grants'%2C%20'kind'%3A%20'Announcement'%2C%20'date'%3A%20'August%2020%2C%202026'%2C%20'idea'%3A%20'Funding%20and%20model%20access%20can%20help%20researchers%20test%20interpretability%20ideas.'%2C%20'year6'%3A%20'Choose%20a%20question%20that%20a%20small%20classroom%20experiment%20can%20answer.'%2C%20'year12'%3A%20'Write%20a%20bounded%20research%20proposal%20with%20a%20falsifiable%20hypothesis%20and%20compute%20budget.'%2C%20'limit'%3A%20'A%20grants%20announcement%20supplies%20opportunities%2C%20not%20a%20new%20scientific%20result.'%2C%20'labs'%3A%20%5B'u6-fair-test'%2C%20'u12-audit'%5D%2C%20'paper'%3A%20None%2C%20'systemAndData'%3A%20'Research%20funding%20programme'%2C%20'method'%3A%20'Describes%20eligibility%20and%20support%3B%20assess%20proposed%20experiments%20separately%20from%20the%20announcement.'%2C%20'question'%3A%20'What%20evidence%20would%20support%20or%20challenge%20this%20idea%3A%20Funding%20and%20model%20access%20can%20help%20researchers%20test%20interpretability%20ideas.'%2C%20'finding'%3A%20'Funding%20and%20model%20access%20can%20help%20researchers%20test%20interpretability%20ideas.'%2C%20'year6Task'%3A%20'Choose%20a%20question%20that%20a%20small%20classroom%20experiment%20can%20answer.%20Use%20the%20linked%20notebook%20to%20make%20two%20observations.%20Draw%20or%20describe%20one%20result%20and%20one%20thing%20this%20activity%20cannot%20tell%20us%20about%20the%20source%20system.'%2C%20'year12Task'%3A%20'Write%20a%20bounded%20research%20proposal%20with%20a%20falsifiable%20hypothesis%20and%20compute%20budget.%20Record%20the%20source%20model%2Ftask%2C%20a%20baseline%2C%20the%20changed%20factor%2C%20a%20measurement%20and%20an%20alternative%20explanation.%20State%20exactly%20which%20part%20your%20notebook%20investigates%20and%20which%20part%20it%20does%20not%20reproduce.'%2C%20'reviewed'%3A%20'2026-09-07'%2C%20'reproduction'%3A%20'Independent%20classroom%20adaptation%3B%20not%20a%20reproduction%20of%20the%20source%20model%20or%20complete%20method.'%7D%2C%20%7B'id'%3A%20'fellowship-fall-25'%2C%20'title'%3A%20'Announcing%20Goodfire%E2%80%99s%20Fellowship%20Program%20for%20Interpretability%20Research'%2C%20'url'%3A%20'https%3A%2F%2Fwww.goodfire.com%2Fblog%2Ffellowship-fall-25'%2C%20'kind'%3A%20'Announcement'%2C%20'date'%3A%20'October%209%2C%202025'%2C%20'idea'%3A%20'Interpretability%20research%20combines%20experimental%20questions%20with%20software%20engineering.'%2C%20'year6'%3A%20'Take%20turns%20as%20predictor%2C%20tester%20and%20evidence%20checker.'%2C%20'year12'%3A%20'Design%20a%20collaborative%20experiment%20with%20reviewable%20code%20and%20explicit%20ownership.'%2C%20'limit'%3A%20'A%20fellowship%20announcement%20is%20careers%20context%2C%20not%20a%20research%20finding.'%2C%20'labs'%3A%20%5B'u6-fair-test'%2C%20'u12-audit'%5D%2C%20'paper'%3A%20None%2C%20'systemAndData'%3A%20'Research%20fellowship%20programme'%2C%20'method'%3A%20'Describes%20research%20directions%20and%20participation%3B%20does%20not%20test%20a%20scientific%20hypothesis.'%2C%20'question'%3A%20'What%20evidence%20would%20support%20or%20challenge%20this%20idea%3A%20Interpretability%20research%20combines%20experimental%20questions%20with%20software%20engineering.'%2C%20'finding'%3A%20'Interpretability%20research%20combines%20experimental%20questions%20with%20software%20engineering.'%2C%20'year6Task'%3A%20'Take%20turns%20as%20predictor%2C%20tester%20and%20evidence%20checker.%20Use%20the%20linked%20notebook%20to%20make%20two%20observations.%20Draw%20or%20describe%20one%20result%20and%20one%20thing%20this%20activity%20cannot%20tell%20us%20about%20the%20source%20system.'%2C%20'year12Task'%3A%20'Design%20a%20collaborative%20experiment%20with%20reviewable%20code%20and%20explicit%20ownership.%20Record%20the%20source%20model%2Ftask%2C%20a%20baseline%2C%20the%20changed%20factor%2C%20a%20measurement%20and%20an%20alternative%20explanation.%20State%20exactly%20which%20part%20your%20notebook%20investigates%20and%20which%20part%20it%20does%20not%20reproduce.'%2C%20'reviewed'%3A%20'2026-09-07'%2C%20'reproduction'%3A%20'Independent%20classroom%20adaptation%3B%20not%20a%20reproduction%20of%20the%20source%20model%20or%20complete%20method.'%7D%2C%20%7B'id'%3A%20'mayo-clinic-collaboration'%2C%20'title'%3A%20'Goodfire%20Announces%20Collaboration%20to%20Advance%20Genomic%20Medicine%20with%20AI%20Interpretability'%2C%20'url'%3A%20'https%3A%2F%2Fwww.goodfire.com%2Fblog%2Fmayo-clinic-collaboration'%2C%20'kind'%3A%20'Announcement'%2C%20'date'%3A%20'September%209%2C%202025'%2C%20'idea'%3A%20'Goodfire%20and%20Mayo%20Clinic%20announced%20work%20on%20genomic%20model%20interpretation.'%2C%20'year6'%3A%20%22Ask%20who%20could%20check%20a%20scientific%20model's%20guess.%22%2C%20'year12'%3A%20'Separate%20exploratory%20biomarkers%2C%20external%20validation%20and%20clinical%20use.'%2C%20'limit'%3A%20'A%20collaboration%20announcement%20is%20not%20clinical%20validation.%20No%20pupil%20health%20data%20are%20used.'%2C%20'labs'%3A%20%5B'u6-fair-test'%2C%20'u12-audit'%5D%2C%20'paper'%3A%20None%2C%20'systemAndData'%3A%20'Genomic%20research%20collaboration'%2C%20'method'%3A%20'Describes%20planned%20interpretation%20of%20biological%20model%20representations%3B%20requires%20later%20independent%20scientific%20validation.'%2C%20'question'%3A%20'What%20evidence%20would%20support%20or%20challenge%20this%20idea%3A%20Goodfire%20and%20Mayo%20Clinic%20announced%20work%20on%20genomic%20model%20interpretation.'%2C%20'finding'%3A%20'Goodfire%20and%20Mayo%20Clinic%20announced%20work%20on%20genomic%20model%20interpretation.'%2C%20'year6Task'%3A%20%22Ask%20who%20could%20check%20a%20scientific%20model's%20guess.%20Use%20the%20linked%20notebook%20to%20make%20two%20observations.%20Draw%20or%20describe%20one%20result%20and%20one%20thing%20this%20activity%20cannot%20tell%20us%20about%20the%20source%20system.%22%2C%20'year12Task'%3A%20'Separate%20exploratory%20biomarkers%2C%20external%20validation%20and%20clinical%20use.%20Record%20the%20source%20model%2Ftask%2C%20a%20baseline%2C%20the%20changed%20factor%2C%20a%20measurement%20and%20an%20alternative%20explanation.%20State%20exactly%20which%20part%20your%20notebook%20investigates%20and%20which%20part%20it%20does%20not%20reproduce.'%2C%20'reviewed'%3A%20'2026-09-07'%2C%20'reproduction'%3A%20'Independent%20classroom%20adaptation%3B%20not%20a%20reproduction%20of%20the%20source%20model%20or%20complete%20method.'%7D%2C%20%7B'id'%3A%20'our-approach-to-safety'%2C%20'title'%3A%20'Our%20Approach%20to%20Safety%20at%20Goodfire'%2C%20'url'%3A%20'https%3A%2F%2Fwww.goodfire.com%2Fblog%2Four-approach-to-safety'%2C%20'kind'%3A%20'Perspective'%2C%20'date'%3A%20'Dec.%2023%2C%202024'%2C%20'idea'%3A%20'Goodfire%20describes%20moderation%2C%20access%20controls%20and%20research%20collaboration%20for%20its%20tools.'%2C%20'year6'%3A%20'Test%20a%20rule%20on%20both%20easy%20cases%20and%20awkward%20counterexamples.'%2C%20'year12'%3A%20%22Separate%20the%20tool's%20access%20policy%20from%20evidence%20about%20the%20underlying%20model's%20behaviour.%22%2C%20'limit'%3A%20'A%20stated%20safety%20process%20is%20not%20proof%20that%20all%20failure%20modes%20are%20covered.'%2C%20'labs'%3A%20%5B'u6-fair-test'%2C%20'u12-audit'%5D%2C%20'paper'%3A%20None%2C%20'systemAndData'%3A%20'Policies%20for%20interpretability%20tools'%2C%20'method'%3A%20'Describes%20moderation%2C%20feature%20access%20and%20research%20processes%3B%20organisational%20policy%20and%20model%20capability%20are%20separate%20claims.'%2C%20'question'%3A%20'What%20evidence%20would%20support%20or%20challenge%20this%20idea%3A%20Goodfire%20describes%20moderation%2C%20access%20controls%20and%20research%20collaboration%20for%20its%20tools.'%2C%20'finding'%3A%20'Goodfire%20describes%20moderation%2C%20access%20controls%20and%20research%20collaboration%20for%20its%20tools.'%2C%20'year6Task'%3A%20'Test%20a%20rule%20on%20both%20easy%20cases%20and%20awkward%20counterexamples.%20Use%20the%20linked%20notebook%20to%20make%20two%20observations.%20Draw%20or%20describe%20one%20result%20and%20one%20thing%20this%20activity%20cannot%20tell%20us%20about%20the%20source%20system.'%2C%20'year12Task'%3A%20%22Separate%20the%20tool's%20access%20policy%20from%20evidence%20about%20the%20underlying%20model's%20behaviour.%20Record%20the%20source%20model%2Ftask%2C%20a%20baseline%2C%20the%20changed%20factor%2C%20a%20measurement%20and%20an%20alternative%20explanation.%20State%20exactly%20which%20part%20your%20notebook%20investigates%20and%20which%20part%20it%20does%20not%20reproduce.%22%2C%20'reviewed'%3A%20'2026-09-07'%2C%20'reproduction'%3A%20'Independent%20classroom%20adaptation%3B%20not%20a%20reproduction%20of%20the%20source%20model%20or%20complete%20method.'%7D%2C%20%7B'id'%3A%20'radical-partnership-announcement'%2C%20'title'%3A%20'Partnering%20with%20Radical%20AI%20to%20Advance%20Materials%20Science%20With%20Interpretability'%2C%20'url'%3A%20'https%3A%2F%2Fwww.goodfire.com%2Fblog%2Fradical-partnership-announcement'%2C%20'kind'%3A%20'Announcement'%2C%20'date'%3A%20'July%2030%2C%202025'%2C%20'idea'%3A%20'A%20partnership%20proposes%20using%20interpretability%20for%20materials%20discovery.'%2C%20'year6'%3A%20'A%20promising%20suggestion%20still%20needs%20a%20real-world%20test.'%2C%20'year12'%3A%20'Separate%20a%20predicted%20material%20property%20from%20a%20measured%20property.'%2C%20'limit'%3A%20'The%20announcement%20is%20not%20a%20materials%20experiment%20or%20an%20LLM%20result.'%2C%20'labs'%3A%20%5B'u6-fair-test'%2C%20'u12-audit'%5D%2C%20'paper'%3A%20None%2C%20'systemAndData'%3A%20'Materials-discovery%20partnership'%2C%20'method'%3A%20'Announces%20collaboration%3B%20a%20predicted%20material%20must%20still%20be%20independently%20evaluated.'%2C%20'question'%3A%20'What%20evidence%20would%20support%20or%20challenge%20this%20idea%3A%20A%20partnership%20proposes%20using%20interpretability%20for%20materials%20discovery.'%2C%20'finding'%3A%20'A%20partnership%20proposes%20using%20interpretability%20for%20materials%20discovery.'%2C%20'year6Task'%3A%20'A%20promising%20suggestion%20still%20needs%20a%20real-world%20test.%20Use%20the%20linked%20notebook%20to%20make%20two%20observations.%20Draw%20or%20describe%20one%20result%20and%20one%20thing%20this%20activity%20cannot%20tell%20us%20about%20the%20source%20system.'%2C%20'year12Task'%3A%20'Separate%20a%20predicted%20material%20property%20from%20a%20measured%20property.%20Record%20the%20source%20model%2Ftask%2C%20a%20baseline%2C%20the%20changed%20factor%2C%20a%20measurement%20and%20an%20alternative%20explanation.%20State%20exactly%20which%20part%20your%20notebook%20investigates%20and%20which%20part%20it%20does%20not%20reproduce.'%2C%20'reviewed'%3A%20'2026-09-07'%2C%20'reproduction'%3A%20'Independent%20classroom%20adaptation%3B%20not%20a%20reproduction%20of%20the%20source%20model%20or%20complete%20method.'%7D%2C%20%7B'id'%3A%20'soc-2-type-ii'%2C%20'title'%3A%20'Announcing%20our%20SOC%202%20Type%20II%20Certification'%2C%20'url'%3A%20'https%3A%2F%2Fwww.goodfire.com%2Fblog%2Fsoc-2-type-ii'%2C%20'kind'%3A%20'Assurance%20report'%2C%20'date'%3A%20'May%2022%2C%202026'%2C%20'idea'%3A%20'Goodfire%20reports%20an%20audit%20of%20organisational%20security%20controls%20over%20a%20period%20of%20time.'%2C%20'year6'%3A%20'Sort%20a%20security%20claim%20from%20an%20answer-correctness%20claim.'%2C%20'year12'%3A%20'Match%20assurance%20evidence%20to%20the%20precise%20system%20and%20claim%20it%20covers.'%2C%20'limit'%3A%20'SOC%202%20is%20not%20a%20certificate%20of%20LLM%20truthfulness%20or%20absence%20of%20harmful%20behaviour.'%2C%20'labs'%3A%20%5B'u6-fair-test'%2C%20'u12-audit'%5D%2C%20'paper'%3A%20None%2C%20'systemAndData'%3A%20'Organisational%20security-control%20audit'%2C%20'method'%3A%20'Reports%20independent%20control%20assurance%20over%20an%20audit%20period%3B%20does%20not%20evaluate%20the%20truth%20of%20generated%20answers.'%2C%20'question'%3A%20'What%20evidence%20would%20support%20or%20challenge%20this%20idea%3A%20Goodfire%20reports%20an%20audit%20of%20organisational%20security%20controls%20over%20a%20period%20of%20time.'%2C%20'finding'%3A%20'Goodfire%20reports%20an%20audit%20of%20organisational%20security%20controls%20over%20a%20period%20of%20time.'%2C%20'year6Task'%3A%20'Sort%20a%20security%20claim%20from%20an%20answer-correctness%20claim.%20Use%20the%20linked%20notebook%20to%20make%20two%20observations.%20Draw%20or%20describe%20one%20result%20and%20one%20thing%20this%20activity%20cannot%20tell%20us%20about%20the%20source%20system.'%2C%20'year12Task'%3A%20'Match%20assurance%20evidence%20to%20the%20precise%20system%20and%20claim%20it%20covers.%20Record%20the%20source%20model%2Ftask%2C%20a%20baseline%2C%20the%20changed%20factor%2C%20a%20measurement%20and%20an%20alternative%20explanation.%20State%20exactly%20which%20part%20your%20notebook%20investigates%20and%20which%20part%20it%20does%20not%20reproduce.'%2C%20'reviewed'%3A%20'2026-09-07'%2C%20'reproduction'%3A%20'Independent%20classroom%20adaptation%3B%20not%20a%20reproduction%20of%20the%20source%20model%20or%20complete%20method.'%7D%2C%20%7B'id'%3A%20'you-and-your-research-agent'%2C%20'title'%3A%20'You%20and%20Your%20Research%20Agent%3A%20Lessons%20From%20Using%20Agents%20for%20Interpretability%20Research'%2C%20'url'%3A%20'https%3A%2F%2Fwww.goodfire.com%2Fblog%2Fyou-and-your-research-agent'%2C%20'kind'%3A%20'Engineering%20reflection'%2C%20'date'%3A%20'October%202%2C%202025'%2C%20'idea'%3A%20'Research%20agents%20can%20accelerate%20experiments%2C%20but%20supervision%20and%20validation%20become%20bottlenecks.'%2C%20'year6'%3A%20'Check%20whether%20a%20helper%20used%20the%20promised%20data%20and%20rules.'%2C%20'year12'%3A%20'Audit%20notebook%20state%2C%20generated%20code%2C%20shortcuts%20and%20result%20provenance.'%2C%20'limit'%3A%20'The%20shared%20task%20suite%20is%20described%20as%20directional%2C%20not%20a%20rigorously%20audited%20benchmark.'%2C%20'labs'%3A%20%5B'u6-fair-test'%2C%20'u12-audit'%5D%2C%20'paper'%3A%20None%2C%20'systemAndData'%3A%20'Scribe%20experiments%20on%20Evo%202%20and%20GPT-2%20examples'%2C%20'method'%3A%20'Reports%20agent-assisted%20research%20tasks%20and%20failure%20cases%3B%20provenance%20checks%20are%20needed%20when%20agents%20can%20shortcut%20work.'%2C%20'question'%3A%20'What%20evidence%20would%20support%20or%20challenge%20this%20idea%3A%20Research%20agents%20can%20accelerate%20experiments%2C%20but%20supervision%20and%20validation%20become%20bottlenecks.'%2C%20'finding'%3A%20'Research%20agents%20can%20accelerate%20experiments%2C%20but%20supervision%20and%20validation%20become%20bottlenecks.'%2C%20'year6Task'%3A%20'Check%20whether%20a%20helper%20used%20the%20promised%20data%20and%20rules.%20Use%20the%20linked%20notebook%20to%20make%20two%20observations.%20Draw%20or%20describe%20one%20result%20and%20one%20thing%20this%20activity%20cannot%20tell%20us%20about%20the%20source%20system.'%2C%20'year12Task'%3A%20'Audit%20notebook%20state%2C%20generated%20code%2C%20shortcuts%20and%20result%20provenance.%20Record%20the%20source%20model%2Ftask%2C%20a%20baseline%2C%20the%20changed%20factor%2C%20a%20measurement%20and%20an%20alternative%20explanation.%20State%20exactly%20which%20part%20your%20notebook%20investigates%20and%20which%20part%20it%20does%20not%20reproduce.'%2C%20'reviewed'%3A%20'2026-09-07'%2C%20'reproduction'%3A%20'Independent%20classroom%20adaptation%3B%20not%20a%20reproduction%20of%20the%20source%20model%20or%20complete%20method.'%7D%2C%20%7B'id'%3A%20'evee-explaining-genetic-variants'%2C%20'title'%3A%20'Explaining%204.2%20million%20genetic%20variants%20with%20state-of-the-art%2C%20interpretable%20predictions'%2C%20'url'%3A%20'https%3A%2F%2Fwww.goodfire.com%2Fresearch%2Fevee-explaining-genetic-variants'%2C%20'kind'%3A%20'Genomic%20research'%2C%20'date'%3A%20None%2C%20'idea'%3A%20'Evo%202%20representations%20support%20variant-effect%20predictions%20and%20evidence-grounded%20generated%20explanations.'%2C%20'year6'%3A%20%22Separate%20a%20model's%20prediction%20from%20a%20scientist's%20confirmed%20explanation.%22%2C%20'year12'%3A%20'Ask%20which%20independent%20labels%20and%20experiments%20validate%20a%20representation-based%20prediction.'%2C%20'limit'%3A%20'Genomic%20predictions%20are%20hypotheses%2C%20not%20clinical%20conclusions.%20The%20linked%20preprint%20abstract%20and%20Goodfire%20report%20were%20reviewed%3B%20full%20preprint%20text%20was%20unavailable.'%2C%20'labs'%3A%20%5B'u6-fair-test'%2C%20'u12-probes'%5D%2C%20'paper'%3A%20%7B'url'%3A%20'https%3A%2F%2Fwww.biorxiv.org%2Fcontent%2F10.64898%2F2026.04.10.717844'%2C%20'title'%3A%20'Interpretable%20variant%20effect%20prediction%20from%20genomic%20foundation%20model%20representations%20%7C%20bioRxiv'%7D%2C%20'systemAndData'%3A%20'Evo%202%20embeddings%20and%20labelled%20genetic%20variants'%2C%20'method'%3A%20'Fits%20variant-effect%20predictors%20and%20constructs%20evidence-based%20mechanistic%20hypotheses%3B%20abstract%20and%20research%20report%20were%20available%20for%20review.'%2C%20'question'%3A%20'What%20evidence%20would%20support%20or%20challenge%20this%20idea%3A%20Evo%202%20representations%20support%20variant-effect%20predictions%20and%20evidence-grounded%20generated%20explanations.'%2C%20'finding'%3A%20'Evo%202%20representations%20support%20variant-effect%20predictions%20and%20evidence-grounded%20generated%20explanations.'%2C%20'year6Task'%3A%20%22Separate%20a%20model's%20prediction%20from%20a%20scientist's%20confirmed%20explanation.%20Use%20the%20linked%20notebook%20to%20make%20two%20observations.%20Draw%20or%20describe%20one%20result%20and%20one%20thing%20this%20activity%20cannot%20tell%20us%20about%20the%20source%20system.%22%2C%20'year12Task'%3A%20'Ask%20which%20independent%20labels%20and%20experiments%20validate%20a%20representation-based%20prediction.%20Record%20the%20source%20model%2Ftask%2C%20a%20baseline%2C%20the%20changed%20factor%2C%20a%20measurement%20and%20an%20alternative%20explanation.%20State%20exactly%20which%20part%20your%20notebook%20investigates%20and%20which%20part%20it%20does%20not%20reproduce.'%2C%20'reviewed'%3A%20'2026-09-07'%2C%20'reproduction'%3A%20'Independent%20classroom%20adaptation%3B%20not%20a%20reproduction%20of%20the%20source%20model%20or%20complete%20method.'%7D%2C%20%7B'id'%3A%20'interpretability-for-alzheimers-detection'%2C%20'title'%3A%20%22Using%20Interpretability%20to%20Identify%20a%20Novel%20Class%20of%20Alzheimer's%20Biomarkers%22%2C%20'url'%3A%20'https%3A%2F%2Fwww.goodfire.com%2Fresearch%2Finterpretability-for-alzheimers-detection'%2C%20'kind'%3A%20'Genomic%20research'%2C%20'date'%3A%20'January%2028%2C%202026'%2C%20'idea'%3A%20'Interpretability%20helped%20identify%20candidate%20fragment-length%20signals%20for%20a%20biomarker%20classifier.'%2C%20'year6'%3A%20'An%20interesting%20clue%20needs%20a%20separate%20checking%20set.'%2C%20'year12'%3A%20'Distinguish%20exploratory%20feature%20discovery%20from%20independent%20cohort%20evaluation%20and%20uncertainty.'%2C%20'limit'%3A%20'This%20is%20a%20small-cohort%20biomedical%20study%2C%20not%20a%20diagnostic%20classroom%20tool%20or%20an%20LLM%20result.'%2C%20'labs'%3A%20%5B'u6-fair-test'%2C%20'u12-probes'%5D%2C%20'paper'%3A%20None%2C%20'systemAndData'%3A%20'Pleiades%20and%20cell-free%20DNA%20pilot%20cohorts'%2C%20'method'%3A%20'Uses%20model%20interpretation%20to%20propose%20fragment-length%20signals%2C%20then%20tests%20a%20simpler%20classifier%20on%20an%20independent%20cohort%20with%20uncertainty%20intervals.'%2C%20'question'%3A%20'What%20evidence%20would%20support%20or%20challenge%20this%20idea%3A%20Interpretability%20helped%20identify%20candidate%20fragment-length%20signals%20for%20a%20biomarker%20classifier.'%2C%20'finding'%3A%20'Interpretability%20helped%20identify%20candidate%20fragment-length%20signals%20for%20a%20biomarker%20classifier.'%2C%20'year6Task'%3A%20'An%20interesting%20clue%20needs%20a%20separate%20checking%20set.%20Use%20the%20linked%20notebook%20to%20make%20two%20observations.%20Draw%20or%20describe%20one%20result%20and%20one%20thing%20this%20activity%20cannot%20tell%20us%20about%20the%20source%20system.'%2C%20'year12Task'%3A%20'Distinguish%20exploratory%20feature%20discovery%20from%20independent%20cohort%20evaluation%20and%20uncertainty.%20Record%20the%20source%20model%2Ftask%2C%20a%20baseline%2C%20the%20changed%20factor%2C%20a%20measurement%20and%20an%20alternative%20explanation.%20State%20exactly%20which%20part%20your%20notebook%20investigates%20and%20which%20part%20it%20does%20not%20reproduce.'%2C%20'reviewed'%3A%20'2026-09-07'%2C%20'reproduction'%3A%20'Independent%20classroom%20adaptation%3B%20not%20a%20reproduction%20of%20the%20source%20model%20or%20complete%20method.'%7D%2C%20%7B'id'%3A%20'logits-as-a-new-monitor-for-evaluation-awareness'%2C%20'title'%3A%20'Logits%20as%20a%20new%20monitor%20for%20evaluation%20awareness'%2C%20'url'%3A%20'https%3A%2F%2Fwww.goodfire.com%2Fresearch%2Flogits-as-a-new-monitor-for-evaluation-awareness'%2C%20'kind'%3A%20'LLM%20research'%2C%20'date'%3A%20None%2C%20'idea'%3A%20'The%20probability%20of%20a%20selected%20phrase%20can%20provide%20a%20low-cost%20signal%20of%20evaluation%20awareness.'%2C%20'year6'%3A%20'A%20clue%20can%20raise%20suspicion%20without%20proving%20why%20a%20character%20acted.'%2C%20'year12'%3A%20'Distinguish%20monitor%20discrimination%2C%20calibration%20and%20a%20causal%20claim%20about%20awareness.'%2C%20'limit'%3A%20'Phrase%20choice%20and%20prompt%20framing%20matter.%20High%20AUROC%20does%20not%20establish%20intent%20or%20universal%20reliability.'%2C%20'labs'%3A%20%5B'u6-fair-test'%2C%20'u12-audit'%5D%2C%20'paper'%3A%20%7B'url'%3A%20'https%3A%2F%2Fwww.lesswrong.com%2Fposts%2FPK7ZvFZxrgpYtrpF4%2Flogits-as-a-new-monitor-for-evaluation-awareness-1'%2C%20'title'%3A%20'Linked%20primary%20research'%7D%2C%20'systemAndData'%3A%20'Kimi%20K2.5%20and%20Qwen3-32B%3B%20Fortress%2FPetri%20evaluation%20settings%20compared%20with%20WildChat%20conversations'%2C%20'method'%3A%20'At%20sentence%20boundaries%2C%20scores%20a%20prespecified%20evaluation-awareness%20phrase%20from%20token%20probabilities%20and%20compares%20the%20monitor%20with%20explicit%20verbalisation%20and%20judge-based%20monitoring.%20Reported%20rollout%20savings%20are%20specific%20to%20these%20experiments%3B%20the%20score%20is%20a%20proxy%20for%20awareness%2C%20not%20a%20direct%20mental-state%20measurement.'%2C%20'question'%3A%20'What%20evidence%20would%20support%20or%20challenge%20this%20idea%3A%20The%20probability%20of%20a%20selected%20phrase%20can%20provide%20a%20low-cost%20signal%20of%20evaluation%20awareness.'%2C%20'finding'%3A%20'The%20probability%20of%20a%20selected%20phrase%20can%20provide%20a%20low-cost%20signal%20of%20evaluation%20awareness.'%2C%20'year6Task'%3A%20'A%20clue%20can%20raise%20suspicion%20without%20proving%20why%20a%20character%20acted.%20Use%20the%20linked%20notebook%20to%20make%20two%20observations.%20Draw%20or%20describe%20one%20result%20and%20one%20thing%20this%20activity%20cannot%20tell%20us%20about%20the%20source%20system.'%2C%20'year12Task'%3A%20'Distinguish%20monitor%20discrimination%2C%20calibration%20and%20a%20causal%20claim%20about%20awareness.%20Record%20the%20source%20model%2Ftask%2C%20a%20baseline%2C%20the%20changed%20factor%2C%20a%20measurement%20and%20an%20alternative%20explanation.%20State%20exactly%20which%20part%20your%20notebook%20investigates%20and%20which%20part%20it%20does%20not%20reproduce.'%2C%20'reviewed'%3A%20'2026-09-07'%2C%20'reproduction'%3A%20'Independent%20classroom%20adaptation%3B%20not%20a%20reproduction%20of%20the%20source%20model%20or%20complete%20method.'%7D%2C%20%7B'id'%3A%20'predicting-rare-llm-failures-with-30x-fewer-rollouts'%2C%20'title'%3A%20'Predicting%20Rare%20LLM%20Failures%20with%2030%C3%97%20Fewer%20Rollouts'%2C%20'url'%3A%20'https%3A%2F%2Fwww.goodfire.com%2Fresearch%2Fpredicting-rare-llm-failures-with-30x-fewer-rollouts'%2C%20'kind'%3A%20'LLM%20research'%2C%20'date'%3A%20None%2C%20'idea'%3A%20'Logit%20Path%20Extrapolation%20estimates%20rare%20failures%20using%20a%20related%20model%20and%20an%20empirical%20trend.'%2C%20'year6'%3A%20'Seeing%20no%20mistakes%20in%20a%20small%20sample%20does%20not%20prove%20there%20are%20none.'%2C%20'year12'%3A%20'Study%20sampling%20intervals%20and%20distinguish%20extrapolation%20assumptions%20from%20directly%20observed%20failures.'%2C%20'limit'%3A%20%22The%20reported%20efficiency%20is%20setting-dependent.%20Our%20binomial%20experiment%20explains%20uncertainty%3B%20it%20does%20not%20implement%20the%20paper's%20extrapolation%20method.%22%2C%20'labs'%3A%20%5B'u6-fair-test'%2C%20'u12-audit'%5D%2C%20'paper'%3A%20%7B'url'%3A%20'https%3A%2F%2Fwww.lesswrong.com%2Fposts%2FCempXdo6cx5yseRLt%2Fpredicting-rare-llm-failures-with-30-fewer-rollouts'%2C%20'title'%3A%20'Linked%20primary%20research'%7D%2C%20'systemAndData'%3A%20'Qwen3-4B%20and%20an%20abliterated%20variant%20on%20HarmBench%2C%20with%20a%20100%2C000-rollout%20reference'%2C%20'method'%3A%20'Interpolates%20the%20paired%20models%20in%20logit%20space%2C%20measures%20compliance%20along%20the%20path%2C%20fits%20an%20empirical%20log-linear%20trend%20below%2050%25%20compliance%20and%20extrapolates%20to%20the%20original%20model.%20Requires%20a%20related%20variant%20and%20a%20suitable%20trend%3B%20the%20classroom%20Wilson%20interval%20uses%20a%20different%2C%20direct-sampling%20method.'%2C%20'question'%3A%20'What%20evidence%20would%20support%20or%20challenge%20this%20idea%3A%20Logit%20Path%20Extrapolation%20estimates%20rare%20failures%20using%20a%20related%20model%20and%20an%20empirical%20trend.'%2C%20'finding'%3A%20'Logit%20Path%20Extrapolation%20estimates%20rare%20failures%20using%20a%20related%20model%20and%20an%20empirical%20trend.'%2C%20'year6Task'%3A%20'Seeing%20no%20mistakes%20in%20a%20small%20sample%20does%20not%20prove%20there%20are%20none.%20Use%20the%20linked%20notebook%20to%20make%20two%20observations.%20Draw%20or%20describe%20one%20result%20and%20one%20thing%20this%20activity%20cannot%20tell%20us%20about%20the%20source%20system.'%2C%20'year12Task'%3A%20'Study%20sampling%20intervals%20and%20distinguish%20extrapolation%20assumptions%20from%20directly%20observed%20failures.%20Record%20the%20source%20model%2Ftask%2C%20a%20baseline%2C%20the%20changed%20factor%2C%20a%20measurement%20and%20an%20alternative%20explanation.%20State%20exactly%20which%20part%20your%20notebook%20investigates%20and%20which%20part%20it%20does%20not%20reproduce.'%2C%20'reviewed'%3A%20'2026-09-07'%2C%20'reproduction'%3A%20'Independent%20classroom%20adaptation%3B%20not%20a%20reproduction%20of%20the%20source%20model%20or%20complete%20method.'%7D%2C%20%7B'id'%3A%20'rakuten-sae-probes-for-pii-detection'%2C%20'title'%3A%20'Deploying%20Interpretability%20to%20Production%20with%20Rakuten%3A%20SAE%20Probes%20for%20PII%20Detection'%2C%20'url'%3A%20'https%3A%2F%2Fwww.goodfire.com%2Fresearch%2Frakuten-sae-probes-for-pii-detection'%2C%20'kind'%3A%20'LLM%20application'%2C%20'date'%3A%20'October%2028%2C%202025'%2C%20'idea'%3A%20'SAE-based%20probes%20helped%20detect%20personal%20information%20under%20noisy%20and%20shifted%20text%20conditions.'%2C%20'year6'%3A%20'A%20clue%20detector%20needs%20both%20matching%20examples%20and%20tricky%20non-matches.'%2C%20'year12'%3A%20'Compare%20training%20and%20shifted%20test%20distributions%2C%20thresholds%20and%20error%20types.'%2C%20'limit'%3A%20'Results%20depend%20on%20data%20and%20baselines%3B%20SAEs%20are%20not%20always%20superior.%20Classroom%20fixtures%20contain%20no%20real%20personal%20information.'%2C%20'labs'%3A%20%5B'u6-fair-test'%2C%20'u12-probes'%5D%2C%20'paper'%3A%20None%2C%20'systemAndData'%3A%20'Llama%203.1%208B%20sidecar%2C%20English%2FJapanese%20synthetic%20training%20and%20real%20production%20tests'%2C%20'method'%3A%20'Compares%20activation%2C%20attention%20and%20frozen-SAE%20probes%20for%20token-level%20PII%20detection%20across%20synthetic-to-real%20shift%2C%20label%20noise%20and%20language%20settings.'%2C%20'question'%3A%20'What%20evidence%20would%20support%20or%20challenge%20this%20idea%3A%20SAE-based%20probes%20helped%20detect%20personal%20information%20under%20noisy%20and%20shifted%20text%20conditions.'%2C%20'finding'%3A%20'SAE-based%20probes%20helped%20detect%20personal%20information%20under%20noisy%20and%20shifted%20text%20conditions.'%2C%20'year6Task'%3A%20'A%20clue%20detector%20needs%20both%20matching%20examples%20and%20tricky%20non-matches.%20Use%20the%20linked%20notebook%20to%20make%20two%20observations.%20Draw%20or%20describe%20one%20result%20and%20one%20thing%20this%20activity%20cannot%20tell%20us%20about%20the%20source%20system.'%2C%20'year12Task'%3A%20'Compare%20training%20and%20shifted%20test%20distributions%2C%20thresholds%20and%20error%20types.%20Record%20the%20source%20model%2Ftask%2C%20a%20baseline%2C%20the%20changed%20factor%2C%20a%20measurement%20and%20an%20alternative%20explanation.%20State%20exactly%20which%20part%20your%20notebook%20investigates%20and%20which%20part%20it%20does%20not%20reproduce.'%2C%20'reviewed'%3A%20'2026-09-07'%2C%20'reproduction'%3A%20'Independent%20classroom%20adaptation%3B%20not%20a%20reproduction%20of%20the%20source%20model%20or%20complete%20method.'%7D%2C%20%7B'id'%3A%20'rlfr'%2C%20'title'%3A%20'Features%20as%20Rewards%3A%20Using%20Interpretability%20to%20Reduce%20Hallucinations'%2C%20'url'%3A%20'https%3A%2F%2Fwww.goodfire.com%2Fresearch%2Frlfr'%2C%20'kind'%3A%20'LLM%20research'%2C%20'date'%3A%20'February%2011%2C%202026'%2C%20'idea'%3A%20'Frozen-model%20feature%20probes%20supplied%20rewards%20in%20a%20combined%20hallucination-reduction%20approach.'%2C%20'year6'%3A%20'A%20reward%20can%20encourage%20a%20shortcut%20if%20it%20checks%20the%20wrong%20thing.'%2C%20'year12'%3A%20'Vary%20best-of-N%20selection%20under%20an%20imperfect%20reward%20and%20test%20against%20independent%20truth%20labels.'%2C%20'limit'%3A%20'The%20paper%20combines%20methods%3B%20its%20headline%20reduction%20is%20not%20attributable%20to%20feature%20rewards%20alone.%20Our%20reward%20pool%20is%20synthetic.'%2C%20'labs'%3A%20%5B'u6-fair-test'%2C%20'u12-audit'%5D%2C%20'paper'%3A%20%7B'url'%3A%20'https%3A%2F%2Farxiv.org%2Fhtml%2F2602.10067'%2C%20'title'%3A%20'Features%20as%20Rewards%3A%20Scalable%20Supervision%20forOpen-Ended%20Tasks%20via%20Interpretability'%7D%2C%20'systemAndData'%3A%20'Gemma-3-12B-IT%20and%20LongFact%2B%2B%20with%20999%20held-out%20prompts'%2C%20'method'%3A%20'Trains%20factuality%2Fcorrection%20probes%20and%20uses%20a%20frozen%20model%20for%20rewards%3B%20compares%20RL%2C%20inline%20intervention%20and%20best-of-N%20contributions%20with%20independent%20labels.'%2C%20'question'%3A%20'What%20evidence%20would%20support%20or%20challenge%20this%20idea%3A%20Frozen-model%20feature%20probes%20supplied%20rewards%20in%20a%20combined%20hallucination-reduction%20approach.'%2C%20'finding'%3A%20'Frozen-model%20feature%20probes%20supplied%20rewards%20in%20a%20combined%20hallucination-reduction%20approach.'%2C%20'year6Task'%3A%20'A%20reward%20can%20encourage%20a%20shortcut%20if%20it%20checks%20the%20wrong%20thing.%20Use%20the%20linked%20notebook%20to%20make%20two%20observations.%20Draw%20or%20describe%20one%20result%20and%20one%20thing%20this%20activity%20cannot%20tell%20us%20about%20the%20source%20system.'%2C%20'year12Task'%3A%20'Vary%20best-of-N%20selection%20under%20an%20imperfect%20reward%20and%20test%20against%20independent%20truth%20labels.%20Record%20the%20source%20model%2Ftask%2C%20a%20baseline%2C%20the%20changed%20factor%2C%20a%20measurement%20and%20an%20alternative%20explanation.%20State%20exactly%20which%20part%20your%20notebook%20investigates%20and%20which%20part%20it%20does%20not%20reproduce.'%2C%20'reviewed'%3A%20'2026-09-07'%2C%20'reproduction'%3A%20'Independent%20classroom%20adaptation%3B%20not%20a%20reproduction%20of%20the%20source%20model%20or%20complete%20method.'%7D%2C%20%7B'id'%3A%20'self-correcting-search'%2C%20'title'%3A%20'Using%20Self-Correcting%20Search%20to%20Accelerate%20Materials%20Discovery'%2C%20'url'%3A%20'https%3A%2F%2Fwww.goodfire.com%2Fresearch%2Fself-correcting-search'%2C%20'kind'%3A%20'Materials%20research'%2C%20'date'%3A%20'April%201%2C%202026'%2C%20'idea'%3A%20'An%20internal%20property%20probe%20guides%20accept%2Freject%20decisions%20during%20generated-material%20search.'%2C%20'year6'%3A%20'The%20best-scoring%20suggestion%20still%20needs%20an%20independent%20check.'%2C%20'year12'%3A%20'Examine%20selection%20pressure%2C%20proxy%20errors%20and%20external%20property%20validation.'%2C%20'limit'%3A%20%22A%20model's%20predicted%20material%20property%20is%20not%20a%20physical%20measurement%3B%20this%20is%20not%20text-LLM%20research.%22%2C%20'labs'%3A%20%5B'u6-fair-test'%2C%20'u12-audit'%5D%2C%20'paper'%3A%20None%2C%20'systemAndData'%3A%20'Band-gap-conditioned%20MatterGen%20diffusion'%2C%20'method'%3A%20'Uses%20an%20activation%20probe%20to%20accept%20or%20reject%20proposed%20denoising%20steps%20and%20evaluates%20targeting%2C%20stability%2C%20uniqueness%20and%20novelty.'%2C%20'question'%3A%20'What%20evidence%20would%20support%20or%20challenge%20this%20idea%3A%20An%20internal%20property%20probe%20guides%20accept%2Freject%20decisions%20during%20generated-material%20search.'%2C%20'finding'%3A%20'An%20internal%20property%20probe%20guides%20accept%2Freject%20decisions%20during%20generated-material%20search.'%2C%20'year6Task'%3A%20'The%20best-scoring%20suggestion%20still%20needs%20an%20independent%20check.%20Use%20the%20linked%20notebook%20to%20make%20two%20observations.%20Draw%20or%20describe%20one%20result%20and%20one%20thing%20this%20activity%20cannot%20tell%20us%20about%20the%20source%20system.'%2C%20'year12Task'%3A%20'Examine%20selection%20pressure%2C%20proxy%20errors%20and%20external%20property%20validation.%20Record%20the%20source%20model%2Ftask%2C%20a%20baseline%2C%20the%20changed%20factor%2C%20a%20measurement%20and%20an%20alternative%20explanation.%20State%20exactly%20which%20part%20your%20notebook%20investigates%20and%20which%20part%20it%20does%20not%20reproduce.'%2C%20'reviewed'%3A%20'2026-09-07'%2C%20'reproduction'%3A%20'Independent%20classroom%20adaptation%3B%20not%20a%20reproduction%20of%20the%20source%20model%20or%20complete%20method.'%7D%2C%20%7B'id'%3A%20'verbalized-eval-awareness-inflates-measured-safety'%2C%20'title'%3A%20'Verbalized%20Eval%20Awareness%20Inflates%20Measured%20Safety'%2C%20'url'%3A%20'https%3A%2F%2Fwww.goodfire.com%2Fresearch%2Fverbalized-eval-awareness-inflates-measured-safety'%2C%20'kind'%3A%20'LLM%20research'%2C%20'date'%3A%20'May%204%2C%202026'%2C%20'idea'%3A%20'Mentioning%20an%20evaluation%20is%20associated%20with%20different%20measured%20behaviour%3B%20selected%20interventions%20support%20causal%20effects.'%2C%20'year6'%3A%20%22Keep%20the%20task%20the%20same%20and%20change%20only%20the%20'this%20is%20a%20test'%20cue.%22%2C%20'year12'%3A%20'Use%20matched%20conditions%2C%20independent%20labels%20and%20explicit%20limits%20on%20causal%20claims.'%2C%20'limit'%3A%20'Correlations%20span%20more%20models%20than%20the%20causal%20intervention%20study.%20Silence%20about%20a%20test%20does%20not%20prove%20absence%20of%20awareness.'%2C%20'labs'%3A%20%5B'u6-fair-test'%2C%20'u12-audit'%5D%2C%20'paper'%3A%20None%2C%20'systemAndData'%3A%20'Eight%20models%2C%20nineteen%20benchmarks%3B%20causal%20work%20on%20Kimi%20K2.5%2FFortress'%2C%20'method'%3A%20'Manually%20verifies%20verbalised%20awareness%2C%20compares%20matched%20cues%20and%20performs%20interventions%3B%20broad%20correlations%20and%20narrower%20causal%20evidence%20have%20different%20scope.'%2C%20'question'%3A%20'What%20evidence%20would%20support%20or%20challenge%20this%20idea%3A%20Mentioning%20an%20evaluation%20is%20associated%20with%20different%20measured%20behaviour%3B%20selected%20interventions%20support%20causal%20effects.'%2C%20'finding'%3A%20'Mentioning%20an%20evaluation%20is%20associated%20with%20different%20measured%20behaviour%3B%20selected%20interventions%20support%20causal%20effects.'%2C%20'year6Task'%3A%20%22Keep%20the%20task%20the%20same%20and%20change%20only%20the%20'this%20is%20a%20test'%20cue.%20Use%20the%20linked%20notebook%20to%20make%20two%20observations.%20Draw%20or%20describe%20one%20result%20and%20one%20thing%20this%20activity%20cannot%20tell%20us%20about%20the%20source%20system.%22%2C%20'year12Task'%3A%20'Use%20matched%20conditions%2C%20independent%20labels%20and%20explicit%20limits%20on%20causal%20claims.%20Record%20the%20source%20model%2Ftask%2C%20a%20baseline%2C%20the%20changed%20factor%2C%20a%20measurement%20and%20an%20alternative%20explanation.%20State%20exactly%20which%20part%20your%20notebook%20investigates%20and%20which%20part%20it%20does%20not%20reproduce.'%2C%20'reviewed'%3A%20'2026-09-07'%2C%20'reproduction'%3A%20'Independent%20classroom%20adaptation%3B%20not%20a%20reproduction%20of%20the%20source%20model%20or%20complete%20method.'%7D%5D%0A%20%20%20%20return%20config%2C%20sources%0A%0A%0A%40app.cell%0Adef%20_(config%2C%20mo)%3A%0A%20%20%20%20mo.md(f%22%23%20%7Bconfig%5B'title'%5D%7D%5Cn%5Cn**Year%20%7Bconfig%5B'year'%5D%7D%20%C2%B7%20%7Bconfig%5B'minutes'%5D%7D%20minutes%20%C2%B7%20%7Bconfig%5B'method'%5D%7D**%5Cn%5Cn%23%23%20%7Bconfig%5B'question'%5D%7D%5Cn%5Cn%7Bconfig%5B'intro'%5D%7D%5Cn%5Cn**Your%20mission%3A**%20predict%2C%20change%20one%20control%2C%20compare%20evidence%2C%20then%20find%20a%20counterexample.%20All%20personal%20stories%20and%20classroom%20data%20are%20fictional.%20Python%20runs%20in%20your%20browser%3B%20first%20load%20needs%20an%20internet%20connection%20for%20the%20runtime.%20Download%20your%20work%20before%20leaving.%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20project_file%20%3D%20mo.ui.file(filetypes%3D%5B'.json'%5D%2C%20multiple%3DFalse%2C%20max_size%3D2000000%2C%20label%3D'Open%20a%20saved%20Brightlab%20notebook%20project')%0A%20%20%20%20mo.vstack(%5Bmo.md('**Keep%20your%20work%3A**%20download%20a%20project%20before%20leaving.%20Reopen%20it%20here%20to%20restore%20settings%2C%20comparisons%20and%20writing.%20Files%20are%20read%20inside%20this%20notebook%3B%20use%20fictional%20classroom%20data.')%2Cproject_file%5D)%0A%20%20%20%20return%20(project_file%2C)%0A%0A%0A%40app.cell%0Adef%20_(config%2C%20json%2C%20mo%2C%20project_file)%3A%0A%20%20%20%20restored%20%3D%20%7B%7D%0A%20%20%20%20if%20project_file.contents()%3A%0A%20%20%20%20%20%20%20%20try%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_candidate%20%3D%20json.loads(project_file.contents().decode('utf-8'))%0A%20%20%20%20%20%20%20%20%20%20%20%20def%20_tree(value%2Cdepth%3D0)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20depth%3E16%3Araise%20ValueError('Project%20nesting%20is%20too%20deep.')%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20isinstance(value%2Cdict)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20len(value)%3E100%3Araise%20ValueError('Too%20many%20object%20fields.')%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20for%20child%20in%20value.values()%3A_tree(child%2Cdepth%2B1)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20elif%20isinstance(value%2Clist)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20len(value)%3E20000%3Araise%20ValueError('Too%20many%20rows.')%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20for%20child%20in%20value%3A_tree(child%2Cdepth%2B1)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20elif%20isinstance(value%2Cfloat)%20and%20not%20(-1e100%3Cvalue%3C1e100)%3Araise%20ValueError('Project%20contains%20a%20non-finite%20or%20excessive%20number.')%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20elif%20isinstance(value%2Cstr)%20and%20len(value)%3E200000%3Araise%20ValueError('Project%20text%20is%20too%20long.')%0A%20%20%20%20%20%20%20%20%20%20%20%20_tree(_candidate)%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20not%20isinstance(_candidate%2Cdict)%20or%20_candidate.get('version')!%3D1%3Araise%20ValueError('Choose%20a%20supported%20version%201%20notebook%20project.')%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20_candidate.get('format')%20!%3D%20'brightlab-notebook-project'%20or%20_candidate.get('lesson')%20!%3D%20config.get('id'%2Cconfig.get('lesson_id'))%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20raise%20ValueError('Choose%20a%20project%20for%20this%20notebook.')%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20not%20isinstance(_candidate.get('settings')%2Cdict)%20or%20not%20isinstance(_candidate.get('prediction')%2Cstr)%20or%20not%20isinstance(_candidate.get('saved_runs'%2C%5B%5D)%2Clist)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20raise%20ValueError('The%20project%20is%20missing%20its%20settings%2C%20prediction%20or%20comparison%20list.')%0A%20%20%20%20%20%20%20%20%20%20%20%20for%20_spec%20in%20config%5B'controls'%5D%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_value%3D_candidate%5B'settings'%5D.get(_spec%5B'key'%5D%2C_spec%5B'default'%5D)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20_spec%5B'kind'%5D%3D%3D'slider'%20and%20(type(_value)%20not%20in%20%5Bint%2Cfloat%5D%20or%20not%20_spec%5B'min'%5D%3C%3D_value%3C%3D_spec%5B'max'%5D)%3Araise%20ValueError('A%20saved%20slider%20is%20outside%20its%20allowed%20range.')%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20_spec%5B'kind'%5D%3D%3D'choice'%20and%20(type(_value)%20is%20not%20int%20or%20not%200%3C%3D_value%3Clen(_spec%5B'options'%5D))%3Araise%20ValueError('A%20saved%20choice%20is%20invalid.')%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20_spec%5B'kind'%5D%3D%3D'text'%20and%20(not%20isinstance(_value%2Cstr)%20or%20len(_value)%3E1000)%3Araise%20ValueError('A%20saved%20text%20control%20is%20invalid.')%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20not%20isinstance(_candidate.get('conclusion'%2C'')%2Cstr)%20or%20len(_candidate.get('saved_runs'%2C%5B%5D))%3E6%3Araise%20ValueError('Invalid%20writing%20or%20comparison%20count.')%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20len(_candidate.get('prediction'%2C''))%3E10000%20or%20not%20isinstance(_candidate.get('conclusion'%2C'')%2Cstr)%20or%20len(_candidate.get('conclusion'%2C''))%3E20000%3Araise%20ValueError('Invalid%20writing%20in%20the%20saved%20project.')%0A%20%20%20%20%20%20%20%20%20%20%20%20_runs%3D_candidate.get('saved_runs'%2C%5B%5D)%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20len(_runs)%3E6%3Araise%20ValueError('A%20project%20may%20contain%20up%20to%20six%20comparisons.')%0A%20%20%20%20%20%20%20%20%20%20%20%20for%20_run%20in%20_runs%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20not%20isinstance(_run%2Cdict)%20or%20not%20isinstance(_run.get('settings')%2Cdict)%3Araise%20ValueError('Invalid%20saved%20comparison.')%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_rows%3D_run.get('measurements'%2C_run.get('result'%2C%7B%7D).get('rows')%20if%20isinstance(_run.get('result')%2Cdict)%20else%20None)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20not%20isinstance(_rows%2Clist)%20or%20not%20all(isinstance(row%2Cdict)%20for%20row%20in%20_rows)%3Araise%20ValueError('A%20saved%20comparison%20needs%20a%20measurement%20table.')%0A%20%20%20%20%20%20%20%20%20%20%20%20restored%20%3D%20_candidate%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.output.replace(mo.md('Project%20read.%20Save%20the%20restored%20prediction%20to%20continue%20your%20investigation.'))%0A%20%20%20%20%20%20%20%20except%20(ValueError%2CTypeError%2CUnicodeError%2CKeyError%2CAttributeError)%20as%20_error%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.output.replace(mo.callout(mo.md('Could%20not%20open%20this%20project%3A%20'%2Bstr(_error))%2Ckind%3D'warn'))%0A%20%20%20%20return%20(restored%2C)%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20reset_controls%20%3D%20mo.ui.button(value%3D0%2Con_click%3Dlambda%20count%3Acount%2B1%2Clabel%3D'Reset%20controls%20to%20starting%20settings')%0A%20%20%20%20return%20(reset_controls%2C)%0A%0A%0A%40app.cell%0Adef%20_(config%2C%20mo%2C%20restored)%3A%0A%20%20%20%20prediction%20%3D%20mo.ui.text_area(value%3Drestored.get(%22prediction%22%2C%22%22)%2Clabel%3D%22My%20prediction%20%E2%80%94%20what%20will%20change%2C%20and%20why%3F%22%2C%20placeholder%3Dconfig%5B'prediction'%5D%2C%20full_width%3DTrue).form(submit_button_label%3D'Save%20prediction%20%26%20open%20the%20lab'%2C%20clear_on_submit%3DFalse%2C%20validate%3Dlambda%20value%3A%20None%20if%20value%20and%20len(value.strip())%3E%3D3%20else%20'Write%20a%20short%20prediction%2C%20or%20ask%20a%20partner%20to%20record%20your%20spoken%20idea.')%0A%20%20%20%20mo.vstack(%5Bmo.md('%23%23%201.%20Make%20a%20prediction%5Cn'%2Bconfig%5B'prediction'%5D)%2Cprediction%5D)%0A%20%20%20%20return%20(prediction%2C)%0A%0A%0A%40app.cell%0Adef%20_(config%2C%20mo%2C%20prediction%2C%20reset_controls%2C%20restored)%3A%0A%20%20%20%20mo.stop(prediction.value%20is%20None%2Cmo.md('**The%20experiment%20opens%20after%20you%20save%20a%20prediction.**%20There%20is%20no%20penalty%20for%20being%20surprised.'))%0A%20%20%20%20_reset%3Dreset_controls.value%0A%20%20%20%20_saved%3Drestored.get('settings'%2C%7B%7D)%20if%20not%20_reset%20else%20%7B%7D%0A%20%20%20%20controls%20%3D%20mo.ui.dictionary(%7Bs%5B'key'%5D%3A(mo.ui.slider(start%3Ds%5B'min'%5D%2Cstop%3Ds%5B'max'%5D%2Cstep%3Ds%5B'step'%5D%2Cvalue%3D_saved.get(s%5B'key'%5D%2Cs%5B'default'%5D)%2Clabel%3Ds%5B'label'%5D%2Cshow_value%3DTrue%2Cfull_width%3DTrue)%20if%20s%5B'kind'%5D%3D%3D'slider'%20else%20mo.ui.text(value%3D_saved.get(s%5B'key'%5D%2Cs%5B'default'%5D)%2Clabel%3Ds%5B'label'%5D%2Cfull_width%3DTrue%2Cdebounce%3DTrue)%20if%20s%5B'kind'%5D%3D%3D'text'%20else%20mo.ui.dropdown(options%3D%7Blabel%3Ai%20for%20i%2Clabel%20in%20enumerate(s%5B'options'%5D)%7D%2Cvalue%3Ds%5B'options'%5D%5Bint(_saved.get(s%5B'key'%5D%2Cs%5B'default'%5D))%5D%2Clabel%3Ds%5B'label'%5D%2Cfull_width%3DTrue))%20for%20s%20in%20config%5B'controls'%5D%7D)%0A%20%20%20%20mo.vstack(%5Bmo.md('%23%23%202.%20Change%20one%20thing%5CnThe%20first%20result%20uses%20the%20starting%20settings.%20Record%20it%20before%20moving%20a%20control.')%2Creset_controls%2Ccontrols.vstack()%5D)%0A%20%20%20%20return%20(controls%2C)%0A%0A%0A%40app.cell%0Adef%20_(compute%2C%20config%2C%20controls)%3A%0A%20%20%20%20try%3Acurrent%20%3D%20compute(config%5B'id'%5D%2Ccontrols.value)%0A%20%20%20%20except%20(ValueError%2CTypeError%2CKeyError%2CIndexError)%20as%20_error%3A%0A%20%20%20%20%20%20%20%20current%3D%7B'error'%3Astr(_error)%2C'summary'%3A'Check%20your%20inputs%3A%20'%2Bstr(_error)%2C'rows'%3A%5B%7B'input'%3A'Needs%20correction'%2C'value'%3A0%7D%5D%2C'kind'%3A'bars'%2C'x'%3A'input'%2C'y'%3A'value'%2C'formula'%3A'No%20new%20result%20was%20calculated.%20Correct%20the%20input%20and%20compare%20again.'%7D%0A%20%20%20%20return%20(current%2C)%0A%0A%0A%40app.cell%0Adef%20_(compute%2C%20config%2C%20mo%2C%20prediction)%3A%0A%20%20%20%20mo.stop(prediction.value%20is%20None)%0A%20%20%20%20baseline%20%3D%20compute(config%5B'id'%5D%2C%7Bs%5B'key'%5D%3As%5B'default'%5D%20for%20s%20in%20config%5B'controls'%5D%7D)%0A%20%20%20%20return%20(baseline%2C)%0A%0A%0A%40app.cell%0Adef%20_(config%2C%20current%2C%20draw%2C%20mo)%3A%0A%20%20%20%20mo.stop(bool(current.get('error'))%2Cmo.callout(mo.md(current%5B'summary'%5D)%2Ckind%3D'warn'))%0A%20%20%20%20mo.vstack(%5Bmo.callout(mo.md(current%5B'summary'%5D)%2Ckind%3D'info')%2Cmo.Html(draw(current))%2Cmo.accordion(%7B'For%20the%20curious%3A%20how%20the%20numbers%20work'%3Amo.md(current%5B'formula'%5D)%7D)%20if%20config%5B'year'%5D%3D%3D6%20else%20mo.md('**How%20this%20is%20calculated**%5Cn%5Cn'%2Bcurrent%5B'formula'%5D)%2Cmo.md('Charts%20update%20from%20Python%20calculations.%20Exact%20values%20are%20below%3B%20scroll%20wide%20charts%20sideways%20on%20a%20small%20screen.')%5D)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(baseline%2C%20current%2C%20mo)%3A%0A%20%20%20%20mo.stop(bool(current.get('error')))%0A%20%20%20%20_tables%3D%7B'Current%20measurements'%3Amo.ui.table(current%5B'rows'%5D%2Cselection%3DNone%2Cpage_size%3D10)%2C'Starting-settings%20comparison'%3Amo.vstack(%5Bmo.md(baseline%5B'summary'%5D)%2Cmo.ui.table(baseline%5B'rows'%5D%2Cselection%3DNone%2Cpage_size%3D10)%5D)%7D%0A%20%20%20%20if%20current.get('metrics')%3A_tables%5B'Summary%20measurements%20and%20denominators'%5D%3Dmo.json(current%5B'metrics'%5D)%0A%20%20%20%20if%20current.get('chart_rows')%3A_tables%5B'Chart%20measurements'%5D%3Dmo.ui.table(current%5B'chart_rows'%5D%2Cselection%3DNone%2Cpage_size%3D10)%0A%20%20%20%20if%20current.get('heat')%20is%20not%20None%3A_tables%5B'Exact%20heat%20map%20values'%5D%3Dmo.ui.table(%5B%7B'row'%3Ai%2C'label'%3Acurrent%5B'heat_labels'%5D%5Bi%5D%2C**%7Bstr(j)%3Av%20for%20j%2Cv%20in%20enumerate(row)%7D%7D%20for%20i%2Crow%20in%20enumerate(current%5B'heat'%5D)%5D%2Cselection%3DNone%2Cpage_size%3D10)%0A%20%20%20%20if%20current.get('model_rows')%3A_tables%5B'Bridge%20to%20measured%20transformer%20behaviour'%5D%3Dmo.vstack(%5Bmo.md(current%5B'model_method'%5D)%2Cmo.ui.table(current%5B'model_rows'%5D%2Cselection%3DNone)%5D)%0A%20%20%20%20mo.accordion(_tables)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo%2C%20restored)%3A%0A%20%20%20%20get_runs%2C%20set_runs%20%3D%20mo.state(restored.get('saved_runs'%2C%5B%5D)%5B%3A6%5D)%0A%20%20%20%20return%20get_runs%2C%20set_runs%0A%0A%0A%40app.cell%0Adef%20_(controls%2C%20current%2C%20mo%2C%20set_runs)%3A%0A%20%20%20%20mo.stop(bool(current.get('error')))%0A%20%20%20%20_snapshot%3D%7B'settings'%3Adict(controls.value)%2C'result'%3Acurrent%7D%0A%20%20%20%20save_run%3Dmo.ui.button(label%3D'Save%20this%20run%20for%20comparison'%2Con_click%3Dlambda%20_%3Aset_runs(lambda%20old%3A(old%2B%5B_snapshot%5D)%5B-6%3A%5D))%0A%20%20%20%20clear_runs%3Dmo.ui.button(label%3D'Clear%20saved%20comparisons'%2Con_click%3Dlambda%20_%3Aset_runs(%5B%5D))%0A%20%20%20%20mo.hstack(%5Bsave_run%2Cclear_runs%5D)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(get_runs%2C%20mo)%3A%0A%20%20%20%20_runs%3Dget_runs()%0A%20%20%20%20mo.vstack(%5Bmo.md(f'**Saved%20comparisons%3A%20%7Blen(_runs)%7D%20%2F%206.**%20Your%20latest%20six%20runs%20stay%20in%20this%20session%20and%20are%20included%20in%20the%20download.')%2Cmo.accordion(%7Bf'Run%20%7Bi%2B1%7D'%3Amo.json(r)%20for%20i%2Cr%20in%20enumerate(_runs)%7D)%20if%20_runs%20else%20mo.md('Save%20a%20starting%20run%2C%20change%20one%20control%2C%20then%20save%20again.')%5D)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(config%2C%20mo%2C%20restored)%3A%0A%20%20%20%20reflection%3Dmo.ui.text_area(value%3Drestored.get(%22conclusion%22%2C%22%22)%2Clabel%3D'My%20conclusion%20%E2%80%94%20evidence%2C%20counterexample%20and%20one%20limitation'%2Cfull_width%3DTrue%2Cdebounce%3DFalse%2Cplaceholder%3D'I%20changed%E2%80%A6%20I%20kept%E2%80%A6%20The%20measurements%20show%E2%80%A6%20They%20do%20not%20show%E2%80%A6')%0A%20%20%20%20mo.vstack(%5Bmo.md('%23%23%203.%20Find%20the%20case%20that%20breaks%20your%20explanation%5Cn'%2Bconfig%5B'challenge'%5D%2B'%5Cn%5Cn%23%23%204.%20Make%20something%20with%20the%20evidence%5Cn'%2Bconfig%5B'artifact'%5D)%2Creflection%5D)%0A%20%20%20%20return%20(reflection%2C)%0A%0A%0A%40app.cell%0Adef%20_(%0A%20%20%20%20baseline%2C%0A%20%20%20%20config%2C%0A%20%20%20%20controls%2C%0A%20%20%20%20current%2C%0A%20%20%20%20get_runs%2C%0A%20%20%20%20json%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20prediction%2C%0A%20%20%20%20reflection%2C%0A%20%20%20%20sources%2C%0A)%3A%0A%20%20%20%20mo.stop(bool(current.get('error'))%2Cmo.md('Correct%20the%20input%20before%20exporting%20a%20new%20result.'))%0A%20%20%20%20_journal%3D%7B'format'%3A'brightlab-notebook-project'%2C'version'%3A1%2C'lesson'%3Aconfig%5B'id'%5D%2C'method'%3Aconfig%5B'method'%5D%2C'prediction'%3Aprediction.value%2C'settings'%3Acontrols.value%2C'current'%3Acurrent%2C'starting_baseline'%3Abaseline%2C'saved_runs'%3Aget_runs()%2C'conclusion'%3Areflection.value%2C'sources'%3Asources%2C'scope'%3A'Classroom%20investigation%20inspired%20by%20research.%20See%20method%20and%20source%20limits%3B%20not%20a%20reproduction%20of%20a%20Goodfire%20model.'%7D%0A%20%20%20%20import%20html%20as%20report_html%0A%20%20%20%20_e%3Dreport_html.escape%0A%20%20%20%20def%20_readable(value)%3A%0A%20%20%20%20%20%20%20%20if%20isinstance(value%2Cdict)%3Areturn%20'%3Cdl%3E'%2B''.join('%3Cdt%3E%3Cstrong%3E'%2B_e(str(k).replace('_'%2C'%20'))%2B'%3C%2Fstrong%3E%3C%2Fdt%3E%3Cdd%3E'%2B_readable(v)%2B'%3C%2Fdd%3E'%20for%20k%2Cv%20in%20value.items())%2B'%3C%2Fdl%3E'%0A%20%20%20%20%20%20%20%20if%20isinstance(value%2Clist)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20value%20and%20all(isinstance(row%2Cdict)%20for%20row%20in%20value)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_keys%3Dlist(dict.fromkeys(k%20for%20row%20in%20value%20for%20k%20in%20row))%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20return%20'%3Ctable%3E%3Cthead%3E%3Ctr%3E'%2B''.join('%3Cth%3E'%2B_e(str(k).replace('_'%2C'%20'))%2B'%3C%2Fth%3E'%20for%20k%20in%20_keys)%2B'%3C%2Ftr%3E%3C%2Fthead%3E%3Ctbody%3E'%2B''.join('%3Ctr%3E'%2B''.join('%3Ctd%3E'%2B_readable(row.get(k%2C''))%2B'%3C%2Ftd%3E'%20for%20k%20in%20_keys)%2B'%3C%2Ftr%3E'%20for%20row%20in%20value)%2B'%3C%2Ftbody%3E%3C%2Ftable%3E'%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20'%3Col%3E'%2B''.join('%3Cli%3E'%2B_readable(v)%2B'%3C%2Fli%3E'%20for%20v%20in%20value)%2B'%3C%2Fol%3E'%0A%20%20%20%20%20%20%20%20return%20_e(str(value))%20if%20value%20is%20not%20None%20else%20'Not%20recorded'%0A%20%20%20%20_body%3D'%3Chtml%20lang%3D%22en-AU%22%3E%3Cmeta%20charset%3D%22utf-8%22%3E%3Ctitle%3E'%2B_e(config%5B'title'%5D)%2B'%3C%2Ftitle%3E%3Cstyle%3Ebody%7Bfont%3A18px%2F1.6%20system-ui%3Bmax-width%3A950px%3Bmargin%3A40px%20auto%3Bpadding%3A20px%7Dtable%7Bborder-collapse%3Acollapse%7Dtd%2Cth%7Bborder%3A1px%20solid%20%23999%3Bpadding%3A10px%7Dp%7Bwhite-space%3Apre-wrap%7D%3C%2Fstyle%3E%3Ch1%3E'%2B_e(config%5B'title'%5D)%2B'%3C%2Fh1%3E%3Cp%3E'%2B_e(config%5B'method'%5D)%2B'%3C%2Fp%3E%3Ch2%3EMy%20prediction%3C%2Fh2%3E%3Cp%3E'%2B_e(prediction.value%20or%20'')%2B'%3C%2Fp%3E%3Ch2%3ESettings%3C%2Fh2%3E%3Cp%3E'%2B_e(str(controls.value))%2B'%3C%2Fp%3E%3Ch2%3EWhat%20happened%3C%2Fh2%3E%3Cp%3E'%2B_e(current%5B'summary'%5D)%2B'%3C%2Fp%3E%3Ctable%3E%3Ctr%3E'%2B''.join('%3Cth%3E'%2B_e(k)%2B'%3C%2Fth%3E'%20for%20k%20in%20current%5B'rows'%5D%5B0%5D)%2B'%3C%2Ftr%3E'%2B''.join('%3Ctr%3E'%2B''.join('%3Ctd%3E'%2B_e(str(v))%2B'%3C%2Ftd%3E'%20for%20v%20in%20row.values())%2B'%3C%2Ftr%3E'%20for%20row%20in%20current%5B'rows'%5D)%2B'%3C%2Ftable%3E%3Ch2%3EMy%20explanation%3C%2Fh2%3E%3Cp%3E'%2B_e(reflection.value)%2B'%3C%2Fp%3E%3Ch2%3EMethod%20and%20limits%3C%2Fh2%3E%3Cp%3E'%2B_e(current%5B'formula'%5D)%2B'%3C%2Fp%3E%3C%2Fhtml%3E'%0A%20%20%20%20_body%3D_body.replace('%3C%2Fhtml%3E'%2C'%3Ch2%3EFull%20current%20evidence%3C%2Fh2%3E'%2B_readable(current)%2B'%3Ch2%3EStarting%20baseline%3C%2Fh2%3E'%2B_readable(baseline)%2B'%3Ch2%3ESaved%20comparisons%3C%2Fh2%3E'%2B_readable(get_runs())%2B'%3C%2Fhtml%3E')%0A%20%20%20%20mo.hstack(%5Bmo.download(data%3Djson.dumps(_journal%2Cindent%3D2%2Callow_nan%3DFalse).encode()%2Cfilename%3Dconfig%5B'id'%5D%2B'-project.json'%2Clabel%3D'Download%20resumable%20notebook%20project')%2Cmo.download(data%3D_body.encode()%2Cfilename%3Dconfig%5B'id'%5D%2B'-report.html'%2Clabel%3D'Download%20readable%20report%20%2F%20print')%5D)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(MODEL%2C%20config%2C%20mo%2C%20sources)%3A%0A%20%20%20%20_young%3Dconfig%5B'year'%5D%3D%3D6%0A%20%20%20%20_timing%3D'0%E2%80%935%20min%3A%20read%20and%20predict.%205%E2%80%9315%3A%20make%20two%20controlled%20changes.%2015%E2%80%9325%3A%20find%20a%20counterexample.%2025%E2%80%9335%3A%20compare%20and%20explain.'%20if%20_young%20else%20'0%E2%80%938%20min%3A%20define%20the%20hypothesis%20and%20metric.%208%E2%80%9325%3A%20collect%20matched%20runs.%2025%E2%80%9340%3A%20stress-test%20the%20explanation.%2040%E2%80%9355%3A%20audit%20the%20claim%20and%20write%20a%20limitation.'%0A%20%20%20%20_teacher%3D'**Preparation%3A**%20one%20browser%20per%20pair%2C%20runtime%20download%20permitted%2C%20no%20accounts%20or%20personal%20data%20required.%20Try%20the%20default%20experiment%20before%20class.%20A%20teacher%20may%20read%20instructions%20aloud%20and%20pupils%20may%20dictate%20predictions.%5Cn%5Cn**Learning%20outcome%3A**%20answer%20%E2%80%9C'%2Bconfig%5B'question'%5D%2B'%E2%80%9D%20using%20a%20controlled%20comparison.%5Cn%5Cn**Lesson%20sequence%3A**%20'%2B_timing%2B'%5Cn%5Cn**Prompts%20and%20misconceptions%3A**%20'%2Bconfig%5B'teacher'%5D%2B'%5Cn%5Cn**Assessment%20(0%E2%80%932%20each)%3A**%20a%20testable%20prediction%3B%20a%20comparison%20naming%20what%20stayed%20fixed%3B%20accurate%20use%20of%20measurements%3B%20a%20counterexample%20and%20appropriately%20limited%20conclusion.%200%3Dmissing%2C%201%3Dpartial%2C%202%3Dclear%20and%20supported.%5Cn%5Cn**Support%3A**%20work%20through%20the%20default%20and%20one%20change%20together%2C%20use%20the%20glossary%2C%20and%20accept%20an%20oral%20explanation.%20**Stretch%3A**%20'%2Bconfig%5B'extend'%5D%0A%20%20%20%20_reading%3D'%5Cn%5Cn'.join('**%5B'%2Bs%5B'title'%5D%2B'%5D('%2Bs%5B'url'%5D%2B')**%5Cn%5Cn'%2B'**System%20and%20data%3A**%20'%2Bs%5B'systemAndData'%5D%2B'%5Cn%5Cn**Source%20method%3A**%20'%2Bs%5B'method'%5D%2B'%5Cn%5Cn**Paper-specific%20task%3A**%20'%2Bs%5B'year6Task'%20if%20config%5B'year'%5D%3D%3D6%20else%20'year12Task'%5D%2B'%5Cn%5Cn**Research%20boundary%3A**%20'%2Bs%5B'limit'%5D%20for%20s%20in%20sources)%0A%20%20%20%20mo.accordion(%7B'Teacher%20lesson%20plan%20and%20assessment'%3Amo.md(_teacher)%2C'Words%20to%20know'%3Amo.md('%5Cn%5Cn'.join('**'%2Bk%2B'%3A**%20'%2Bv%20for%20k%2Cv%20in%20config%5B'glossary'%5D.items()))%2C'Research%20connections%20and%20limits'%3Amo.md(_reading%2B'%5Cn%5CnIndependent%20Brightlab%20educational%20adaptations%3B%20no%20Goodfire%20endorsement.%20Full%20source%20map%3A%20%5BAI%20Understanding%20research%20library%5D(https%3A%2F%2Fbrightlab-ai-creators.ian347727.chatgpt.site%2Fai-understanding%2Fresearch).')%2C'Tiny%20transformer%20model%20card'%3Amo.json(MODEL%5B'card'%5D)%7D)%0A%20%20%20%20return%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A