spark-y10-calculator

%23%20%2F%2F%2F%20script%0A%23%20requires-python%20%3D%20%22%3E%3D3.12%22%0A%23%20dependencies%20%3D%20%5B%22marimo%3D%3D0.24.0%22%2C%20%22numpy%3E%3D2.0%2C%3C3%22%5D%0A%23%20%2F%2F%2F%0A%0Aimport%20marimo%0A%0A__generated_with%20%3D%20%220.24.0%22%0Aapp%20%3D%20marimo.App(width%3D%22full%22)%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20%22%22%22Spark%20experiments.%20Small-model%20extensions%2C%20not%20reproductions%20of%20Goodfire's%20models.%22%22%22%0A%20%20%20%20import%20numpy%20as%20np%0A%20%20%20%20import%20json%2C%20re%2C%20html%2C%20sys%2C%20os%2C%20importlib%0A%20%20%20%20SMOL%3D'HuggingFaceTB%2FSmolLM2-135M-Instruct'%0A%20%20%20%20SMOL_REV%3D'12fd25f77366fa6b3b4b768ec3050bf629380bac'%0A%20%20%20%20MINI%3D'sentence-transformers%2Fall-MiniLM-L6-v2'%0A%20%20%20%20MINI_REV%3D'1110a243fdf4706b3f48f1d95db1a4f5529b4d41'%0A%20%20%20%20ORIGINAL%3D'Pip%20brought%20a%20paper%20boat%20to%20the%20creek.%20Wattle%20said%20the%20water%20looked%20too%20fast.%20Pip%20tried%20anyway%2C%20and%20the%20boat%20disappeared%20around%20a%20rock.%20They%20walked%20downstream%20together.%20The%20boat%20was%20caught%20safely%20in%20some%20reeds.%20Pip%20thanked%20Wattle%20and%20decided%20to%20test%20the%20next%20boat%20in%20a%20puddle.'%0A%20%20%20%20EMOTIONS%3D%5B'surprise'%2C'disgust'%2C'anger'%2C'happiness'%2C'sadness'%2C'fear'%5D%0A%20%20%20%20MONTHS%3D%5B'January'%2C'February'%2C'March'%2C'April'%2C'May'%2C'June'%2C'July'%2C'August'%2C'September'%2C'October'%2C'November'%2C'December'%5D%0A%20%20%20%20DAYS%3D%5B'Monday'%2C'Tuesday'%2C'Wednesday'%2C'Thursday'%2C'Friday'%2C'Saturday'%2C'Sunday'%5D%0A%0A%20%20%20%20def%20sm(x)%3A%0A%20%20%20%20%20%20%20%20e%3Dnp.exp(x-np.max(x%2Caxis%3D-1%2Ckeepdims%3DTrue))%3Breturn%20e%2Fe.sum(-1%2Ckeepdims%3DTrue)%0A%0A%20%20%20%20def%20projection(ref%2Cother%3DNone)%3A%0A%20%20%20%20%20%20%20%20ref%3Dnp.asarray(ref%2Cdtype%3Dfloat)%3Bmean%3Dref.mean(0)%3Bcentre%3Dref-mean%0A%20%20%20%20%20%20%20%20_%2Cs%2Cv%3Dnp.linalg.svd(centre%2Cfull_matrices%3DFalse)%3Bbasis%3Dv%5B%3A2%5D%0A%20%20%20%20%20%20%20%20return%20(np.asarray(ref%20if%20other%20is%20None%20else%20other)-mean)%40basis.T%2Cfloat((s%5B%3A2%5D**2).sum()%2Fmax((s**2).sum()%2C1e-20))%0A%0A%20%20%20%20def%20plot(points%2C%20labels%3DNone%2C%20second%3DNone%2C%20axes%3D('PC1'%2C'PC2')%2C%20connect%3DTrue)%3A%0A%20%20%20%20%20%20%20%20points%3Dnp.asarray(points)%3Bsecond%3Dnp.asarray(second)%20if%20second%20is%20not%20None%20else%20None%0A%20%20%20%20%20%20%20%20allp%3Dpoints%20if%20second%20is%20None%20else%20np.vstack(%5Bpoints%2Csecond%5D)%3Bscale%3Dmax(.001%2Cfloat(np.abs(allp).max()))%0A%20%20%20%20%20%20%20%20def%20xy(p)%3Areturn%20300%2B245*p%5B0%5D%2Fscale%2C200-150*p%5B1%5D%2Fscale%0A%20%20%20%20%20%20%20%20out%3D%5B'%3Csvg%20viewBox%3D%220%200%20600%20400%22%20role%3D%22img%22%20aria-label%3D%22Two-dimensional%20representation%20plot%22%20style%3D%22max-width%3A100%25%3Bbackground%3A%23f3f7fc%22%3E%3Cpath%20d%3D%22M40%20200H560%20M300%2035V365%22%20stroke%3D%22%23bcc8cd%22%2F%3E%3Ctext%20x%3D%22525%22%20y%3D%22225%22%3EPC1%3C%2Ftext%3E%3Ctext%20x%3D%22310%22%20y%3D%2235%22%3EPC2%3C%2Ftext%3E'%5D%0A%20%20%20%20%20%20%20%20for%20n%2Carr%20in%20enumerate(%5Bpoints%5D%20if%20second%20is%20None%20else%20%5Bpoints%2Csecond%5D)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20colour%3D%5B'%23195cca'%2C'%23a23c76'%5D%5Bn%5D%3Bcoords%3D%5Bxy(p)%20for%20p%20in%20arr%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20connect%3A%20out.append('%3Cpolyline%20fill%3D%22none%22%20stroke%3D%22'%2Bcolour%2B'%22%20stroke-width%3D%222%22%20'%2B('stroke-dasharray%3D%226%204%22'%20if%20n%20else%20'')%2B'%20points%3D%22'%2B'%20'.join(f'%7Bx%3A.2f%7D%2C%7By%3A.2f%7D'%20for%20x%2Cy%20in%20coords)%2B'%22%2F%3E')%0A%20%20%20%20%20%20%20%20%20%20%20%20for%20i%2C(x%2Cy)%20in%20enumerate(coords)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20lab%3Dstr(i%2B1)%20if%20labels%20is%20None%20else%20str(labels%5Bi%5D)%3Bout.append(f'%3Ccircle%20cx%3D%22%7Bx%3A.2f%7D%22%20cy%3D%22%7By%3A.2f%7D%22%20r%3D%224%22%20fill%3D%22%7Bcolour%7D%22%2F%3E%3Ctext%20x%3D%22%7Bx%2B6%3A.2f%7D%22%20y%3D%22%7By-7%3A.2f%7D%22%20font-size%3D%2212%22%3E%7Bhtml.escape(lab)%7D%3C%2Ftext%3E')%0A%20%20%20%20%20%20%20%20return%20(''.join(out)%2B'%3C%2Fsvg%3E').replace('%3EPC1%3C'%2C'%3E'%2Bhtml.escape(axes%5B0%5D)%2B'%3C').replace('%3EPC2%3C'%2C'%3E'%2Bhtml.escape(axes%5B1%5D)%2B'%3C')%0A%0A%20%20%20%20def%20train_addition(epochs%3D600%2Cseed%3D7)%3A%0A%20%20%20%20%20%20%20%20%22%22%22Train%20an%20actual%20one-hidden-layer%20network%20on%2080%20of%20100%20mod-10%20sums.%22%22%22%0A%20%20%20%20%20%20%20%20rng%3Dnp.random.default_rng(seed)%3Bpairs%3Dnp.array(%5B(a%2Cb)%20for%20a%20in%20range(10)%20for%20b%20in%20range(10)%5D)%0A%20%20%20%20%20%20%20%20x%3Dnp.concatenate(%5Bnp.eye(10)%5Bpairs%5B%3A%2C0%5D%5D%2Cnp.eye(10)%5Bpairs%5B%3A%2C1%5D%5D%5D%2Caxis%3D1)%3By%3Dpairs.sum(1)%2510%0A%20%20%20%20%20%20%20%20split%3Drng.permutation(100)%3Btrain%2Ctest%3Dsplit%5B%3A80%5D%2Csplit%5B80%3A%5D%0A%20%20%20%20%20%20%20%20w%3Drng.normal(0%2C.25%2C(20%2C48))%3Bb%3Dnp.zeros(48)%3Bv%3Drng.normal(0%2C.15%2C(48%2C10))%3Bc%3Dnp.zeros(10)%3Bhistory%3D%5B%5D%0A%20%20%20%20%20%20%20%20for%20epoch%20in%20range(int(epochs))%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20h%3Dnp.maximum(0%2Cx%5Btrain%5D%40w%2Bb)%3Bp%3Dsm(h%40v%2Bc)%3Bd%3D(p-np.eye(10)%5By%5Btrain%5D%5D)%2Flen(train)%0A%20%20%20%20%20%20%20%20%20%20%20%20dh%3D(d%40v.T)*(h%3E0)%3Bw-%3D.6*(x%5Btrain%5D.T%40dh%2B1e-4*w)%3Bb-%3D.6*dh.sum(0)%3Bv-%3D.6*(h.T%40d%2B1e-4*v)%3Bc-%3D.6*d.sum(0)%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20epoch%25100%3D%3D0%3Ahistory.append(%7B'step'%3Aepoch%2C'training_loss'%3Afloat(-np.log(p%5Bnp.arange(80)%2Cy%5Btrain%5D%5D%2B1e-12).mean())%7D)%0A%20%20%20%20%20%20%20%20hidden%3Dnp.maximum(0%2Cx%40w%2Bb)%3Bpred%3D(hidden%40v%2Bc).argmax(1)%0A%20%20%20%20%20%20%20%20%23%20Class%20means%20are%20descriptive%20summaries%2C%20not%20a%20causal%20intervention.%0A%20%20%20%20%20%20%20%20means%3Dnp.array(%5Bhidden%5By%3D%3Dk%5D.mean(0)%20for%20k%20in%20range(10)%5D)%3Bpoints%2Cvar%3Dprojection(means)%0A%20%20%20%20%20%20%20%20return%20%7B'model'%3A'trained%2020%20%E2%86%92%2048%20ReLU%20%E2%86%92%2010%20network'%2C'seed'%3Aseed%2C'epochs'%3Aepochs%2C'train_indices'%3Atrain.tolist()%2C'test_indices'%3Atest.tolist()%2C'train_correct'%3Aint((pred%5Btrain%5D%3D%3Dy%5Btrain%5D).sum())%2C'train_total'%3A80%2C'test_correct'%3Aint((pred%5Btest%5D%3D%3Dy%5Btest%5D).sum())%2C'test_total'%3A20%2C'pca_variance'%3Avar%2C'rows'%3A%5B%7B'a'%3Aint(pairs%5Bi%2C0%5D)%2C'b'%3Aint(pairs%5Bi%2C1%5D)%2C'true_mod10_sum'%3Aint(y%5Bi%5D)%2C'prediction'%3Aint(pred%5Bi%5D)%2C'split'%3A'test'%20if%20i%20in%20test%20else%20'train'%7D%20for%20i%20in%20range(100)%5D%2C'history'%3Ahistory%2C'svg'%3Aplot(points%2Clist(range(10)))%2C'interpretation'%3A'The%20plotted%20points%20are%20learned%20hidden-state%20means%20grouped%20by%20known%20sum.%20They%20need%20not%20form%20a%20circle.%20Grouping%20itself%20uses%20labels.%20A%20hand-written%20Fourier%20circle%20is%20a%20separate%20mathematical%20construction.'%7D%0A%0A%20%20%20%20_NATIVE%3D%7B%7D%0A%20%20%20%20def%20language_model()%3A%0A%20%20%20%20%20%20%20%20if%20sys.platform%3D%3D'emscripten'%3Araise%20RuntimeError('This%20generative-model%20extension%20needs%20native%20Python.%20Download%20this%20notebook%20and%20follow%20the%20Spark%20setup%20guide.%20The%20browser%20activities%20above%20still%20work.')%0A%20%20%20%20%20%20%20%20if%20'smol'%20not%20in%20_NATIVE%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20torch%3Dimportlib.import_module('torch')%0A%20%20%20%20%20%20%20%20%20%20%20%20transformers%3Dimportlib.import_module('transformers')%0A%20%20%20%20%20%20%20%20%20%20%20%20AutoTokenizer%3Dtransformers.AutoTokenizer%3BAutoModelForCausalLM%3Dtransformers.AutoModelForCausalLM%0A%20%20%20%20%20%20%20%20%20%20%20%20tok%3DAutoTokenizer.from_pretrained(SMOL%2Crevision%3DSMOL_REV)%0A%20%20%20%20%20%20%20%20%20%20%20%20device%3Dos.environ.get('SPARK_DEVICE'%2C'cpu')%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20device%20not%20in%20%5B'cpu'%2C'cuda'%5D%3Araise%20ValueError('SPARK_DEVICE%20must%20be%20cpu%20or%20cuda.')%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20device%3D%3D'cuda'%20and%20not%20torch.cuda.is_available()%3Araise%20RuntimeError('CUDA%20is%20unavailable.%20Use%20CPU%20or%20a%20configured%20GPU%20runtime.')%0A%20%20%20%20%20%20%20%20%20%20%20%20model%3DAutoModelForCausalLM.from_pretrained(SMOL%2Crevision%3DSMOL_REV).eval().to(device)%0A%20%20%20%20%20%20%20%20%20%20%20%20_NATIVE%5B'smol'%5D%3D(tok%2Cmodel)%0A%20%20%20%20%20%20%20%20return%20_NATIVE%5B'smol'%5D%0A%0A%20%20%20%20def%20hidden_and_logits(text%2Clayer%3D15%2Cmax_tokens%3D512)%3A%0A%20%20%20%20%20%20%20%20torch%3Dimportlib.import_module('torch')%0A%20%20%20%20%20%20%20%20tok%2Cmodel%3Dlanguage_model()%3Bids%3Dtok(text%2Creturn_tensors%3D'pt'%2Cadd_special_tokens%3DFalse).input_ids%3Bcount%3Dids.shape%5B1%5D%3Bids%3Dids%5B%3A%2C-max_tokens%3A%5D.to(model.device)%0A%20%20%20%20%20%20%20%20with%20torch.no_grad()%3Aout%3Dmodel(ids%2Coutput_hidden_states%3DTrue)%0A%20%20%20%20%20%20%20%20layer%3Dmax(0%2Cmin(int(layer)%2Clen(out.hidden_states)-1))%0A%20%20%20%20%20%20%20%20return%20out.hidden_states%5Blayer%5D%5B0%2C-1%5D.float().cpu().numpy()%2Cout.logits%5B0%2C-1%5D.float().cpu().numpy()%2Cint(count)%2Clayer%0A%0A%20%20%20%20def%20native_calculator(layer%3D15%2Csteer_to%3D17%2Cseed%3D7%2Ccustom_domain%3D%22months%22%2Ccustom_start%3D8%2Ccustom_offset%3D6)%3A%0A%20%20%20%20%20%20%20%20tok%2Cmodel%3Dlanguage_model()%3Bpairs%3D%5B(a%2Cb)%20for%20a%20in%20range(1%2C9)%20for%20b%20in%20range(1%2C9)%5D%0A%20%20%20%20%20%20%20%20chat%3Dlambda%20p%3Atok.apply_chat_template(%5B%7B'role'%3A'user'%2C'content'%3Ap%7D%5D%2Ctokenize%3DFalse%2Cadd_generation_prompt%3DTrue)%0A%20%20%20%20%20%20%20%20prompts%3D%5Bchat(f'Calculate%20%7Ba%7D%20%2B%20%7Bb%7D.%20Give%20only%20the%20number.')%20for%20a%2Cb%20in%20pairs%5D%3Bsums%3Dnp.array(%5Ba%2Bb%20for%20a%2Cb%20in%20pairs%5D)%0A%20%20%20%20%20%20%20%20states%3D%5B%5D%3Brows%3D%5B%5D%0A%20%20%20%20%20%20%20%20for%20prompt%2Ctotal%20in%20zip(prompts%2Csums)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20h%2Clogits%2C_%2Cactual_layer%3Dhidden_and_logits(prompt%2Clayer)%3Bstates.append(h)%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20Full%20next-token%20prediction%2C%20not%20a%20forced%20choice%20among%20numbers.%0A%20%20%20%20%20%20%20%20%20%20%20%20rows.append(%7B'prompt'%3Aprompt%2C'sum'%3Aint(total)%2C'next_token'%3Atok.decode(%5Bint(logits.argmax())%5D)%7D)%0A%20%20%20%20%20%20%20%20x%3Dnp.array(states)%3Brng%3Dnp.random.default_rng(seed)%3Bidx%3Drng.permutation(64)%3Btrain%2Ctest%3Didx%5B%3A48%5D%2Cidx%5B48%3A%5D%0A%20%20%20%20%20%20%20%20mu%3Dx%5Btrain%5D.mean(0)%3Bsd%3Dx%5Btrain%5D.std(0)%2B1e-3%3Bz%3D(x-mu)%2Fsd%0A%20%20%20%20%20%20%20%20def%20fourier(n)%3Areturn%20np.array(%5Bf(2*np.pi*n%2Fp)%20for%20p%20in%20%5B2%2C5%2C10%5D%20for%20f%20in%20%5Bnp.cos%2Cnp.sin%5D%5D)%0A%20%20%20%20%20%20%20%20targets%3Dnp.array(%5Bfourier(n)%20for%20n%20in%20sums%5D)%3Bxt%3Dnp.column_stack(%5Bz%5Btrain%5D%2Cnp.ones(48)%5D)%0A%20%20%20%20%20%20%20%20%23%20Dual%20ridge%20avoids%20a%20large%20matrix%20inverse%3B%20only%20training%20examples%20fit%20the%20probe.%0A%20%20%20%20%20%20%20%20w%3Dxt.T%40np.linalg.solve(xt%40xt.T%2B5*np.eye(48)%2Ctargets%5Btrain%5D)%3Bpred%3Dnp.column_stack(%5Bz%2Cnp.ones(64)%5D)%40w%0A%20%20%20%20%20%20%20%20baseline%3Dtargets%5Btrain%5D.mean(0)%3Berr%3Dfloat(np.sqrt(((pred%5Btest%5D-targets%5Btest%5D)**2).mean()))%3Bnull%3Dfloat(np.sqrt(((baseline-targets%5Btest%5D)**2).mean()))%0A%20%20%20%20%20%20%20%20time_cases%3D%5B('August%20%2B%206%20months'%2C'What%20month%20is%206%20months%20after%20August%3F%20Answer%3A'%2C14%2C'February')%2C('August%20%2B%2016%20months'%2C'What%20month%20is%2016%20months%20after%20August%3F%20Answer%3A'%2C24%2C'December')%2C('Friday%20%2B%202%20days'%2C'What%20day%20is%202%20days%20after%20Friday%3F%20Answer%3A'%2C7%2C'Sunday')%2C('13%20%2B%204%20hours'%2C'What%20hour%20is%204%20hours%20after%2013%3A00%3F%20Answer%3A'%2C17%2C'17')%2C('23%20%2B%203%20hours'%2C'What%20hour%20is%203%20hours%20after%2023%3A00%3F%20Answer%3A'%2C26%2C'2')%5D%0A%20%20%20%20%20%20%20%20if%20custom_domain%3D%3D'months'%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20not%201%3C%3Dcustom_start%3C%3D12%3Araise%20ValueError('Months%20use%20start%201%E2%80%9312.')%0A%20%20%20%20%20%20%20%20%20%20%20%20custom%3Df'What%20month%20is%20%7Bcustom_offset%7D%20months%20after%20%7BMONTHS%5Bcustom_start-1%5D%7D%3F'%3Bexpected%3DMONTHS%5B(custom_start%2Bcustom_offset-1)%2512%5D%0A%20%20%20%20%20%20%20%20elif%20custom_domain%3D%3D'weekdays'%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20not%201%3C%3Dcustom_start%3C%3D7%3Araise%20ValueError('Weekdays%20use%20Monday%3D1%20through%20Sunday%3D7.')%0A%20%20%20%20%20%20%20%20%20%20%20%20custom%3Df'What%20day%20is%20%7Bcustom_offset%7D%20days%20after%20%7BDAYS%5Bcustom_start-1%5D%7D%3F'%3Bexpected%3DDAYS%5B(custom_start%2Bcustom_offset-1)%257%5D%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20not%200%3C%3Dcustom_start%3C%3D23%3Araise%20ValueError('Hours%20use%200%E2%80%9323.')%0A%20%20%20%20%20%20%20%20%20%20%20%20custom%3Df'What%20hour%20is%20%7Bcustom_offset%7D%20hours%20after%20%7Bcustom_start%7D%3A00%3F'%3Bexpected%3Dstr((custom_start%2Bcustom_offset)%2524)%0A%20%20%20%20%20%20%20%20time_cases.append(('Your%20time%20example'%2Ccustom%2Ccustom_start%2Bcustom_offset%2Cexpected))%0A%20%20%20%20%20%20%20%20def%20generate_short(prompt)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20torch%3Dimportlib.import_module('torch')%0A%20%20%20%20%20%20%20%20%20%20%20%20ids%3Dtok(prompt%2Creturn_tensors%3D'pt'%2Cadd_special_tokens%3DFalse).input_ids.to(model.device)%0A%20%20%20%20%20%20%20%20%20%20%20%20with%20torch.no_grad()%3Aout%3Dmodel.generate(ids%2Cmax_new_tokens%3D40%2Cdo_sample%3DFalse%2Cpad_token_id%3Dtok.eos_token_id%2Cattention_mask%3Dtorch.ones_like(ids))%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20tok.decode(out%5B0%2Cids.shape%5B1%5D%3A%5D%2Cskip_special_tokens%3DTrue)%0A%20%20%20%20%20%20%20%20transfer%3D%5B%5D%0A%20%20%20%20%20%20%20%20for%20name%2Cprompt%2Ctotal%2Cexpected%20in%20time_cases%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20h%2Clogits%2C_%2C_%3Dhidden_and_logits(chat(prompt)%2Clayer)%3Bp%3Dnp.append((h-mu)%2Fsd%2C1)%40w%0A%20%20%20%20%20%20%20%20%20%20%20%20transfer.append(%7B'task'%3Aname%2C'prompt'%3Aprompt%2C'ordinary_sum'%3Atotal%2C'expected_answer'%3Aexpected%2C'next_token'%3Atok.decode(%5Bint(logits.argmax())%5D)%2C'generated_answer'%3Agenerate_short(chat(prompt))%2C'probe_rmse'%3Afloat(np.sqrt(((p-fourier(total))**2).mean()))%7D)%0A%20%20%20%20%20%20%20%20%23%20Intervene%20on%20post-block%20state%20using%20inverse%20of%20the%20fitted%20probe.%20Includes%20exact%20no-op%20control.%0A%20%20%20%20%20%20%20%20torch%3Dimportlib.import_module('torch')%0A%20%20%20%20%20%20%20%20prompt%3Dchat('Calculate%207%20%2B%209.%20Give%20only%20the%20number.')%3Bh%2Cbase%2C_%2C_%3Dhidden_and_logits(prompt%2Clayer)%0A%20%20%20%20%20%20%20%20current%3Dnp.append((h-mu)%2Fsd%2C1)%40w%3Bdelta%3D(fourier(steer_to)-current)%40np.linalg.pinv(w%5B%3A-1%5D)%3Bdelta%3Ddelta*sd%0A%20%20%20%20%20%20%20%20norm%3Dfloat(np.linalg.norm(delta))%3Bcap%3D.15*float(np.linalg.norm(h))%3Bdelta%3Ddelta*min(1%2Ccap%2Fmax(norm%2C1e-12))%0A%20%20%20%20%20%20%20%20def%20intervene(vector)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20def%20hook(_module%2C_inputs%2Coutput)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20value%3Doutput%5B0%5D%20if%20isinstance(output%2Ctuple)%20else%20output%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20changed%3Dvalue.clone()%3Bchanged%5B0%2C-1%5D%2B%3Dtorch.tensor(vector%2Cdtype%3Dchanged.dtype%2Cdevice%3Dchanged.device)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20return%20(changed%2C)%2Boutput%5B1%3A%5D%20if%20isinstance(output%2Ctuple)%20else%20changed%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20hidden_states%20index%20k%20is%20post%20block%20k-1%3B%20final%20index%20includes%20final%20norm%2C%20so%20avoid%20it.%0A%20%20%20%20%20%20%20%20%20%20%20%20handle%3Dmodel.model.layers%5Bactual_layer-1%5D.register_forward_hook(hook)%0A%20%20%20%20%20%20%20%20%20%20%20%20try%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20with%20torch.no_grad()%3Aout%3Dmodel(tok(prompt%2Creturn_tensors%3D'pt'%2Cadd_special_tokens%3DFalse).input_ids.to(model.device))%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20return%20out.logits%5B0%2C-1%5D.float().cpu().numpy()%0A%20%20%20%20%20%20%20%20%20%20%20%20finally%3Ahandle.remove()%0A%20%20%20%20%20%20%20%20if%20not%201%3C%3Dactual_layer%3Clen(model.model.layers)%3Araise%20ValueError('Choose%20an%20intermediate%20layer%20from%201%20to%2029%3B%20final-normalised%20states%20are%20not%20valid%20for%20this%20intervention.')%0A%20%20%20%20%20%20%20%20noop%3Dintervene(np.zeros_like(delta))%3Bchanged%3Dintervene(delta)%0A%20%20%20%20%20%20%20%20return%20%7B'model'%3ASMOL%2C'revision'%3ASMOL_REV%2C'layer'%3Aactual_layer%2C'device'%3Astr(model.device)%2C'seed'%3Aseed%2C'training_indices'%3Atrain.tolist()%2C'test_indices'%3Atest.tolist()%2C'heldout_probe_rmse'%3Aerr%2C'constant_baseline_rmse'%3Anull%2C'next_token_rows'%3Arows%2C'rows'%3Atransfer%2C'steering'%3A%7B'prompt'%3Aprompt%2C'requested_sum'%3Asteer_to%2C'delta_norm'%3Afloat(np.linalg.norm(delta))%2C'base_next_token'%3Atok.decode(%5Bint(base.argmax())%5D)%2C'steered_next_token'%3Atok.decode(%5Bint(changed.argmax())%5D)%2C'noop_max_logit_error'%3Afloat(np.abs(base-noop).max())%2C'mean_absolute_logit_change'%3Afloat(np.abs(changed-base).mean())%7D%2C'svg'%3Aplot(pred%5Btest%2C4%3A6%5D%2C%5Bint(sums%5Bi%5D)%20for%20i%20in%20test%5D%2Caxes%3D('cos(10)'%2C'sin(10)')%2Cconnect%3DFalse)%2C'plot_axes'%3A'Predicted%20cos%2Fsin%20for%20period%2010%3B%20Points%20are%20held-out%20prompts%2C%20not%20a%20trajectory.'%2C'interpretation'%3A'Poor%20probe%20performance%20or%20transfer%20is%20evidence%20against%20this%20classroom%20hypothesis%20for%20this%20model%2Fprompt%2Flayer.%20Next-token%20fragments%20are%20not%20scored%20as%20full%20answers.%20Steering%20can%20disrupt%20computation%3B%20a%20changed%20answer%20is%20not%20proof%20of%20the%20complete%20Llama%20algorithm.'%7D%0A%0A%20%20%20%20def%20truth_experiment(steps%3D200%2Cseed%3D7)%3A%0A%20%20%20%20%20%20%20%20%23%20MODEL%20and%20forward%20are%20injected%20from%20the%20independently%20trained%20Brightlab%20transformer.%0A%20%20%20%20%20%20%20%20rng%3Dnp.random.default_rng(seed)%3Bcols%3D%5BMODEL%5B'vocab'%5D.index(c)%20for%20c%20in%20%5B'red'%2C'blue'%2C'green'%2C'gold'%5D%5D%0A%20%20%20%20%20%20%20%20features%3D%5B%5D%3Btruth%3D%5B%5D%3Blogits%3D%5B%5D%0A%20%20%20%20%20%20%20%20for%20tokens%2Cy%20in%20MODEL%5B'cases'%5D%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20l%2Cc%3Dforward(tokens%2C'edited')%3Bfeatures.append(c%5B'residual'%5D%5B-1%5D%5B-1%5D)%3Blogits.append(l%5Bcols%5D)%3Btruth.append(cols.index(y))%0A%20%20%20%20%20%20%20%20h%3Dnp.array(features)%3Btruth%3Dnp.array(truth)%3Blogits%3Dnp.array(logits)%3Btest%3Dnp.array(MODEL%5B'test_indices'%5D)%3Btrain%3Dnp.array(%5Bi%20for%20i%20in%20range(len(h))%20if%20i%20not%20in%20test%5D)%0A%20%20%20%20%20%20%20%20mu%3Dh%5Btrain%5D.mean(0)%3Bsd%3Dh%5Btrain%5D.std(0)%2B1e-3%3Bx%3Dnp.column_stack(%5B(h-mu)%2Fsd%2Cnp.ones(len(h))%5D)%0A%20%20%20%20%20%20%20%20%23%20One%20logistic%20classifier%20per%20proposed%20colour.%20It%20sees%20frozen%20internal%20features%2C%20not%20truth%20at%20test%20time.%0A%20%20%20%20%20%20%20%20w%3Drng.normal(0%2C.01%2C(x.shape%5B1%5D%2C4))%3Btarget%3Dnp.eye(4)%5Btruth%5D%0A%20%20%20%20%20%20%20%20for%20_%20in%20range(300)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20p%3D1%2F(1%2Bnp.exp(-np.clip(x%5Btrain%5D%40w%2C-30%2C30)))%3Bw-%3D.08*(x%5Btrain%5D.T%40(p-target%5Btrain%5D)%2Flen(train)%2B.005*w)%0A%20%20%20%20%20%20%20%20scores%3D1%2F(1%2Bnp.exp(-np.clip(x%40w%2C-30%2C30)))%3Breward%3Dnp.column_stack(%5Bscores%2Cnp.full(len(x)%2C.55)%5D)%0A%20%20%20%20%20%20%20%20prior%3Dnp.column_stack(%5Blogits%2F3%2Cnp.max(logits%2F3%2C1)-1%5D)%3Bpolicy%3Dnp.zeros((x.shape%5B1%5D%2C5))%3Bref%3Dsm(prior)%0A%20%20%20%20%20%20%20%20for%20_%20in%20range(int(steps))%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20p%3Dsm(prior%5Btrain%5D%2Bx%5Btrain%5D%40policy)%3Badv%3Dreward%5Btrain%5D-.12*(np.log(p%2B1e-12)-np.log(ref%5Btrain%5D%2B1e-12))%3Bgrad%3Dp*(adv-(p*adv).sum(1%2Ckeepdims%3DTrue))%3Bpolicy%2B%3D.2*x%5Btrain%5D.T%40grad%2Flen(train)%0A%20%20%20%20%20%20%20%20after%3Dsm(prior%2Bx%40policy)%0A%20%20%20%20%20%20%20%20def%20metrics(p)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20a%3Dp%5Btest%5D.argmax(1)%3Banswered%3Da!%3D4%3Bwrong%3Danswered%26(a!%3Dtruth%5Btest%5D)%3Breturn%20%7B'questions'%3Alen(test)%2C'answered'%3Aint(answered.sum())%2C'wrong_answers'%3Aint(wrong.sum())%2C'correct_answers'%3Aint((answered%26(a%3D%3Dtruth%5Btest%5D)).sum())%2C'wrong_among_answered'%3Afloat(wrong.sum()%2Fmax(1%2Canswered.sum()))%2C'coverage'%3Afloat(answered.mean())%7D%0A%20%20%20%20%20%20%20%20names%3D%5B'red'%2C'blue'%2C'green'%2C'gold'%2C'I%20need%20to%20check'%5D%3Brows%3D%5B%5D%0A%20%20%20%20%20%20%20%20for%20i%20in%20test%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20tokens%2C_%3DMODEL%5B'cases'%5D%5Bi%5D%3Bchosen%3Dint(after%5Bi%5D.argmax())%3Brows.append(%7B'case'%3Aint(i)%2C'facts'%3A'%20'.join(MODEL%5B'vocab'%5D%5Bt%5D%20for%20t%20in%20tokens)%2C'supported'%3Anames%5Btruth%5Bi%5D%5D%2C'before'%3Anames%5Bint(ref%5Bi%5D.argmax())%5D%2C'after'%3Anames%5Bchosen%5D%2C'checker_for_after'%3ANone%20if%20chosen%3D%3D4%20else%20round(float(scores%5Bi%2Cchosen%5D)%2C3)%7D)%0A%20%20%20%20%20%20%20%20return%20%7B'model'%3A'Brightlab%2010%2C522-parameter%20trained%20transformer%2C%20edited%20checkpoint%3B%20frozen%20hidden-state%20checker%3B%20separately%20reward-trained%2025%20%C3%97%205%20answer%20policy'%2C'seed'%3Aseed%2C'steps'%3Asteps%2C'train_cases'%3Alen(train)%2C'reserved_cases'%3Alen(test)%2C'checker_accuracy_all_candidate_claims'%3Afloat(((scores%5Btest%5D%3E%3D.5)%3D%3Dtarget%5Btest%5D).mean())%2C'before'%3Ametrics(ref)%2C'after'%3Ametrics(after)%2C'rows'%3Arows%2C'reward'%3A'Learned%20support%20score%20for%20colour%20answers%3B%200.55%20for%20asking%20to%20check%3B%20KL%20penalty%200.12%20against%20initial%20policy.%20Weights%20of%20transformer%20and%20checker%20stay%20frozen%20during%20policy%20training.'%2C'interpretation'%3A'This%20is%20a%20small%20contextual-bandit%20policy%20update%20on%20known%20fictional%20facts%2C%20not%20full%20RLFR.%20A%20high%20checker%20score%20can%20be%20wrong.%20Ground%20truth%20is%20used%20to%20evaluate%20reserved%20cases%2C%20never%20as%20their%20training%20reward.'%7D%0A%0A%20%20%20%20def%20sentences(text)%3A%0A%20%20%20%20%20%20%20%20if%20len(text)%3E24000%3Araise%20ValueError('Select%20a%20passage%20shorter%20than%2024%2C000%20characters.')%0A%20%20%20%20%20%20%20%20parts%3D%5Bs.strip()%20for%20s%20in%20re.findall(r'%5B%5E.!%3F%5D%2B%5B.!%3F%5D%2B%5B%E2%80%9D%5C%22%5Cx27%5D*%7C%5B%5E.!%3F%5D%2B%24'%2Ctext)%20if%20s.strip()%5D%0A%20%20%20%20%20%20%20%20if%20not%203%3C%3Dlen(parts)%3C%3D40%3Araise%20ValueError('Use%203%E2%80%9340%20sentences.%20Select%20a%20shorter%20passage%20from%20longer%20works.')%0A%20%20%20%20%20%20%20%20return%20parts%0A%0A%20%20%20%20def%20story_inputs(text%2Cending%2Ccontext)%3A%0A%20%20%20%20%20%20%20%20parts%3Dsentences(text)%3Bvariant%3Dparts%5B%3A-1%5D%2B%5Bending.strip()%20or%20parts%5B-1%5D%5D%0A%20%20%20%20%20%20%20%20def%20inputs(s)%3Areturn%20%5B'%20'.join(s%5B%3Ai%2B1%5D)%20if%20context%3D%3D'accumulated'%20else%20s%5Bi%5D%20for%20i%20in%20range(len(s))%5D%0A%20%20%20%20%20%20%20%20return%20parts%2Cvariant%2Cinputs(parts)%2Binputs(variant)%0A%0A%20%20%20%20def%20story_result(parts%2Cvariant%2Cvectors%2Ccounts%2Cmodel%2Crevision%2Ccontext%2Climit%2Cpooling%2Cemotion_rows%3DNone)%3A%0A%20%20%20%20%20%20%20%20n%3Dlen(parts)%3Bvectors%3Dnp.array(vectors)%3Bpoints%2Cvar%3Dprojection(vectors%5B%3An%5D%2Cvectors)%3Brows%3D%5B%5D%0A%20%20%20%20%20%20%20%20for%20i%20in%20range(n)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20distance%3Dfloat(np.linalg.norm(vectors%5Bi%5D-vectors%5Bn%2Bi%5D))%3Bcos%3Dfloat(vectors%5Bi%5D%40vectors%5Bn%2Bi%5D%2Fmax(1e-12%2Cnp.linalg.norm(vectors%5Bi%5D)*np.linalg.norm(vectors%5Bn%2Bi%5D)))%0A%20%20%20%20%20%20%20%20%20%20%20%20rows.append(%7B'sentence'%3Ai%2B1%2C'original'%3Aparts%5Bi%5D%2C'changed'%3Avariant%5Bi%5D%2C'PC1'%3Afloat(points%5Bi%2C0%5D)%2C'PC2'%3Afloat(points%5Bi%2C1%5D)%2C'changed_PC1'%3Afloat(points%5Bn%2Bi%2C0%5D)%2C'changed_PC2'%3Afloat(points%5Bn%2Bi%2C1%5D)%2C'tokens'%3Acounts%5Bi%5D%2C'changed_tokens'%3Acounts%5Bn%2Bi%5D%2C'truncated'%3Acounts%5Bi%5D%3Elimit%20or%20counts%5Bn%2Bi%5D%3Elimit%2C'vector_distance'%3Adistance%2C'cosine_similarity'%3Acos%7D)%0A%20%20%20%20%20%20%20%20return%20%7B'model'%3Amodel%2C'revision'%3Arevision%2C'context'%3Acontext%2C'token_limit'%3Alimit%2C'pooling'%3Apooling%2C'pca_variance'%3Avar%2C'projection'%3A'PCA%20fitted%20to%20original%20version%20only%3B%20unchanged%20basis%20and%20mean%20for%20variant.%20Arbitrary%20component%20signs.%20Two%20axes%20are%20not%20inherently%20emotions.'%2C'rows'%3Arows%2C'emotion_readouts'%3Aemotion_rows%2C'svg'%3Aplot(points%5B%3An%5D%2Csecond%3Dpoints%5Bn%3A%5D)%2C'interpretation'%3A'Blue%20solid%20%3D%20original%3B%20pink%20dashed%20%3D%20replacement%20ending.%20A%20projection%20can%20hide%20differences.%20Compare%20full-vector%20distances.%20Movement%20can%20reflect%20length%2C%20vocabulary%2C%20context%20and%20truncation%20as%20well%20as%20narrative%20changes.'%7D%0A%0A%20%20%20%20async%20def%20browser_story(text%2Cending%2Ccontext%3D'accumulated')%3A%0A%20%20%20%20%20%20%20%20parts%2Cvariant%2Cinputs%3Dstory_inputs(text%2Cending%2Ccontext)%0A%20%20%20%20%20%20%20%20globalThis%3Dimportlib.import_module('js').globalThis%0A%20%20%20%20%20%20%20%20%23%20Marimo%20runs%20Pyodide%20in%20a%20worker%2C%20which%20has%20no%20window.%20Import%20the%20inference%20module%20in%20that%20worker.%0A%20%20%20%20%20%20%20%20origin%3Dstr(globalThis.location.origin)%0A%20%20%20%20%20%20%20%20if%20origin%3D%3D'null'%3Araise%20RuntimeError('Open%20this%20notebook%20from%20the%20BrightLab%20site%2C%20not%20a%20local%20file%20URL%2C%20or%20use%20native%20mode.')%0A%20%20%20%20%20%20%20%20module_url%3Dorigin%2B'%2Fspark%2Fmodel-runtime.js'%0A%20%20%20%20%20%20%20%20program%3D'(async()%3D%3E%7Bif(!globalThis.sparkEmbed)%7Bawait%20import('%2Bjson.dumps(module_url)%2B')%3B%7Dreturn%20await%20globalThis.sparkEmbed('%2Bjson.dumps(json.dumps(inputs))%2B')%3B%7D)()'%0A%20%20%20%20%20%20%20%20data%3Djson.loads(await%20globalThis.eval(program))%0A%20%20%20%20%20%20%20%20return%20story_result(parts%2Cvariant%2Cdata%5B'vectors'%5D%2Cdata%5B'tokenCounts'%5D%2Cdata%5B'model'%5D%2Cdata%5B'revision'%5D%2Ccontext%2C256%2C'MiniLM%20mean-pooled%20encoder%3B%20FIRST%20256%20tokens%20retained')%0A%0A%20%20%20%20def%20native_story(text%2Cending%2Ccontext%3D'accumulated'%2Clayer%3D15%2Cemotions%3DFalse)%3A%0A%20%20%20%20%20%20%20%20parts%2Cvariant%2Cinputs%3Dstory_inputs(text%2Cending%2Ccontext)%3Bvectors%3D%5B%5D%3Bcounts%3D%5B%5D%3Bemotion_rows%3D%5B%5D%0A%20%20%20%20%20%20%20%20for%20t%20in%20inputs%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20h%2C_%2Ccount%2Cactual%3Dhidden_and_logits(t%2Clayer%2C512)%3Bvectors.append(h)%3Bcounts.append(count)%0A%20%20%20%20%20%20%20%20if%20emotions%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20Separate%20prompted%20behaviour%3A%20average%20token%20log%20likelihood%20of%20candidate%20labels%2C%20not%200%E2%80%9310%20ratings.%0A%20%20%20%20%20%20%20%20%20%20%20%20torch%3Dimportlib.import_module('torch')%0A%20%20%20%20%20%20%20%20%20%20%20%20tok%2Cmodel%3Dlanguage_model()%0A%20%20%20%20%20%20%20%20%20%20%20%20for%20i%2Ct%20in%20enumerate(inputs%5B%3Alen(parts)%5D)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20prompt%3Df'Story%3A%20%7Bt%7D%5CnThe%20main%20emotion%20in%20this%20story%20is'%3Bids%3Dtok(prompt%2Creturn_tensors%3D'pt'%2Cadd_special_tokens%3DFalse).input_ids%5B%3A%2C-480%3A%5D.to(model.device)%3Bscores%3D%5B%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20for%20emotion%20in%20EMOTIONS%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20suffix%3Dtok('%20'%2Bemotion%2Creturn_tensors%3D'pt'%2Cadd_special_tokens%3DFalse).input_ids.to(model.device)%3Bfull%3Dtorch.cat(%5Bids%2Csuffix%5D%2C1)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20with%20torch.no_grad()%3Alogp%3Dmodel(full).logits%5B0%5D.log_softmax(-1)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20values%3D%5Bfloat(logp%5Bids.shape%5B1%5D-1%2Bj%2Ctoken%5D)%20for%20j%2Ctoken%20in%20enumerate(suffix%5B0%5D)%5D%3Bscores.append(float(np.mean(values)))%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20probs%3Dsm(np.array(scores))%3Bemotion_rows.append(%7B'sentence'%3Ai%2B1%2C**%7Be%3Afloat(p)%20for%20e%2Cp%20in%20zip(EMOTIONS%2Cprobs)%7D%7D)%0A%20%20%20%20%20%20%20%20return%20story_result(parts%2Cvariant%2Cvectors%2Ccounts%2CSMOL%2CSMOL_REV%2Ccontext%2C512%2Cf'Last-token%20hidden%20state%20at%20layer%20%7Bactual%7D%3B%20LAST%20512%20tokens%20retained'%2Cemotion_rows%20or%20None)%0A%0A%20%20%20%20def%20fetch_book(book)%3A%0A%20%20%20%20%20%20%20%20%23%20A%20curated%20identifier%2C%20not%20an%20arbitrary%20URL%20%2F%20private%20network%20fetch.%0A%20%20%20%20%20%20%20%20if%20str(book)%20not%20in%20%5B'1524'%2C'2591'%5D%3Araise%20ValueError('Choose%20Hamlet%20(1524)%20or%20Grimms%E2%80%99%20Fairy%20Tales%20(2591).')%0A%20%20%20%20%20%20%20%20url%3Df'https%3A%2F%2Fwww.gutenberg.org%2Febooks%2F%7Bbook%7D.txt.utf-8'%0A%20%20%20%20%20%20%20%20if%20sys.platform%3D%3D'emscripten'%3Araise%20RuntimeError('Gutenberg%20importing%20uses%20native%20Python.%20In%20the%20browser%2C%20paste%20a%20selected%20passage%20or%20upload%20a%20.txt%20file%20instead.')%0A%20%20%20%20%20%20%20%20from%20urllib.request%20import%20urlopen%2CRequest%0A%20%20%20%20%20%20%20%20with%20urlopen(Request(url%2Cheaders%3D%7B'User-Agent'%3A'BrightLabSpark%20classroom%20research'%7D)%2Ctimeout%3D45)%20as%20response%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20data%3Dresponse.read(3_000_001)%0A%20%20%20%20%20%20%20%20if%20len(data)%3E3_000_000%3Araise%20ValueError('This%20edition%20exceeds%20the%203%20MB%20import%20limit.')%0A%20%20%20%20%20%20%20%20return%20%7B'source'%3Aurl%2C'book'%3Astr(book)%2C'text'%3Adata.decode('utf-8-sig').replace('%5Cr%5Cn'%2C'%5Cn').replace('%5Cr'%2C'%5Cn')%2C'note'%3A'Choose%20and%20preview%20a%203%E2%80%9340-sentence%20passage.%20A%20full%20play%20is%20not%20one%20model%20context.%20The%20Gutenberg%20edition%20includes%20licence%20and%20editorial%20material.'%7D%0A%0A%20%20%20%20import%20marimo%20as%20mo%0A%20%20%20%20lesson%20%3D%20%7B'id'%3A%20'y10-calculator'%2C%20'year'%3A%2010%2C%20'kind'%3A%20'calculator'%2C%20'title'%3A%20'Inside%20a%20geometric%20calculator'%2C%20'question'%3A%20'How%20can%20several%20circles%20represent%20one%20number%20%E2%80%94%20and%20help%20a%20model%20add%3F'%2C%20'goal'%3A%20'Calculate%20residues%2C%20explain%20how%20several%20periodic%20features%20disambiguate%20numbers%2C%20and%20distinguish%20a%20pattern%20in%20activations%20from%20causal%20evidence.'%2C%20'prerequisite'%3A%20'Addition%2C%20remainders%20and%20coordinates%3B%20sine%20and%20cosine%20are%20introduced%20visually.'%2C%20'source'%3A%20'https%3A%2F%2Fwww.goodfire.com%2Fresearch%2Fa-geometric-calculator'%2C%20'paper'%3A%20'https%3A%2F%2Farxiv.org%2Fhtml%2F2605.01148v1'%2C%20'minutes'%3A%2060%2C%20'basis'%3A%20'Goodfire%20identified%20a%20shared%20addition%20mechanism%20in%20Llama%203.1%208B.%20Its%20number%20features%20include%20periods%202%2C%205%20and%2010.%20The%20paper%20tests%20interventions%20as%20well%20as%20observing%20patterns.'%2C%20'sequence'%3A%20%5B'Predict%20the%20residue%20of%2017%20on%20each%20circle.%20Explain%20why%20one%20circle%20cannot%20identify%20every%20number.'%2C%20'Use%20the%20authors%E2%80%99%20activation%20explorer%20to%20compare%20inputs%20and%20output%20for%206%20%2B%208.%20Record%20one%20observation%20for%20each%20period.'%2C%20'Contrast%20those%20observations%20with%20the%20authors%E2%80%99%20steering%20experiment.%20What%20changed%20inside%20the%20model%3F'%2C%20'In%20Marimo%2C%20train%20a%20small%20network%20and%20inspect%20its%20learned%20hidden%20states.%20Compare%20it%20with%20an%20openly%20specified%20Fourier%20representation.'%2C%20'Extend%20to%20a%20small%20pretrained%20language%20model.%20Fit%20a%20probe%20on%20training%20prompts%2C%20then%20score%20reserved%20prompts.'%5D%2C%20'assessment'%3A%20'Submit%20a%20residue%20calculation%2C%20a%20comparison%20from%20the%20original%20demo%2C%20and%20one%20claim%20supported%20by%20an%20intervention%20rather%20than%20just%20a%20picture.'%2C%20'boundary'%3A%20'Our%20circles%20are%20exact%20mathematical%20illustrations.%20The%20embedded%20demos%20are%20Goodfire%E2%80%99s%20recorded%20Llama%20measurements.%20Our%20small%20trained%20network%20and%20open-model%20experiments%20are%20independent%20extensions%2C%20not%20a%20replication%20of%20the%20complete%20paper.'%7D%0A%20%20%20%20MODEL%20%3D%20None%0A%20%20%20%20forward%20%3D%20None%0A%20%20%20%20engine%20%3D%20%7B'train_addition'%3Atrain_addition%2C'native_calculator'%3Anative_calculator%2C'truth_experiment'%3Atruth_experiment%2C'browser_story'%3Abrowser_story%2C'native_story'%3Anative_story%2C'fetch_book'%3Afetch_book%2C'ORIGINAL'%3AORIGINAL%7D%0A%20%20%20%20return%20engine%2C%20json%2C%20lesson%2C%20mo%0A%0A%0A%40app.cell%0Adef%20_(lesson%2C%20mo)%3A%0A%20%20%20%20mo.md(f%22%22%22%23%20BrightLab%20Spark%20%C2%B7%20Year%20%7Blesson%5B'year'%5D%7D%0A%20%20%20%20%23%23%20%7Blesson%5B'title'%5D%7D%0A%20%20%20%20**The%20question%3A**%20%7Blesson%5B'question'%5D%7D%0A%0A%20%20%20%20**Your%20goal%3A**%20%7Blesson%5B'goal'%5D%7D%0A%0A%20%20%20%20%5BRead%20Goodfire%E2%80%99s%20article%5D(%7Blesson%5B'source'%5D%7D)%20%C2%B7%20%5BResearch%20paper%5D(%7Blesson%5B'paper'%5D%7D)%20%C2%B7%20%5BSpark%20setup%20guide%5D(https%3A%2F%2Fbrightlab-ai-creators.ian347727.chatgpt.site%2Fspark%2Ffield-guide)%0A%0A%20%20%20%20**Research%20boundary%3A**%20%7Blesson%5B'boundary'%5D%7D%0A%0A%20%20%20%20Work%20in%20pairs%3A%20predict%20first%2C%20run%20once%2C%20then%20use%20a%20control%20to%20challenge%20your%20explanation.%20Results%20and%20text%20stay%20in%20this%20session%20unless%20you%20download%20them.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20prediction%20%3D%20mo.ui.text_area(label%3D%22Before%20running%3A%20what%20do%20you%20predict%2C%20and%20what%20evidence%20would%20change%20your%20mind%3F%22%2C%20full_width%3DTrue)%0A%20%20%20%20prediction%0A%20%20%20%20return%20(prediction%2C)%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20get_result%2C%20set_result%20%3D%20mo.state(None)%0A%20%20%20%20return%20get_result%2C%20set_result%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%22%22%22%0A%20%20%20%20%23%23%23%201.%20Does%20learning%20addition%20automatically%20make%20a%20circle%3F%0A%20%20%20%20Train%20a%20real%20small%20network%20on%20**80%20of%20100**%20possible%20pairs%20of%20digits.%20Reserve%20the%20other%2020.%20Its%20task%20is%20the%20last%20digit%20of%20the%20sum%3A%207%20%2B%209%20%E2%86%92%206.%0A%0A%20%20%20%20This%20is%20a%20**mod-10%20classroom%20task**%2C%20different%20from%20the%20paper%E2%80%99s%20ordinary%20addition%20and%20calendar%20remapping.%20A%20network%20may%20memorise%20training%20pairs%20and%20fail%20on%20new%20ones.%20We%20plot%20mean%20hidden%20states%20grouped%20by%20the%20known%20sum%3B%20grouping%20by%20labels%20can%20itself%20create%20structure.%0A%0A%20%20%20%20**Your%20test%3A**%20compare%20100%20and%201%2C000%20steps%20with%20the%20same%20seed.%20Count%20training%20and%20reserved%20successes%20separately.%20Does%20a%20more%20attractive%20plot%20mean%20better%20generalisation%3F%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20train_form%20%3D%20mo.ui.dictionary(%7B%22epochs%22%3Amo.ui.number(start%3D100%2Cstop%3D1500%2Cstep%3D100%2Cvalue%3D600%2Clabel%3D%22Training%20steps%22)%2C%22seed%22%3Amo.ui.number(start%3D1%2Cstop%3D99%2Cvalue%3D7%2Clabel%3D%22Split%20and%20initialisation%20seed%22)%7D).form(submit_button_label%3D%22Train%20the%20small%20network%22)%0A%20%20%20%20train_form%0A%20%20%20%20return%20(train_form%2C)%0A%0A%0A%40app.cell%0Adef%20_(engine%2C%20set_result%2C%20train_form)%3A%0A%20%20%20%20if%20train_form.value%20is%20not%20None%3A%0A%20%20%20%20%20%20%20%20try%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_r%3Dengine%5B'train_addition'%5D(**train_form.value)%0A%20%20%20%20%20%20%20%20%20%20%20%20set_result(%7B%22experiment%22%3A%22learned%20digit%20addition%22%2C%22settings%22%3Adict(train_form.value)%2C%22result%22%3A_r%7D)%0A%20%20%20%20%20%20%20%20except%20Exception%20as%20_e%3A%20set_result(%7B%22error%22%3Astr(_e)%7D)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%22%22%22%0A%20%20%20%20%23%23%23%202.%20Probe%20a%20pretrained%20language%20model%20%C2%B7%20native%20Python%0A%20%20%20%20The%20downloaded%20notebook%20can%20run%20**SmolLM2-135M-Instruct**%20on%20a%20CPU.%20It%20is%20much%20smaller%20than%20Goodfire%E2%80%99s%20Llama%203.1%208B.%0A%0A%20%20%20%20We%20collect%2064%20last-token%20hidden%20states%20from%20arithmetic%20prompts%2C%20fit%20a%20ridge%20probe%20on%2048%20and%20score%2016%20reserved%20prompts.%20Targets%20are%20cosine%20and%20sine%20at%20periods%202%2C%205%20and%2010.%20Compare%20the%20probe%20with%20the%20training-mean%20baseline%3A%20**lower%20error%20is%20better**.%20The%20plot%20shows%20held-out%20period-10%20probe%20predictions%2C%20not%20a%20discovered%20perfect%20circle.%0A%0A%20%20%20%20We%20transfer%20the%20same%20probe%20to%20August%20%2B%206%2C%20August%20%2B%2016%2C%20Friday%20%2B%202%2C%2013%3A00%20%2B%204%20and%2023%3A00%20%2B%203.%20Finally%2C%20we%20edit%20an%20intermediate%20state%20toward%20a%20chosen%20sum%2C%20cap%20the%20change%20at%2015%25%20of%20the%20state%E2%80%99s%20norm%2C%20and%20include%20an%20exact%20no-op%20control.%0A%0A%20%20%20%20**Year%2010%3A**%20explain%20why%20a%20probe%20that%20fails%20on%20reserved%20prompts%20is%20weak%20evidence.%20**Year%2011%3A**%20compare%20arithmetic%20and%20time%20transfer%2C%20then%20change%20one%20layer%20with%20the%20split%20fixed.%20A%20next-token%20fragment%20is%20not%20a%20full%20generated%20answer.%0A%0A%20%20%20%20The%20chat%20template%2C%20model%20revision%2C%20split%2C%20layer%2C%20predictions%20and%20intervention%20measurements%20are%20included%20in%20your%20report.%20No%20GPU%20or%20paid%20API%20is%20required.%20First%20use%20downloads%20roughly%20270%20MB%20of%20model%20weights.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20native_form%20%3D%20mo.ui.dictionary(%7B%22layer%22%3Amo.ui.number(start%3D1%2Cstop%3D29%2Cvalue%3D15%2Clabel%3D%22Intermediate%20layer%22)%2C%22steer_to%22%3Amo.ui.number(start%3D2%2Cstop%3D30%2Cvalue%3D17%2Clabel%3D%22Target%20ordinary%20sum%20for%20intervention%22)%2C%22seed%22%3Amo.ui.number(start%3D1%2Cstop%3D99%2Cvalue%3D7%2Clabel%3D%22Train%2Ftest%20split%20seed%22)%2C%22custom_domain%22%3Amo.ui.dropdown(options%3D%5B%22months%22%2C%22weekdays%22%2C%22hours%22%5D%2Cvalue%3D%22months%22%2Clabel%3D%22Your%20time%20domain%22)%2C%22custom_start%22%3Amo.ui.number(start%3D0%2Cstop%3D23%2Cvalue%3D8%2Clabel%3D%22Your%20start%3A%20months%201%E2%80%9312%2C%20weekdays%201%E2%80%937%2C%20hours%200%E2%80%9323%22)%2C%22custom_offset%22%3Amo.ui.number(start%3D0%2Cstop%3D30%2Cvalue%3D6%2Clabel%3D%22Your%20added%20interval%22)%7D).form(submit_button_label%3D%22Run%20the%20pretrained-model%20experiment%20(native%20only)%22)%0A%20%20%20%20native_form%0A%20%20%20%20return%20(native_form%2C)%0A%0A%0A%40app.cell%0Adef%20_(engine%2C%20native_form%2C%20set_result)%3A%0A%20%20%20%20if%20native_form.value%20is%20not%20None%3A%0A%20%20%20%20%20%20%20%20try%3A%20set_result(%7B%22experiment%22%3A%22SmolLM%20Fourier%20probe%20and%20transfer%22%2C%22settings%22%3Adict(native_form.value)%2C%22result%22%3Aengine%5B'native_calculator'%5D(**native_form.value)%7D)%0A%20%20%20%20%20%20%20%20except%20Exception%20as%20_e%3A%20set_result(%7B%22error%22%3Astr(_e)%7D)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(get_result%2C%20json%2C%20mo)%3A%0A%20%20%20%20latest%20%3D%20get_result()%0A%20%20%20%20if%20latest%20is%20None%3A%0A%20%20%20%20%20%20%20%20display%20%3D%20mo.md(%22%23%23%23%20Your%20evidence%20will%20appear%20here%5CnSubmit%20an%20experiment%20above.%20Model%20calculations%20only%20start%20when%20you%20submit.%22)%0A%20%20%20%20elif%20'error'%20in%20latest%3A%0A%20%20%20%20%20%20%20%20display%20%3D%20mo.callout(latest%5B'error'%5D%2Ckind%3D%22warn%22)%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20_r%3Dlatest%5B'result'%5D%3B_overview%3D%7Bk%3Av%20for%20k%2Cv%20in%20_r.items()%20if%20k%20not%20in%20%5B'svg'%2C'rows'%2C'next_token_rows'%2C'emotion_readouts'%2C'history'%5D%7D%0A%20%20%20%20%20%20%20%20_items%3D%5Bmo.md(%22%23%23%23%20Latest%20completed%20experiment%3A%20%22%2Blatest%5B'experiment'%5D)%2Cmo.md(%22Results%20belong%20to%20the%20submitted%20settings%20below.%20Edits%20are%20included%20only%20after%20you%20submit%20again.%22)%2Cmo.accordion(%7B'Submitted%20settings'%3Amo.md('%60%60%60json%5Cn'%2Bjson.dumps(latest%5B'settings'%5D%2Cindent%3D2)%2B'%5Cn%60%60%60')%7D)%5D%0A%20%20%20%20%20%20%20%20if%20'svg'%20in%20_r%3A%20_items.append(mo.Html(_r%5B'svg'%5D))%0A%20%20%20%20%20%20%20%20if%20'before'%20in%20_r%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_before%3D_r%5B'before'%5D%3B_after%3D_r%5B'after'%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20_items.append(mo.md(f%22**Before%20feedback%3A**%20%7B_before%5B'wrong_answers'%5D%7D%20wrong%20answers%20out%20of%20%7B_before%5B'answered'%5D%7D%20answers%2C%20from%20%7B_before%5B'questions'%5D%7D%20questions.%20**After%20feedback%3A**%20%7B_after%5B'wrong_answers'%5D%7D%20wrong%20answers%20out%20of%20%7B_after%5B'answered'%5D%7D%20answers.%20The%20policy%20asked%20to%20check%20on%20%7B_after%5B'questions'%5D-_after%5B'answered'%5D%7D%20questions.%20Compare%20both%20mistakes%20and%20willingness%20to%20answer.%22))%0A%20%20%20%20%20%20%20%20if%20'train_correct'%20in%20_r%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_items.append(mo.md(f%22**Training%20pairs%3A**%20%7B_r%5B'train_correct'%5D%7D%20%2F%2080%20correct.%20**Reserved%20pairs%3A**%20%7B_r%5B'test_correct'%5D%7D%20%2F%2020%20correct.%20Did%20learning%20the%20examples%20teach%20a%20rule%20that%20works%20on%20new%20pairs%3F%22))%0A%20%20%20%20%20%20%20%20if%20'heldout_probe_rmse'%20in%20_r%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_items.append(mo.md(f%22**Reserved%20probe%20error%3A**%20%7B_r%5B'heldout_probe_rmse'%5D%3A.3f%7D.%20**Constant%20baseline%20error%3A**%20%7B_r%5B'constant_baseline_rmse'%5D%3A.3f%7D.%20Lower%20is%20better.%20A%20probe%20that%20loses%20to%20the%20baseline%20has%20not%20demonstrated%20reliable%20number%20information%20on%20these%20prompts.%22))%0A%20%20%20%20%20%20%20%20if%20'pca_variance'%20in%20_r%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_items.append(mo.md(f%22The%20two-dimensional%20map%20keeps%20**%7B100*_r%5B'pca_variance'%5D%3A.1f%7D%25**%20of%20variation%20in%20the%20original%20reference%20vectors.%20Read%20the%20numbered%20rows%20below%20to%20connect%20points%20to%20evidence.%22))%0A%20%20%20%20%20%20%20%20_items.append(mo.accordion(%7B'Model%2C%20method%20and%20full%20measurements'%3Amo.md('%60%60%60json%5Cn'%2Bjson.dumps(_overview%2Cindent%3D2)%2B'%5Cn%60%60%60')%7D))%0A%20%20%20%20%20%20%20%20_items.append(mo.ui.table(_r.get('rows'%2C%5B%5D)%2Cpage_size%3D12%2Clabel%3D%22Evidence%20table%22))%0A%20%20%20%20%20%20%20%20if%20_r.get('next_token_rows')%3A%20_items.append(mo.ui.table(_r%5B'next_token_rows'%5D%2Cpage_size%3D8%2Clabel%3D%22Actual%20next-token%20predictions%22))%0A%20%20%20%20%20%20%20%20if%20_r.get('emotion_readouts')%3A%20_items.extend(%5Bmo.md(%22**Separate%20prompted%20readout%3A**%20relative%20likelihoods%20among%20six%20candidate%20emotion%20labels%2C%20using%20mean%20token%20log%20likelihood.%20These%20are%20not%20the%20paper%E2%80%99s%200%E2%80%9310%20ratings%20or%20calibrated%20emotional%20probabilities.%22)%2Cmo.ui.table(_r%5B'emotion_readouts'%5D)%5D)%0A%20%20%20%20%20%20%20%20_items.append(mo.download(data%3Djson.dumps(latest%2Cindent%3D2).encode()%2Cfilename%3D%22spark-evidence.json%22%2Clabel%3D%22Download%20settings%20and%20measured%20evidence%22))%0A%20%20%20%20%20%20%20%20display%3Dmo.vstack(_items)%0A%20%20%20%20display%0A%20%20%20%20return%20(latest%2C)%0A%0A%0A%40app.cell%0Adef%20_(lesson%2C%20mo)%3A%0A%20%20%20%20reflection%20%3D%20mo.ui.text_area(label%3D%22After%20running%3A%20state%20your%20claim%2C%20cite%20two%20measurements%2C%20name%20a%20limitation%2C%20and%20propose%20a%20fair%20next%20test.%22%2Cfull_width%3DTrue)%0A%20%20%20%20mo.vstack(%5Bmo.md(%22%23%23%23%20Explain%20what%20you%20found%5Cn%22%2Blesson%5B'assessment'%5D)%2Creflection%2Cmo.md(%22**Teacher%20check%3A**%20look%20for%20a%20prediction%2C%20a%20controlled%20comparison%2C%20accurate%20use%20of%20measured%20evidence%20and%20a%20limit%20on%20the%20conclusion.%20Accept%20spoken%20or%20drawn%20explanations%20for%20younger%20students.%20Do%20not%20reward%20a%20desired%20result%20over%20an%20honest%20failed%20hypothesis.%22)%5D)%0A%20%20%20%20return%20(reflection%2C)%0A%0A%0A%40app.cell%0Adef%20_(json%2C%20latest%2C%20mo%2C%20prediction%2C%20reflection)%3A%0A%20%20%20%20lab_record%20%3D%20%7B%22prediction%22%3Aprediction.value%2C%22reflection%22%3Areflection.value%2C%22latest_experiment%22%3Alatest%7D%0A%20%20%20%20mo.download(data%3Djson.dumps(lab_record%2Cindent%3D2).encode()%2Cfilename%3D%22spark-lab-record.json%22%2Clabel%3D%22Save%20my%20prediction%2C%20evidence%20and%20explanation%22)%0A%20%20%20%20return%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A