GAMO pruning report

%23%20%2F%2F%2F%20script%0A%23%20requires-python%20%3D%20%22%3E%3D3.12%22%0A%23%20dependencies%20%3D%20%5B%22marimo%3E%3D0.23.14%22%2C%20%22numpy%3D%3D2.4.3%22%2C%20%22plotly%3E%3D6.0%22%5D%0A%23%20%0A%23%20%5Btool.marimo.export%5D%0A%23%20lock_kind%20%3D%20%22resolved%22%0A%23%20%2F%2F%2F%0A%0A%23%20NOTE%3A%20AI%20generated%20conversion%20notebook%20from%20my%20original%20report%20be%20fully%20self-substained%0A%0Aimport%20marimo%0A%0A__generated_with%20%3D%20%220.23.14%22%0Aapp%20%3D%20marimo.App(width%3D%22medium%22%2C%20app_title%3D%22GAMO%20pruning%20report%22)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20import%20base64%0A%20%20%20%20import%20json%0A%20%20%20%20import%20mimetypes%0A%20%20%20%20import%20sys%0A%20%20%20%20from%20pathlib%20import%20Path%0A%0A%20%20%20%20import%20marimo%20as%20mo%0A%20%20%20%20import%20numpy%20as%20np%0A%20%20%20%20import%20plotly.graph_objects%20as%20go%0A%20%20%20%20from%20plotly.subplots%20import%20make_subplots%0A%0A%20%20%20%20RANDOM%20%3D%20%22Random%22%0A%20%20%20%20MAGNITUDE%20%3D%20%22Magnitude%22%0A%20%20%20%20MAGNITUDE_PER_LAYER%20%3D%20%22Magnitude%20(per-layer)%22%0A%20%20%20%20RANDOM_SEARCH%20%3D%20%22Random%20search%20(equal%20budget)%22%0A%20%20%20%20HILL_CLIMBING%20%3D%20%22Hill%20climbing%20(equal%20budget)%22%0A%20%20%20%20STRUCTURED_REPORT_METHODS%20%3D%20(%0A%20%20%20%20%20%20%20%20%22GA-uniform%22%2C%0A%20%20%20%20%20%20%20%20%22GA-two_point%22%2C%0A%20%20%20%20%20%20%20%20HILL_CLIMBING%2C%0A%20%20%20%20%20%20%20%20RANDOM_SEARCH%2C%0A%20%20%20%20%20%20%20%20MAGNITUDE%2C%0A%20%20%20%20%20%20%20%20MAGNITUDE_PER_LAYER%2C%0A%20%20%20%20%20%20%20%20RANDOM%2C%0A%20%20%20%20)%0A%20%20%20%20STRUCTURED_METHOD_LABELS%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%22GA-uniform%22%3A%20%22GA%20%C2%B7%20uniform%22%2C%0A%20%20%20%20%20%20%20%20%22GA-two_point%22%3A%20%22GA%20%C2%B7%20two-point%22%2C%0A%20%20%20%20%20%20%20%20HILL_CLIMBING%3A%20%22Hill%20climbing%22%2C%0A%20%20%20%20%20%20%20%20RANDOM_SEARCH%3A%20%22Random%20search%22%2C%0A%20%20%20%20%20%20%20%20MAGNITUDE%3A%20%22Magnitude%20%C2%B7%20global%22%2C%0A%20%20%20%20%20%20%20%20MAGNITUDE_PER_LAYER%3A%20%22Magnitude%20%C2%B7%20per%20layer%22%2C%0A%20%20%20%20%20%20%20%20RANDOM%3A%20%22Random%20mask%22%2C%0A%20%20%20%20%7D%0A%0A%20%20%20%20_notebook_location%20%3D%20mo.notebook_location()%0A%20%20%20%20if%20_notebook_location%20is%20None%3A%0A%20%20%20%20%20%20%20%20raise%20RuntimeError(%22Unable%20to%20determine%20the%20notebook%20location.%22)%0A%20%20%20%20_public%20%3D%20_notebook_location%20%2F%20%22public%22%0A%0A%20%20%20%20def%20_read_json(filename)%3A%0A%20%20%20%20%20%20%20%20source%20%3D%20_public%20%2F%20%22results%22%20%2F%20filename%0A%20%20%20%20%20%20%20%20if%20sys.platform%20%3D%3D%20%22emscripten%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20from%20pyodide.http%20import%20open_url%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20json.load(open_url(str(source)))%0A%20%20%20%20%20%20%20%20with%20Path(source).open(encoding%3D%22utf-8%22)%20as%20handle%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20json.load(handle)%0A%0A%20%20%20%20def%20_asset_uri(filename)%3A%0A%20%20%20%20%20%20%20%20source%20%3D%20_public%20%2F%20%22images%22%20%2F%20filename%0A%20%20%20%20%20%20%20%20if%20sys.platform%20%3D%3D%20%22emscripten%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20str(source)%0A%20%20%20%20%20%20%20%20path%20%3D%20Path(source)%0A%20%20%20%20%20%20%20%20if%20not%20path.exists()%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20%22%22%0A%20%20%20%20%20%20%20%20mime%20%3D%20mimetypes.guess_type(path)%5B0%5D%20or%20%22image%2Fwebp%22%0A%20%20%20%20%20%20%20%20encoded%20%3D%20base64.b64encode(path.read_bytes()).decode(%22ascii%22)%0A%20%20%20%20%20%20%20%20return%20f%22data%3A%7Bmime%7D%3Bbase64%2C%7Bencoded%7D%22%0A%0A%20%20%20%20def%20_structured_artifact_error(sweep)%3A%0A%20%20%20%20%20%20%20%20required%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22sparsities%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22architecture%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22methods%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22dense_acc%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22dense_val_acc%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22config%22%2C%0A%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20%20%20%20%20if%20not%20required.issubset(sweep)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20%22The%20structured%20result%20is%20incomplete%3B%20missing%3A%20%22%20%2B%20%22%2C%20%22.join(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20sorted(required%20-%20set(sweep))%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20sparsities%20%3D%20sweep%5B%22sparsities%22%5D%0A%20%20%20%20%20%20%20%20architecture%20%3D%20sweep%5B%22architecture%22%5D%0A%20%20%20%20%20%20%20%20hidden_sizes%20%3D%20architecture.get(%22hidden_sizes%22%2C%20%5B%5D)%0A%20%20%20%20%20%20%20%20if%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20not%20sparsities%0A%20%20%20%20%20%20%20%20%20%20%20%20or%20architecture.get(%22input_size%22%2C%200)%20%3C%3D%200%0A%20%20%20%20%20%20%20%20%20%20%20%20or%20architecture.get(%22output_size%22%2C%200)%20%3C%3D%200%0A%20%20%20%20%20%20%20%20%20%20%20%20or%20not%20hidden_sizes%0A%20%20%20%20%20%20%20%20)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20%22The%20structured%20result%20has%20an%20empty%20sparsity%20sweep%20or%20invalid%20architecture.%22%0A%20%20%20%20%20%20%20%20missing%20%3D%20set(STRUCTURED_REPORT_METHODS)%20-%20set(sweep%5B%22methods%22%5D)%0A%20%20%20%20%20%20%20%20if%20missing%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20%22The%20structured%20result%20is%20missing%20methods%3A%20%22%20%2B%20%22%2C%20%22.join(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20sorted(missing)%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20genome_length%20%3D%20sum(hidden_sizes)%0A%20%20%20%20%20%20%20%20for%20method%20in%20STRUCTURED_REPORT_METHODS%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20result%20%3D%20sweep%5B%22methods%22%5D%5Bmethod%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20len(result.get(%22accuracy%22%2C%20%5B%5D))%20!%3D%20len(sparsities)%20or%20len(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20result.get(%22accuracy_std%22%2C%20%5B%5D)%0A%20%20%20%20%20%20%20%20%20%20%20%20)%20!%3D%20len(sparsities)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22The%20structured%20result%20has%20the%20wrong%20series%20length%20for%20%7Bmethod%7D.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20for%20sparsity%20in%20sparsities%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20runs%20%3D%20result.get(%22runs%22%2C%20%7B%7D).get(f%22%7Bsparsity%3A.4f%7D%22%2C%20%5B%5D)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20not%20runs%20or%20any(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20len(run.get(%22mask%22%2C%20%5B%5D))%20!%3D%20genome_length%20for%20run%20in%20runs%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20return%20f%22The%20structured%20result%20has%20missing%20or%20invalid%20runs%20for%20%7Bmethod%7D.%22%0A%20%20%20%20%20%20%20%20return%20None%0A%0A%20%20%20%20def%20load_report_artifacts()%3A%0A%20%20%20%20%20%20%20%20try%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20sweep%20%3D%20_read_json(%22structured.json%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20unstructured%20%3D%20_read_json(%22unstructured.json%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20ablation%20%3D%20_read_json(%22ablation.json%22)%0A%20%20%20%20%20%20%20%20except%20(FileNotFoundError%2C%20OSError%2C%20ValueError)%20as%20exc%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20None%2C%20None%2C%20None%2C%20f%22Unable%20to%20load%20the%20public%20report%20data%3A%20%7Bexc%7D%22%0A%20%20%20%20%20%20%20%20error%20%3D%20_structured_artifact_error(sweep)%0A%20%20%20%20%20%20%20%20if%20error%20is%20None%20and%20not%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22sparsities%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22dense_acc%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22parameter_counts%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22config%22%2C%0A%20%20%20%20%20%20%20%20%7D.issubset(unstructured)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20error%20%3D%20%22The%20unstructured%20result%20is%20missing%20or%20incomplete.%22%0A%20%20%20%20%20%20%20%20if%20error%20is%20None%20and%20not%20%7B%22sensitivity%22%2C%20%22config%22%7D.issubset(ablation)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20error%20%3D%20%22The%20sensitivity%20result%20is%20missing%20or%20incomplete.%22%0A%20%20%20%20%20%20%20%20if%20error%20is%20None%20and%20unstructured%5B%22dense_acc%22%5D%20!%3D%20sweep%5B%22dense_acc%22%5D%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20error%20%3D%20%22Structured%20and%20unstructured%20artifacts%20use%20different%20checkpoints.%22%0A%20%20%20%20%20%20%20%20return%20sweep%2C%20unstructured%2C%20ablation%2C%20error%0A%0A%20%20%20%20def%20mean_runs(runs)%3A%0A%20%20%20%20%20%20%20%20values%20%3D%20list(runs)%0A%20%20%20%20%20%20%20%20if%20values%20and%20any(len(value)%20!%3D%20len(values%5B0%5D)%20for%20value%20in%20values%5B1%3A%5D)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20raise%20ValueError(%22artifact%20runs%20must%20have%20equal%20lengths%22)%0A%20%20%20%20%20%20%20%20return%20%5Bsum(point)%20%2F%20len(point)%20for%20point%20in%20zip(*values)%5D%20if%20values%20else%20%5B%5D%0A%0A%20%20%20%20def%20_runs(sweep%2C%20method%2C%20sparsity)%3A%0A%20%20%20%20%20%20%20%20try%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20sweep%5B%22methods%22%5D%5Bmethod%5D%5B%22runs%22%5D%5Bf%22%7Bsparsity%3A.4f%7D%22%5D%0A%20%20%20%20%20%20%20%20except%20KeyError%20as%20exc%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20raise%20ValueError(f%22missing%20runs%20for%20%7Bmethod%7D%20at%20%7Bsparsity%3A.0%25%7D%22)%20from%20exc%0A%0A%20%20%20%20def%20effective_sparsity_rows(sweep%2C%20primary_method)%3A%0A%20%20%20%20%20%20%20%20rows%20%3D%20%5B%5D%0A%20%20%20%20%20%20%20%20weight_sparsities%20%3D%20%5B%5D%0A%20%20%20%20%20%20%20%20for%20index%2C%20sparsity%20in%20enumerate(sweep%5B%22sparsities%22%5D)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20method%20%3D%20sweep%5B%22methods%22%5D%5Bprimary_method%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20stats%20%3D%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20run%5B%22sparsity_stats%22%5D%20for%20run%20in%20_runs(sweep%2C%20primary_method%2C%20sparsity)%0A%20%20%20%20%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20weight_mean%20%3D%20sum(item%5B%22weight_sparsity%22%5D%20for%20item%20in%20stats)%20%2F%20len(stats)%0A%20%20%20%20%20%20%20%20%20%20%20%20parameter_mean%20%3D%20sum(item%5B%22parameter_sparsity%22%5D%20for%20item%20in%20stats)%20%2F%20len(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20stats%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20weight_sparsities.append(weight_mean)%0A%20%20%20%20%20%20%20%20%20%20%20%20rows.append(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Neuron%20sparsity%22%3A%20f%22%7Bsparsity%3A.0%25%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Weight%20sparsity%22%3A%20f%22%7Bweight_mean%3A.1%25%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Parameter%20sparsity%22%3A%20f%22%7Bparameter_mean%3A.1%25%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Test%20accuracy%22%3A%20f%22%7Bmethod%5B'accuracy'%5D%5Bindex%5D%3A.1f%7D%25%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20return%20rows%2C%20weight_sparsities%0A%0A%20%20%20%20def%20_split_mask(mask%2C%20hidden_sizes)%3A%0A%20%20%20%20%20%20%20%20flat%20%3D%20np.asarray(mask%2C%20dtype%3Dbool).reshape(-1)%0A%20%20%20%20%20%20%20%20if%20flat.size%20!%3D%20sum(hidden_sizes)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20raise%20ValueError(%22neuron%20mask%20length%20does%20not%20match%20hidden_sizes%22)%0A%20%20%20%20%20%20%20%20return%20tuple(np.split(flat%2C%20np.cumsum(hidden_sizes)%5B%3A-1%5D))%0A%0A%20%20%20%20def%20neuron_to_weight_masks(%0A%20%20%20%20%20%20%20%20neuron_mask%2C%20hidden_sizes%2C%20input_size%3D784%2C%20output_size%3D10%0A%20%20%20%20)%3A%0A%20%20%20%20%20%20%20%20layers%20%3D%20_split_mask(neuron_mask%2C%20hidden_sizes)%0A%20%20%20%20%20%20%20%20weight_masks%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Input%20%E2%86%92%20L0%22%3A%20np.broadcast_to(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20layers%5B0%5D%5B%3A%2C%20None%5D%2C%20(hidden_sizes%5B0%5D%2C%20input_size)%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20%20%20%20%20for%20index%20in%20range(1%2C%20len(layers))%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20weight_masks%5Bf%22L%7Bindex%20-%201%7D%20%E2%86%92%20L%7Bindex%7D%22%5D%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20layers%5Bindex%5D%5B%3A%2C%20None%5D%20%26%20layers%5Bindex%20-%201%5D%5BNone%2C%20%3A%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20weight_masks%5Bf%22L%7Blen(layers)%20-%201%7D%20%E2%86%92%20Output%22%5D%20%3D%20np.broadcast_to(%0A%20%20%20%20%20%20%20%20%20%20%20%20layers%5B-1%5D%5BNone%2C%20%3A%5D%2C%20(output_size%2C%20hidden_sizes%5B-1%5D)%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20return%20weight_masks%0A%0A%20%20%20%20def%20weight_layer_rows(weight_masks)%3A%0A%20%20%20%20%20%20%20%20rows%20%3D%20%5B%5D%0A%20%20%20%20%20%20%20%20for%20layer%2C%20mask%20in%20weight_masks.items()%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20total%20%3D%20mask.size%0A%20%20%20%20%20%20%20%20%20%20%20%20kept%20%3D%20int(mask.sum())%0A%20%20%20%20%20%20%20%20%20%20%20%20rows.append(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Weight%20matrix%22%3A%20layer%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Shape%22%3A%20f%22%7Bmask.shape%5B0%5D%7D%20%C3%97%20%7Bmask.shape%5B1%5D%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Weights%20removed%22%3A%20f%22%7Btotal%20-%20kept%3A%2C%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Weight%20sparsity%22%3A%20f%22%7B1%20-%20kept%20%2F%20total%3A.1%25%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20return%20rows%0A%0A%20%20%20%20def%20neuron_layer_rows(neuron_mask%2C%20hidden_sizes)%3A%0A%20%20%20%20%20%20%20%20rows%20%3D%20%5B%5D%0A%20%20%20%20%20%20%20%20for%20index%2C%20layer_mask%20in%20enumerate(%0A%20%20%20%20%20%20%20%20%20%20%20%20_split_mask(neuron_mask%2C%20hidden_sizes)%2C%20start%3D1%0A%20%20%20%20%20%20%20%20)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20kept%20%3D%20int(layer_mask.sum())%0A%20%20%20%20%20%20%20%20%20%20%20%20total%20%3D%20layer_mask.size%0A%20%20%20%20%20%20%20%20%20%20%20%20rows.append(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Hidden%20layer%22%3A%20f%22Layer%20%7Bindex%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Neurons%20kept%22%3A%20f%22%7Bkept%3A%2C%7D%20%2F%20%7Btotal%3A%2C%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Neurons%20removed%22%3A%20f%22%7Btotal%20-%20kept%3A%2C%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Neuron%20sparsity%22%3A%20f%22%7B1%20-%20kept%20%2F%20total%3A.1%25%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20return%20rows%0A%0A%20%20%20%20def%20structured_explorer_view(sweep%2C%20method%2C%20sparsity)%3A%0A%20%20%20%20%20%20%20%20if%20method%20not%20in%20sweep%5B%22methods%22%5D%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20raise%20ValueError(f%22unknown%20structured%20method%3A%20%7Bmethod%7D%22)%0A%20%20%20%20%20%20%20%20try%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20index%20%3D%20sweep%5B%22sparsities%22%5D.index(sparsity)%0A%20%20%20%20%20%20%20%20except%20ValueError%20as%20exc%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20raise%20ValueError(f%22unknown%20structured%20sparsity%3A%20%7Bsparsity%7D%22)%20from%20exc%0A%20%20%20%20%20%20%20%20result%20%3D%20sweep%5B%22methods%22%5D%5Bmethod%5D%0A%20%20%20%20%20%20%20%20runs%20%3D%20_runs(sweep%2C%20method%2C%20sparsity)%0A%20%20%20%20%20%20%20%20representative%20%3D%20next(%0A%20%20%20%20%20%20%20%20%20%20%20%20(run%20for%20run%20in%20runs%20if%20run%5B%22seed%22%5D%20%3D%3D%20sweep%5B%22config%22%5D%5B%22seed%22%5D)%2C%20runs%5B0%5D%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20raw_mask%20%3D%20np.asarray(representative%5B%22mask%22%5D%2C%20dtype%3Dbool)%0A%20%20%20%20%20%20%20%20architecture%20%3D%20sweep%5B%22architecture%22%5D%0A%20%20%20%20%20%20%20%20return%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22accuracy%22%3A%20result%5B%22accuracy%22%5D%5Bindex%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22std%22%3A%20result%5B%22accuracy_std%22%5D%5Bindex%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22weight_sparsity%22%3A%20sum(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20float(run%5B%22sparsity_stats%22%5D%5B%22weight_sparsity%22%5D)%20for%20run%20in%20runs%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20%2F%20len(runs)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22curve%22%3A%20mean_runs(run%5B%22curve%22%5D%20for%20run%20in%20runs%20if%20run%5B%22curve%22%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22distribution%22%3A%20mean_runs(run%5B%22layer_sparsity%22%5D%20for%20run%20in%20runs)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22neuron_mask%22%3A%20raw_mask%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22representative_seed%22%3A%20representative%5B%22seed%22%5D%2C%0A%20%20%20%20%20%20%20%20%7D%0A%0A%20%20%20%20pruning_img%20%3D%20_asset_uri(%22pruning.webp%22)%0A%20%20%20%20steps_img%20%3D%20_asset_uri(%22steps.webp%22)%0A%20%20%20%20training_protocol%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%22epochs%22%3A%2010%2C%0A%20%20%20%20%20%20%20%20%22batch_size%22%3A%20128%2C%0A%20%20%20%20%20%20%20%20%22learning_rate%22%3A%201e-3%2C%0A%20%20%20%20%20%20%20%20%22minimum_learning_rate%22%3A%201e-5%2C%0A%20%20%20%20%20%20%20%20%22weight_decay%22%3A%201e-3%2C%0A%20%20%20%20%20%20%20%20%22validation_split%22%3A%200.3%2C%0A%20%20%20%20%20%20%20%20%22seed%22%3A%201337%2C%0A%20%20%20%20%20%20%20%20%22normalization_mean%22%3A%200.286%2C%0A%20%20%20%20%20%20%20%20%22normalization_std%22%3A%200.353%2C%0A%20%20%20%20%7D%0A%20%20%20%20_source_url%20%3D%20%22https%3A%2F%2Fgithub.com%2FJac-Zac%2FGA_Pruning%2Fblob%2Fmain%22%0A%20%20%20%20ga_step_sources%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%22Complete%20evolution%20loop%22%3A%20f%22%23%20Full%20implementation%3A%20%7B_source_url%7D%2Fsrc%2Fgamo%2Fga%2Fsearch.py%22%2C%0A%20%20%20%20%20%20%20%20%22Initialization%22%3A%20f%22%23%20Full%20implementation%3A%20%7B_source_url%7D%2Fsrc%2Fgamo%2Fga%2Foperators.py%23L12-L30%22%2C%0A%20%20%20%20%20%20%20%20%22Selection%22%3A%20f%22%23%20Full%20implementation%3A%20%7B_source_url%7D%2Fsrc%2Fgamo%2Fga%2Foperators.py%23L33-L59%22%2C%0A%20%20%20%20%20%20%20%20%22Crossover%22%3A%20f%22%23%20Full%20implementation%3A%20%7B_source_url%7D%2Fsrc%2Fgamo%2Fga%2Foperators.py%23L62-L98%22%2C%0A%20%20%20%20%20%20%20%20%22Mutation%22%3A%20f%22%23%20Full%20implementation%3A%20%7B_source_url%7D%2Fsrc%2Fgamo%2Fga%2Foperators.py%23L117-L124%22%2C%0A%20%20%20%20%20%20%20%20%22Mask%20repair%22%3A%20f%22%23%20Full%20implementation%3A%20%7B_source_url%7D%2Fsrc%2Fgamo%2Fga%2Foperators.py%23L101-L114%22%2C%0A%20%20%20%20%7D%0A%0A%20%20%20%20%23%20---------------------------------------------------------------------------%0A%20%20%20%20%23%20Palette%20%E2%80%94%20baselines%20in%20warm%20neutrals%2C%20GA%20configs%20in%20a%20qualitative%20palette.%0A%20%20%20%20%23%20---------------------------------------------------------------------------%0A%20%20%20%20INK%20%3D%20%22%231c1b19%22%0A%0A%20%20%20%20COL%3A%20dict%5Bstr%2C%20str%5D%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%22Random%22%3A%20%22%239ca3af%22%2C%0A%20%20%20%20%20%20%20%20%22Random%20search%20(equal%20budget)%22%3A%20%22%236b7280%22%2C%0A%20%20%20%20%20%20%20%20%22Magnitude%22%3A%20%22%23b08968%22%2C%0A%20%20%20%20%20%20%20%20%22Magnitude%20(per-layer)%22%3A%20%22%23dcab6b%22%2C%0A%20%20%20%20%20%20%20%20%22Dense%22%3A%20%22%238a8a8a%22%2C%0A%20%20%20%20%7D%0A%0A%20%20%20%20GA_COLORS%3A%20list%5Bstr%5D%20%3D%20%5B%0A%20%20%20%20%20%20%20%20%22%233a8a94%22%2C%0A%20%20%20%20%20%20%20%20%22%237b4d91%22%2C%0A%20%20%20%20%20%20%20%20%22%23d97c3d%22%2C%0A%20%20%20%20%20%20%20%20%22%234d8f5c%22%2C%0A%20%20%20%20%20%20%20%20%22%23c04851%22%2C%0A%20%20%20%20%20%20%20%20%22%235b8db8%22%2C%0A%20%20%20%20%5D%0A%0A%20%20%20%20def%20_ga_color(label%3A%20str)%20-%3E%20str%3A%0A%20%20%20%20%20%20%20%20%23%20Use%20a%20stable%20label-derived%20color%20instead%20of%20Python's%20randomized%20hash.%0A%20%20%20%20%20%20%20%20idx%20%3D%20sum(ord(c)%20for%20c%20in%20label)%20%25%20len(GA_COLORS)%0A%20%20%20%20%20%20%20%20return%20GA_COLORS%5Bidx%5D%0A%0A%20%20%20%20%23%20---------------------------------------------------------------------------%0A%20%20%20%20%23%20Layout%20helper%0A%20%20%20%20%23%20---------------------------------------------------------------------------%0A%20%20%20%20def%20_plotly_layout(**kw%3A%20float%20%7C%20str%20%7C%20dict)%20-%3E%20dict%3A%0A%20%20%20%20%20%20%20%20base%20%3D%20dict(%0A%20%20%20%20%20%20%20%20%20%20%20%20font%3Ddict(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20family%3D%22Inter%2C%20system-ui%2C%20-apple-system%2C%20sans-serif%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20color%3DINK%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20size%3D13%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20paper_bgcolor%3D%22rgba(0%2C0%2C0%2C0)%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20plot_bgcolor%3D%22rgba(0%2C0%2C0%2C0)%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20margin%3Ddict(l%3D52%2C%20r%3D12%2C%20t%3D42%2C%20b%3D40)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20legend%3Ddict(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20bgcolor%3D%22rgba(255%2C255%2C255%2C0.65)%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20bordercolor%3D%22rgba(0%2C0%2C0%2C0)%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20borderwidth%3D0%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20hoverlabel%3Ddict(font_size%3D12)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20xaxis%3Ddict(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20gridcolor%3D%22%23ece6db%22%2C%20zerolinecolor%3D%22%23ddd4c6%22%2C%20linecolor%3D%22%23ddd4c6%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20yaxis%3Ddict(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20gridcolor%3D%22%23ece6db%22%2C%20zerolinecolor%3D%22%23ddd4c6%22%2C%20linecolor%3D%22%23ddd4c6%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20base.update(kw)%0A%20%20%20%20%20%20%20%20return%20base%0A%0A%20%20%20%20%23%20---------------------------------------------------------------------------%0A%20%20%20%20%23%20Accuracy%20versus%20sparsity%20sweep%0A%20%20%20%20%23%20---------------------------------------------------------------------------%0A%20%20%20%20def%20fig_accuracy_vs_sparsity(%0A%20%20%20%20%20%20%20%20sparsities%3A%20list%5Bfloat%5D%2C%0A%20%20%20%20%20%20%20%20series%3A%20dict%5Bstr%2C%20list%5Bfloat%5D%5D%2C%0A%20%20%20%20%20%20%20%20series_std%3A%20dict%5Bstr%2C%20list%5Bfloat%5D%5D%2C%0A%20%20%20%20%20%20%20%20dense_acc%3A%20float%2C%0A%20%20%20%20%20%20%20%20method_order%3A%20list%5Bstr%5D%20%7C%20None%20%3D%20None%2C%0A%20%20%20%20%20%20%20%20title%3A%20str%20%3D%20%22Test%20accuracy%20vs%20neuron%20sparsity%22%2C%0A%20%20%20%20%20%20%20%20sparsity_label%3A%20str%20%3D%20%22Neurons%20pruned%20(%25)%22%2C%0A%20%20%20%20)%20-%3E%20go.Figure%3A%0A%20%20%20%20%20%20%20%20%22%22%22Line-plot%20of%20test%20accuracy%20across%20the%20sparsity%20sweep.%22%22%22%0A%20%20%20%20%20%20%20%20sp%20%3D%20%5Bs%20*%20100%20for%20s%20in%20sparsities%5D%0A%20%20%20%20%20%20%20%20fig%20%3D%20go.Figure()%0A%20%20%20%20%20%20%20%20fig.add_hline(%0A%20%20%20%20%20%20%20%20%20%20%20%20y%3Ddense_acc%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20line%3Ddict(color%3DCOL%5B%22Dense%22%5D%2C%20dash%3D%22dot%22%2C%20width%3D1.5)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20annotation_text%3Df%22dense%20%7Bdense_acc%3A.1f%7D%25%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20annotation_position%3D%22top%20left%22%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20order%20%3D%20method_order%20or%20list(series)%0A%20%20%20%20%20%20%20%20for%20name%20in%20order%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20name%20not%20in%20series%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20continue%0A%20%20%20%20%20%20%20%20%20%20%20%20is_ga%20%3D%20name.startswith(%22GA-%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20color%20%3D%20COL.get(name%2C%20_ga_color(name))%0A%20%20%20%20%20%20%20%20%20%20%20%20fig.add_trace(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20go.Scatter(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20x%3Dsp%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20y%3Dseries%5Bname%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mode%3D%22lines%2Bmarkers%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20name%3Dname%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20error_y%3D(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20dict(type%3D%22data%22%2C%20array%3Dseries_std%5Bname%5D%2C%20visible%3DTrue)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20name%20in%20series_std%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20else%20None%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20line%3Ddict(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20color%3Dcolor%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20width%3D3%20if%20is_ga%20else%202%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20dash%3D%22dash%22%20if%20not%20is_ga%20else%20None%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20marker%3Ddict(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20size%3D8%20if%20is_ga%20else%206%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20symbol%3D%22square%22%20if%20not%20is_ga%20else%20None%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20fig.update_layout(%0A%20%20%20%20%20%20%20%20%20%20%20%20**_plotly_layout(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20title%3Dtitle%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20xaxis_title%3Dsparsity_label%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20yaxis_title%3D%22Test%20accuracy%20(%25)%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20hovermode%3D%22x%20unified%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20height%3D500%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20return%20fig%0A%0A%20%20%20%20def%20fig_accuracy_snapshot(%0A%20%20%20%20%20%20%20%20accuracies%3A%20dict%5Bstr%2C%20float%5D%2C%0A%20%20%20%20%20%20%20%20stds%3A%20dict%5Bstr%2C%20float%5D%2C%0A%20%20%20%20%20%20%20%20dense_acc%3A%20float%2C%0A%20%20%20%20%20%20%20%20sparsity%3A%20float%2C%0A%20%20%20%20%20%20%20%20display_names%3A%20dict%5Bstr%2C%20str%5D%20%7C%20None%20%3D%20None%2C%0A%20%20%20%20)%20-%3E%20go.Figure%3A%0A%20%20%20%20%20%20%20%20%22%22%22Horizontal%20comparison%20of%20every%20structured%20method%20at%20one%20sparsity.%22%22%22%0A%20%20%20%20%20%20%20%20names%20%3D%20list(accuracies)%0A%20%20%20%20%20%20%20%20labels%20%3D%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20display_names.get(name%2C%20name)%20if%20display_names%20else%20name%20for%20name%20in%20names%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20values%20%3D%20%5Baccuracies%5Bname%5D%20for%20name%20in%20names%5D%0A%20%20%20%20%20%20%20%20fig%20%3D%20go.Figure(%0A%20%20%20%20%20%20%20%20%20%20%20%20go.Bar(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20x%3Dvalues%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20y%3Dlabels%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20orientation%3D%22h%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20marker_color%3D%5BCOL.get(name%2C%20_ga_color(name))%20for%20name%20in%20names%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20error_x%3Ddict(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20type%3D%22data%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20array%3D%5Bstds.get(name%2C%200.0)%20for%20name%20in%20names%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20visible%3DTrue%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text%3D%5Bf%22%7Bvalue%3A.1f%7D%25%22%20for%20value%20in%20values%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20textposition%3D%22inside%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20insidetextanchor%3D%22middle%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20cliponaxis%3DFalse%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20hovertemplate%3D%22%25%7By%7D%3Cbr%3Etest%20accuracy%3A%20%25%7Bx%3A.2f%7D%25%3Cextra%3E%3C%2Fextra%3E%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20fig.add_vline(%0A%20%20%20%20%20%20%20%20%20%20%20%20x%3Ddense_acc%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20line%3Ddict(color%3DCOL%5B%22Dense%22%5D%2C%20dash%3D%22dot%22%2C%20width%3D1.5)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20annotation_text%3Df%22dense%20%7Bdense_acc%3A.1f%7D%25%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20annotation_position%3D%22top%20right%22%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20fig.update_layout(%0A%20%20%20%20%20%20%20%20%20%20%20%20**_plotly_layout(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20title%3Df%22All%20structured%20methods%20at%20%7Bsparsity%3A.0%25%7D%20neuron%20sparsity%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20xaxis_title%3D%22Test%20accuracy%20(%25)%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20yaxis_title%3D%22%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20height%3Dmax(410%2C%2042%20*%20len(names)%20%2B%20120)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20margin%3Ddict(l%3D175%2C%20r%3D75%2C%20t%3D50%2C%20b%3D42)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20ceiling%20%3D%20max(%5Bdense_acc%2C%20*values%5D)%20*%201.08%0A%20%20%20%20%20%20%20%20fig.update_xaxes(range%3D%5B0%2C%20ceiling%5D)%0A%20%20%20%20%20%20%20%20fig.update_yaxes(autorange%3D%22reversed%22)%0A%20%20%20%20%20%20%20%20return%20fig%0A%0A%20%20%20%20%23%20---------------------------------------------------------------------------%0A%20%20%20%20%23%20Per-layer%20pruning%20distribution%0A%20%20%20%20%23%20---------------------------------------------------------------------------%0A%20%20%20%20def%20fig_distribution(%0A%20%20%20%20%20%20%20%20dist%3A%20dict%5Bstr%2C%20list%5Bfloat%5D%5D%2C%0A%20%20%20%20%20%20%20%20n_layers%3A%20int%2C%0A%20%20%20%20%20%20%20%20display_names%3A%20dict%5Bstr%2C%20str%5D%20%7C%20None%20%3D%20None%2C%0A%20%20%20%20)%20-%3E%20go.Figure%3A%0A%20%20%20%20%20%20%20%20%22%22%22Show%20per-layer%20pruning%20as%20bars%20for%20one%20method%20or%20a%20readable%20comparison%20grid.%22%22%22%0A%20%20%20%20%20%20%20%20layers%20%3D%20%5Bf%22Layer%20%7Bi%20%2B%201%7D%22%20for%20i%20in%20range(n_layers)%5D%0A%20%20%20%20%20%20%20%20rows%20%3D%20%5B%5D%0A%20%20%20%20%20%20%20%20for%20key%2C%20fractions%20in%20dist.items()%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20method%20%3D%20key.split(%22%40%22)%5B0%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20label%20%3D%20display_names.get(method%2C%20method)%20if%20display_names%20else%20method%0A%20%20%20%20%20%20%20%20%20%20%20%20rows.append((label%2C%20%5Bfraction%20*%20100%20for%20fraction%20in%20fractions%5D))%0A%0A%20%20%20%20%20%20%20%20if%20len(rows)%20%3E%204%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20fig%20%3D%20go.Figure(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20go.Heatmap(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20x%3Dlayers%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20y%3D%5Blabel%20for%20label%2C%20_%20in%20rows%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20z%3D%5Bvalues%20for%20_%2C%20values%20in%20rows%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20zmin%3D0%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20zmax%3D100%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20colorscale%3D%5B%5B0%2C%20%22%23efe3d3%22%5D%2C%20%5B1%2C%20%22%238bb7bb%22%5D%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20texttemplate%3D%22%25%7Bz%3A.0f%7D%25%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20textfont%3Ddict(color%3DINK)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20hovertemplate%3D(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22%25%7By%7D%3Cbr%3E%25%7Bx%7D%3Cbr%3Eneurons%20pruned%3A%20%25%7Bz%3A.1f%7D%25%3Cextra%3E%3C%2Fextra%3E%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20colorbar%3Ddict(title%3D%22Pruned%20(%25)%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20fig.update_layout(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20**_plotly_layout(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20title%3D%22Where%20each%20method%20prunes%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20xaxis_title%3D%22Hidden%20layer%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20yaxis_title%3D%22%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20height%3Dmax(390%2C%2038%20*%20len(rows)%20%2B%20140)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20margin%3Ddict(l%3D175%2C%20r%3D75%2C%20t%3D50%2C%20b%3D42)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20fig.update_yaxes(autorange%3D%22reversed%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20fig%0A%0A%20%20%20%20%20%20%20%20fig%20%3D%20go.Figure()%0A%20%20%20%20%20%20%20%20for%20display_name%2C%20values%20in%20rows%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20color%20%3D%20COL.get(display_name%2C%20_ga_color(display_name))%0A%20%20%20%20%20%20%20%20%20%20%20%20fig.add_trace(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20go.Bar(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20x%3Dlayers%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20y%3Dvalues%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20name%3Ddisplay_name%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20marker_color%3Dcolor%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text%3D%5Bf%22%7Bvalue%3A.0f%7D%25%22%20for%20value%20in%20values%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20textposition%3D%22outside%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20cliponaxis%3DFalse%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20hovertemplate%3D(%22%25%7Bx%7D%3Cbr%3Eneurons%20pruned%3A%20%25%7By%3A.1f%7D%25%3Cextra%3E%3C%2Fextra%3E%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20fig.update_layout(%0A%20%20%20%20%20%20%20%20%20%20%20%20**_plotly_layout(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20title%3D%22Where%20each%20method%20prunes%20%E2%80%94%20fraction%20of%20neurons%20removed%20per%20layer%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20xaxis_title%3D%22Hidden%20layer%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20yaxis_title%3D%22Neurons%20pruned%20(%25)%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20barmode%3D%22group%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20height%3D420%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20fig.update_yaxes(range%3D%5B0%2C%20105%5D)%0A%20%20%20%20%20%20%20%20return%20fig%0A%0A%20%20%20%20%23%20---------------------------------------------------------------------------%0A%20%20%20%20%23%20Search%20convergence%20curves%0A%20%20%20%20%23%20---------------------------------------------------------------------------%0A%20%20%20%20def%20fig_progress(curves%3A%20dict%5Bstr%2C%20list%5Bfloat%5D%5D%2C%20dense_val_acc%3A%20float)%20-%3E%20go.Figure%3A%0A%20%20%20%20%20%20%20%20%22%22%22Plot%20best%20validation%20accuracy%20per%20generation%20for%20search%20methods.%22%22%22%0A%20%20%20%20%20%20%20%20fig%20%3D%20go.Figure()%0A%20%20%20%20%20%20%20%20fig.add_hline(%0A%20%20%20%20%20%20%20%20%20%20%20%20y%3Ddense_val_acc%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20line%3Ddict(color%3DCOL%5B%22Dense%22%5D%2C%20dash%3D%22dot%22%2C%20width%3D1.5)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20annotation_text%3Df%22dense%20validation%20%7Bdense_val_acc%3A.1f%7D%25%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20annotation_position%3D%22top%20left%22%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20for%20key%2C%20curve%20in%20curves.items()%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20not%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20key.startswith(%22GA-%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20or%20key.startswith(%22Random%20search%20(equal%20budget)%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20or%20key.startswith(%22Hill%20climbing%20(equal%20budget)%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20continue%0A%20%20%20%20%20%20%20%20%20%20%20%20display_name%20%3D%20key.split(%22%40%22)%5B0%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20is_random_search%20%3D%20display_name%20%3D%3D%20%22Random%20search%20(equal%20budget)%22%0A%20%20%20%20%20%20%20%20%20%20%20%20fig.add_trace(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20go.Scatter(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20y%3Dcurve%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mode%3D%22lines%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20name%3Ddisplay_name%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20line%3Ddict(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20color%3DCOL.get(display_name%2C%20_ga_color(display_name))%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20width%3D2.5%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20dash%3D%22dash%22%20if%20is_random_search%20else%20None%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20fig.update_layout(%0A%20%20%20%20%20%20%20%20%20%20%20%20**_plotly_layout(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20title%3D%22Search%20convergence%20%E2%80%94%20best%20validation%20accuracy%20per%20generation%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20xaxis_title%3D%22Generation%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20yaxis_title%3D%22Best%20validation%20accuracy%20(%25)%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20hovermode%3D%22x%20unified%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20height%3D420%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20return%20fig%0A%0A%20%20%20%20%23%20---------------------------------------------------------------------------%0A%20%20%20%20%23%20Figure%20%E2%80%94%20crossover%20convergence%0A%20%20%20%20%23%20---------------------------------------------------------------------------%0A%20%20%20%20def%20fig_crossover_convergence(%0A%20%20%20%20%20%20%20%20curves%3A%20dict%5Bstr%2C%20list%5Bfloat%5D%5D%2C%20sp%3A%20float%2C%20dense_val_acc%3A%20float%0A%20%20%20%20)%20-%3E%20go.Figure%3A%0A%20%20%20%20%20%20%20%20%22%22%22Plot%20the%20convergence%20curves%20for%20each%20crossover%20strategy.%22%22%22%0A%20%20%20%20%20%20%20%20fig%20%3D%20go.Figure()%0A%20%20%20%20%20%20%20%20fig.add_hline(%0A%20%20%20%20%20%20%20%20%20%20%20%20y%3Ddense_val_acc%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20line%3Ddict(color%3DCOL%5B%22Dense%22%5D%2C%20dash%3D%22dot%22%2C%20width%3D1.5)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20annotation_text%3Df%22dense%20validation%20%7Bdense_val_acc%3A.1f%7D%25%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20annotation_position%3D%22top%20left%22%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20for%20key%20in%20sorted(curves)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20not%20key.startswith(%22GA-%22)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20continue%0A%20%20%20%20%20%20%20%20%20%20%20%20crossover%20%3D%20key.split(%22%40%22)%5B0%5D.removeprefix(%22GA-%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20curve%20%3D%20curves%5Bkey%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20fig.add_trace(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20go.Scatter(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20y%3Dcurve%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mode%3D%22lines%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20name%3Dcrossover.replace(%22_%22%2C%20%22%20%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20line%3Ddict(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20color%3D%22%233a8a94%22%20if%20crossover%20%3D%3D%20%22uniform%22%20else%20%22%23d97c3d%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20width%3D2.5%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20fig.update_layout(%0A%20%20%20%20%20%20%20%20%20%20%20%20**_plotly_layout(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20title%3Df%22Crossover%20convergence%20at%20%7Bsp%3A.0%25%7D%20sparsity%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20xaxis_title%3D%22Generation%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20yaxis_title%3D%22Best%20validation%20accuracy%20(%25)%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20hovermode%3D%22x%20unified%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20height%3D420%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20return%20fig%0A%0A%20%20%20%20def%20fig_ablation_accuracy(%0A%20%20%20%20%20%20%20%20study%3A%20dict%2C%20dense_acc%3A%20float%2C%20sparsity%3A%20float%0A%20%20%20%20)%20-%3E%20go.Figure%3A%0A%20%20%20%20%20%20%20%20%22%22%22Compare%20final%20test%20accuracy%20for%20every%20sensitivity-study%20variant.%22%22%22%0A%20%20%20%20%20%20%20%20names%20%3D%20list(study%5B%22values%22%5D)%0A%20%20%20%20%20%20%20%20display_names%20%3D%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Baseline%20(canonical%20GA)%22%20if%20name%20%3D%3D%20%22Canonical%22%20else%20name%20for%20name%20in%20names%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20accuracies%20%3D%20list(study%5B%22accuracies%22%5D)%0A%20%20%20%20%20%20%20%20stds%20%3D%20list(study%5B%22stds%22%5D)%0A%20%20%20%20%20%20%20%20group_colors%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Operators%22%3A%20%22%23c04851%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Tournament%20size%22%3A%20%22%235b8db8%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Population%20size%22%3A%20%22%23b08968%22%2C%0A%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20%20%20%20%20colors%20%3D%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20INK%20if%20name%20%3D%3D%20%22Canonical%22%20else%20group_colors%5Bgroup%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20for%20name%2C%20group%20in%20zip(names%2C%20study%5B%22groups%22%5D)%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20fig%20%3D%20go.Figure(%0A%20%20%20%20%20%20%20%20%20%20%20%20go.Bar(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20x%3Daccuracies%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20y%3Ddisplay_names%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20orientation%3D%22h%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20marker_color%3Dcolors%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20error_x%3Ddict(type%3D%22data%22%2C%20array%3Dstds%2C%20visible%3DTrue)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text%3D%5Bf%22%7Baccuracy%3A.1f%7D%25%22%20for%20accuracy%20in%20accuracies%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20textposition%3D%22inside%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20insidetextanchor%3D%22middle%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20hovertemplate%3D(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22%25%7By%7D%3Cbr%3Emean%20test%20accuracy%3A%20%25%7Bx%3A.2f%7D%25%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22%3Cbr%3Estandard%20deviation%3A%20%25%7Berror_x.array%3A.2f%7D%20pp%3Cextra%3E%3C%2Fextra%3E%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20fig.add_vline(%0A%20%20%20%20%20%20%20%20%20%20%20%20x%3Ddense_acc%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20line%3Ddict(color%3DCOL%5B%22Dense%22%5D%2C%20dash%3D%22dot%22%2C%20width%3D1.5)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20annotation_text%3Df%22dense%20model%20%7Bdense_acc%3A.1f%7D%25%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20annotation_position%3D%22top%20right%22%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20fig.update_layout(%0A%20%20%20%20%20%20%20%20%20%20%20%20**_plotly_layout(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20title%3Df%22Sensitivity%20study%20at%20%7Bsparsity%3A.0%25%7D%20neuron%20sparsity%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20xaxis_title%3D%22Test%20accuracy%20(%25)%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20yaxis_title%3D%22%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20height%3D455%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20margin%3Ddict(l%3D175%2C%20r%3D70%2C%20t%3D55%2C%20b%3D42)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20showlegend%3DFalse%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20fig.update_xaxes(range%3D%5B0%2C%20max(dense_acc%2C%20*accuracies)%20*%201.08%5D)%0A%20%20%20%20%20%20%20%20fig.update_yaxes(autorange%3D%22reversed%22)%0A%20%20%20%20%20%20%20%20return%20fig%0A%0A%20%20%20%20%23%20---------------------------------------------------------------------------%0A%20%20%20%20%23%20Effective%20sparsity%20comparison%20(structured%20vs%20unstructured)%0A%20%20%20%20%23%20---------------------------------------------------------------------------%0A%20%20%20%20def%20fig_effective_sparsity_comparison(%0A%20%20%20%20%20%20%20%20method_eff_sparsities%3A%20dict%5Bstr%2C%20list%5Bfloat%20%7C%20None%5D%5D%2C%0A%20%20%20%20%20%20%20%20series%3A%20dict%5Bstr%2C%20list%5Bfloat%5D%5D%2C%0A%20%20%20%20%20%20%20%20dense_acc%3A%20float%2C%0A%20%20%20%20%20%20%20%20method_order%3A%20list%5Bstr%5D%20%7C%20None%20%3D%20None%2C%0A%20%20%20%20)%20-%3E%20go.Figure%3A%0A%20%20%20%20%20%20%20%20%22%22%22Compare%20methods%20on%20the%20common%20x-axis%20of%20actual%20removed%20weights.%22%22%22%0A%20%20%20%20%20%20%20%20fig%20%3D%20go.Figure()%0A%20%20%20%20%20%20%20%20fig.add_hline(%0A%20%20%20%20%20%20%20%20%20%20%20%20y%3Ddense_acc%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20line%3Ddict(color%3DCOL%5B%22Dense%22%5D%2C%20dash%3D%22dot%22%2C%20width%3D1.5)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20annotation_text%3Df%22dense%20%7Bdense_acc%3A.1f%7D%25%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20annotation_position%3D%22top%20left%22%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20order%20%3D%20method_order%20or%20list(series)%0A%20%20%20%20%20%20%20%20for%20name%20in%20order%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20name%20not%20in%20series%20or%20name%20not%20in%20method_eff_sparsities%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20continue%0A%20%20%20%20%20%20%20%20%20%20%20%20pairs%20%3D%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20(effective%20*%20100%2C%20accuracy)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20for%20effective%2C%20accuracy%20in%20zip(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20method_eff_sparsities%5Bname%5D%2C%20series%5Bname%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20effective%20is%20not%20None%0A%20%20%20%20%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20not%20pairs%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20continue%0A%20%20%20%20%20%20%20%20%20%20%20%20x_vals%2C%20vals%20%3D%20zip(*pairs)%0A%20%20%20%20%20%20%20%20%20%20%20%20is_ga%20%3D%20name.startswith(%22GA-%22)%20or%20name%20%3D%3D%20%22Best%20structured%20GA%22%0A%20%20%20%20%20%20%20%20%20%20%20%20fig.add_trace(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20go.Scatter(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20x%3Dx_vals%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20y%3Dvals%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mode%3D%22lines%2Bmarkers%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20name%3Dname%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20line%3Ddict(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20color%3DCOL.get(name%2C%20_ga_color(name))%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20width%3D2.5%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20dash%3DNone%20if%20is_ga%20else%20%22dash%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20marker%3Ddict(size%3D8)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20fig.update_layout(%0A%20%20%20%20%20%20%20%20%20%20%20%20**_plotly_layout(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20title%3D%22Accuracy%20at%20actual%20weight%20sparsity%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20xaxis_title%3D%22Effective%20weight%20sparsity%20(%25)%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20yaxis_title%3D%22Test%20accuracy%20(%25)%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20hovermode%3D%22x%20unified%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20height%3D460%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20return%20fig%0A%0A%20%20%20%20_BINARY_MASK_COLORSCALE%20%3D%20%5B%0A%20%20%20%20%20%20%20%20%5B0.0%2C%20%22%23c0492f%22%5D%2C%0A%20%20%20%20%20%20%20%20%5B0.5%2C%20%22%23efe3d3%22%5D%2C%0A%20%20%20%20%20%20%20%20%5B1.0%2C%20%22%232f8f5b%22%5D%2C%0A%20%20%20%20%5D%0A%0A%20%20%20%20def%20fig_neuron_mask_heatmap(%0A%20%20%20%20%20%20%20%20neuron_masks%3A%20dict%5Bstr%2C%20np.ndarray%5D%2C%0A%20%20%20%20%20%20%20%20hidden_sizes%3A%20list%5Bint%5D%2C%0A%20%20%20%20%20%20%20%20title%3A%20str%20%3D%20%22Neuron%20masks%20%E2%80%94%20green%20%3D%20kept%2C%20red%20%3D%20removed%22%2C%0A%20%20%20%20)%20-%3E%20go.Figure%3A%0A%20%20%20%20%20%20%20%20%22%22%22Show%20structured%20chromosomes%20in%20one%20true-width%20subplot%20per%20hidden%20layer.%0A%0A%20%20%20%20%20%20%20%20Each%20plotted%20row%20represents%20one%20hidden%20layer%2C%20preserving%20the%20fact%20that%20the%0A%20%20%20%20%20%20%20%20chromosome%20is%20a%20neuron%20keep-mask%20rather%20than%20an%20arbitrary%20weight%20matrix.%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20if%20not%20neuron_masks%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20raise%20ValueError(%22neuron_masks%20must%20not%20be%20empty%22)%0A%20%20%20%20%20%20%20%20if%20not%20hidden_sizes%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20raise%20ValueError(%22hidden_sizes%20must%20not%20be%20empty%22)%0A%0A%20%20%20%20%20%20%20%20methods%20%3D%20list(neuron_masks)%0A%20%20%20%20%20%20%20%20split_masks%3A%20dict%5Bstr%2C%20tuple%5Bnp.ndarray%2C%20...%5D%5D%20%3D%20%7B%7D%0A%20%20%20%20%20%20%20%20boundaries%20%3D%20np.cumsum(hidden_sizes)%5B%3A-1%5D%0A%20%20%20%20%20%20%20%20for%20method%2C%20raw_mask%20in%20neuron_masks.items()%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20mask%20%3D%20np.asarray(raw_mask%2C%20dtype%3Dbool).reshape(-1)%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20mask.size%20!%3D%20sum(hidden_sizes)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20raise%20ValueError(%22neuron%20mask%20length%20does%20not%20match%20hidden_sizes%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20split_masks%5Bmethod%5D%20%3D%20tuple(np.split(mask%2C%20boundaries))%0A%0A%20%20%20%20%20%20%20%20fig%20%3D%20make_subplots(%0A%20%20%20%20%20%20%20%20%20%20%20%20rows%3D1%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20cols%3Dlen(hidden_sizes)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20subplot_titles%3D%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22Layer%20%7Bindex%7D%20%C2%B7%20%7Bwidth%7D%20neurons%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20for%20index%2C%20width%20in%20enumerate(hidden_sizes%2C%20start%3D1)%0A%20%20%20%20%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20column_widths%3Dhidden_sizes%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20horizontal_spacing%3D0.045%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20for%20layer_index%2C%20width%20in%20enumerate(hidden_sizes%2C%20start%3D1)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20values%20%3D%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5Bint(value)%20for%20value%20in%20split_masks%5Bmethod%5D%5Blayer_index%20-%201%5D%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20for%20method%20in%20methods%0A%20%20%20%20%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20customdata%20%3D%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5Bmethod%2C%20layer_index%2C%20neuron_index%20%2B%201%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20for%20neuron_index%20in%20range(width)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20for%20method%20in%20methods%0A%20%20%20%20%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20fig.add_trace(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20go.Heatmap(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20z%3Dvalues%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20x%3Dlist(range(1%2C%20width%20%2B%201))%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20y%3Dmethods%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20customdata%3Dcustomdata%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20zmin%3D0%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20zmax%3D1%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20colorscale%3D_BINARY_MASK_COLORSCALE%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20showscale%3Dlayer_index%20%3D%3D%20len(hidden_sizes)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20colorbar%3Ddict(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20title%3D%22Mask%20bit%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20tickmode%3D%22array%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20tickvals%3D%5B0%2C%201%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20ticktext%3D%5B%22removed%22%2C%20%22kept%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20hovertemplate%3D(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22%25%7Bcustomdata%5B0%5D%7D%3Cbr%3Ehidden%20layer%20%25%7Bcustomdata%5B1%5D%7D%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22%3Cbr%3Eneuron%20%25%7Bcustomdata%5B2%5D%7D%3Cbr%3Emask%20bit%3A%20%25%7Bz%7D%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22%3Cextra%3E%3C%2Fextra%3E%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20row%3D1%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20col%3Dlayer_index%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20fig.update_xaxes(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20title_text%3D%22Neuron%20index%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20range%3D%5B0.5%2C%20width%20%2B%200.5%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20row%3D1%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20col%3Dlayer_index%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20fig.update_yaxes(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20showticklabels%3Dlayer_index%20%3D%3D%201%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20autorange%3D%22reversed%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20row%3D1%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20col%3Dlayer_index%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20%20%20%20%20fig.update_layout(%0A%20%20%20%20%20%20%20%20%20%20%20%20**_plotly_layout(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20title%3Dtitle%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20height%3Dmax(270%2C%2034%20*%20len(methods)%20%2B%20170)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20margin%3Ddict(l%3D175%2C%20r%3D88%2C%20t%3D62%2C%20b%3D55)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20return%20fig%0A%0A%20%20%20%20def%20fig_weight_matrix_heatmap(%0A%20%20%20%20%20%20%20%20weight_masks%3A%20dict%5Bstr%2C%20np.ndarray%5D%2C%0A%20%20%20%20%20%20%20%20max_dim%3A%20int%20%3D%20256%2C%0A%20%20%20%20%20%20%20%20title%3A%20str%20%3D%20%22Full%20weight%20matrices%20%E2%80%94%20green%20%3D%20active%2C%20red%20%3D%20pruned%22%2C%0A%20%20%20%20)%20-%3E%20go.Figure%3A%0A%20%20%20%20%20%20%20%20%22%22%22Grid%20showing%20kept%20(green)%20vs%20pruned%20(red)%20regions%20in%20each%20weight%20matrix.%0A%0A%20%20%20%20%20%20%20%20Parameters%0A%20%20%20%20%20%20%20%20----------%0A%20%20%20%20%20%20%20%20weight_masks%20%3A%20dict%0A%20%20%20%20%20%20%20%20%20%20%20%20Keys%20like%20%60%60%22Input%20%E2%86%92%20L0%22%60%60%2C%20%60%60%22L0%20%E2%86%92%20L1%22%60%60%2C%20etc.%20Values%20are%202D%20boolean%0A%20%20%20%20%20%20%20%20%20%20%20%20tensors%20matching%20the%20weight%20matrix%20shape%3A%20True%20%3D%20kept%2C%20False%20%3D%20pruned.%0A%20%20%20%20%20%20%20%20max_dim%20%3A%20int%0A%20%20%20%20%20%20%20%20%20%20%20%20Downsample%20the%20full%20matrix%20to%20at%20most%20this%20many%20rows%2Fcolumns.%20Each%0A%20%20%20%20%20%20%20%20%20%20%20%20displayed%20cell%20is%20the%20active%20fraction%20in%20its%20source%20block.%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20keys%20%3D%20list(weight_masks)%0A%20%20%20%20%20%20%20%20if%20not%20keys%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20raise%20ValueError(%22weight_masks%20must%20not%20be%20empty%22)%0A%20%20%20%20%20%20%20%20columns%20%3D%20min(2%2C%20len(keys))%0A%20%20%20%20%20%20%20%20rows%20%3D%20(len(keys)%20%2B%20columns%20-%201)%20%2F%2F%20columns%0A%20%20%20%20%20%20%20%20fig%20%3D%20make_subplots(%0A%20%20%20%20%20%20%20%20%20%20%20%20rows%3Drows%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20cols%3Dcolumns%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20subplot_titles%3Dkeys%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20horizontal_spacing%3D0.08%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20vertical_spacing%3D0.12%2C%0A%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20%20%20%20%20for%20idx%2C%20key%20in%20enumerate(keys)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20row%20%3D%20idx%20%2F%2F%20columns%20%2B%201%0A%20%20%20%20%20%20%20%20%20%20%20%20col%20%3D%20idx%20%25%20columns%20%2B%201%0A%20%20%20%20%20%20%20%20%20%20%20%20wmask%20%3D%20np.asarray(weight_masks%5Bkey%5D%2C%20dtype%3Dfloat)%0A%20%20%20%20%20%20%20%20%20%20%20%20r%20%3D%20min(wmask.shape%5B0%5D%2C%20max_dim)%0A%20%20%20%20%20%20%20%20%20%20%20%20c%20%3D%20min(wmask.shape%5B1%5D%2C%20max_dim)%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20(r%2C%20c)%20%3D%3D%20wmask.shape%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20region%20%3D%20wmask%0A%20%20%20%20%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20Equal-width%20bins%20retain%20the%20active%20fraction%20without%20a%20native%20tensor%20runtime.%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20row_bins%20%3D%20np.linspace(0%2C%20wmask.shape%5B0%5D%2C%20r%20%2B%201%2C%20dtype%3Dint)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20col_bins%20%3D%20np.linspace(0%2C%20wmask.shape%5B1%5D%2C%20c%20%2B%201%2C%20dtype%3Dint)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20row_sums%20%3D%20np.add.reduceat(wmask%2C%20row_bins%5B%3A-1%5D%2C%20axis%3D0)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20block_sums%20%3D%20np.add.reduceat(row_sums%2C%20col_bins%5B%3A-1%5D%2C%20axis%3D1)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20block_sizes%20%3D%20np.diff(row_bins)%5B%3A%2C%20None%5D%20*%20np.diff(col_bins)%5BNone%2C%20%3A%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20region%20%3D%20block_sums%20%2F%20block_sizes%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20fig.add_trace(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20go.Heatmap(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20z%3Dregion%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20zmin%3D0%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20zmax%3D1%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20colorscale%3D_BINARY_MASK_COLORSCALE%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20showscale%3DFalse%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20hovertemplate%3D(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22display%20row%20%25%7By%7D%3Cbr%3Edisplay%20col%20%25%7Bx%7D%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22%3Cbr%3Eactive%20fraction%3A%20%25%7Bz%3A.2f%7D%3Cextra%3E%3C%2Fextra%3E%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20row%3Drow%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20col%3Dcol%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20fig.update_xaxes(visible%3DFalse%2C%20row%3Drow%2C%20col%3Dcol)%0A%20%20%20%20%20%20%20%20%20%20%20%20fig.update_yaxes(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20visible%3DFalse%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20autorange%3D%22reversed%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20row%3Drow%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20col%3Dcol%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20%20%20%20%20fig.update_layout(%0A%20%20%20%20%20%20%20%20%20%20%20%20**_plotly_layout(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20title%3Dtitle%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20height%3D250%20*%20rows%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20margin%3Ddict(l%3D16%2C%20r%3D16%2C%20t%3D54%2C%20b%3D16)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20return%20fig%0A%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20STRUCTURED_METHOD_LABELS%2C%0A%20%20%20%20%20%20%20%20STRUCTURED_REPORT_METHODS%2C%0A%20%20%20%20%20%20%20%20effective_sparsity_rows%2C%0A%20%20%20%20%20%20%20%20fig_ablation_accuracy%2C%0A%20%20%20%20%20%20%20%20fig_accuracy_snapshot%2C%0A%20%20%20%20%20%20%20%20fig_accuracy_vs_sparsity%2C%0A%20%20%20%20%20%20%20%20fig_crossover_convergence%2C%0A%20%20%20%20%20%20%20%20fig_distribution%2C%0A%20%20%20%20%20%20%20%20fig_effective_sparsity_comparison%2C%0A%20%20%20%20%20%20%20%20fig_neuron_mask_heatmap%2C%0A%20%20%20%20%20%20%20%20fig_progress%2C%0A%20%20%20%20%20%20%20%20fig_weight_matrix_heatmap%2C%0A%20%20%20%20%20%20%20%20ga_step_sources%2C%0A%20%20%20%20%20%20%20%20load_report_artifacts%2C%0A%20%20%20%20%20%20%20%20mo%2C%0A%20%20%20%20%20%20%20%20neuron_layer_rows%2C%0A%20%20%20%20%20%20%20%20neuron_to_weight_masks%2C%0A%20%20%20%20%20%20%20%20pruning_img%2C%0A%20%20%20%20%20%20%20%20steps_img%2C%0A%20%20%20%20%20%20%20%20structured_explorer_view%2C%0A%20%20%20%20%20%20%20%20training_protocol%2C%0A%20%20%20%20%20%20%20%20weight_layer_rows%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(load_report_artifacts)%3A%0A%20%20%20%20sweep%2C%20unstructured%2C%20ablation%2C%20report_error%20%3D%20load_report_artifacts()%0A%20%20%20%20if%20report_error%3A%0A%20%20%20%20%20%20%20%20raise%20RuntimeError(report_error)%0A%20%20%20%20return%20ablation%2C%20sweep%2C%20unstructured%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo%2C%20pruning_img%2C%20sweep)%3A%0A%20%20%20%20_architecture%20%3D%20%22%20%E2%86%92%20%22.join(%0A%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20str(sweep%5B%22architecture%22%5D%5B%22input_size%22%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20*(str(size)%20for%20size%20in%20sweep%5B%22architecture%22%5D%5B%22hidden_sizes%22%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20str(sweep%5B%22architecture%22%5D%5B%22output_size%22%5D)%2C%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20)%0A%20%20%20%20_title%20%3D%20mo.md(f%22%22%22%0A%20%20%20%20%23%20Genetic%20algorithms%20for%20neural-network%20pruning%0A%0A%20%20%20%20**How%20the%20mask%20representation%20changes%20the%20usefulness%20of%20genetic%20search**%0A%0A%20%20%20%20FashionMNIST%20%C2%B7%20%60%7B_architecture%7D%60%20ReLU%20MLP%20%C2%B7%20%7Bsweep%5B%22dense_acc%22%5D%3A.2f%7D%25%20dense%20test%0A%20%20%20%20accuracy%20%C2%B7%20frozen%20weights%20after%20training%0A%20%20%20%20%22%22%22)%0A%20%20%20%20_image%20%3D%20(%0A%20%20%20%20%20%20%20%20mo.Html(%0A%20%20%20%20%20%20%20%20%20%20%20%20f'%3Cimg%20src%3D%22%7Bpruning_img%7D%22%20alt%3D%22Dense%20and%20pruned%20neural%20networks%22%20'%0A%20%20%20%20%20%20%20%20%20%20%20%20'style%3D%22width%3A100%25%3B%20border-radius%3A8px%3B%20margin-top%3A0.8rem%3B%22%20%2F%3E'%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20if%20pruning_img%0A%20%20%20%20%20%20%20%20else%20mo.md(%22%22)%0A%20%20%20%20)%0A%20%20%20%20mo.vstack(%5B_title%2C%20_image%5D)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo%2C%20steps_img)%3A%0A%20%20%20%20_image%20%3D%20(%0A%20%20%20%20%20%20%20%20mo.Html(%0A%20%20%20%20%20%20%20%20%20%20%20%20'%3Cdiv%20style%3D%22max-width%3A100%25%3B%20margin-top%3A0.75rem%3B%22%3E'%0A%20%20%20%20%20%20%20%20%20%20%20%20f'%3Cimg%20src%3D%22%7Bsteps_img%7D%22%20alt%3D%22Detailed%20genetic%20pruning%20workflow%22%20'%0A%20%20%20%20%20%20%20%20%20%20%20%20'style%3D%22display%3Ablock%3B%20max-width%3A100%25%3B%20height%3Aauto%3B%20margin%3A0%20auto%3B%22%20%2F%3E'%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%3C%2Fdiv%3E%22%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20if%20steps_img%0A%20%20%20%20%20%20%20%20else%20mo.md(%22The%20workflow%20asset%20is%20unavailable.%22)%0A%20%20%20%20)%0A%20%20%20%20mo.vstack(%0A%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%23%201.%20Experimental%20workflow%0A%20%20%20%20%20%20%20%20%20%20%20%20The%20project%20compares%20weight-level%20and%20neuron-level%20pruning%20while%20keeping%20the%0A%20%20%20%20%20%20%20%20%20%20%20%20trained%20weights%2C%20data%20split%2C%20fitness%20budget%2C%20and%20test%20protocol%20fixed.%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20_image%2C%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(ga_step_sources%2C%20mo)%3A%0A%20%20%20%20_summaries%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%22Complete%20evolution%20loop%22%3A%20%22%22%22%0A%20%20%20%20%20%20%20%201.%20Evaluate%20every%20mask%20using%20validation%20accuracy%20and%20retain%20the%20best%20seen%20mask.%0A%20%20%20%20%20%20%20%202.%20Preserve%20the%20generation's%20elite%2C%20then%20select%20and%20cross%20parents.%0A%20%20%20%20%20%20%20%203.%20Mutate%20and%20repair%20the%20children%20before%20evaluating%20the%20next%20generation.%0A%20%20%20%20%20%20%20%20%22%22%22%2C%0A%20%20%20%20%20%20%20%20%22Initialization%22%3A%20%22%22%22%0A%20%20%20%20%20%20%20%201.%20Draw%20one%20random%20score%20for%20every%20gene%20in%20every%20mask.%0A%20%20%20%20%20%20%20%202.%20Keep%20the%20%60target_ones%60%20highest-scoring%20genes%20in%20each%20row.%0A%20%20%20%20%20%20%20%203.%20Return%20a%20Boolean%20population%20with%20the%20exact%20requested%20sparsity.%0A%20%20%20%20%20%20%20%20%22%22%22%2C%0A%20%20%20%20%20%20%20%20%22Selection%22%3A%20%22%22%22%0A%20%20%20%20%20%20%20%201.%20Randomly%20draw%20%60tournament_size%60%20candidates%20for%20every%20parent%20slot.%0A%20%20%20%20%20%20%20%202.%20Compare%20their%20validation-fitness%20scores.%0A%20%20%20%20%20%20%20%203.%20Copy%20the%20winner%20of%20each%20tournament%20into%20the%20parent%20pool.%0A%20%20%20%20%20%20%20%20%22%22%22%2C%0A%20%20%20%20%20%20%20%20%22Crossover%22%3A%20%22%22%22%0A%20%20%20%20%20%20%20%201.%20Split%20selected%20parents%20into%20pairs.%0A%20%20%20%20%20%20%20%202.%20Build%20a%20uniform%20or%20two-point%20Boolean%20crossover%20mask.%0A%20%20%20%20%20%20%20%203.%20Exchange%20the%20selected%20genes%20to%20create%20two%20complementary%20children.%0A%20%20%20%20%20%20%20%20%22%22%22%2C%0A%20%20%20%20%20%20%20%20%22Mutation%22%3A%20%22%22%22%0A%20%20%20%20%20%20%20%201.%20Give%20each%20gene%20a%20flip%20probability%20of%20%601%20%2F%20genome_length%60.%0A%20%20%20%20%20%20%20%202.%20Sample%20all%20flips%20in%20one%20vectorized%20operation.%0A%20%20%20%20%20%20%20%203.%20Apply%20them%20with%20Boolean%20exclusive-or%20(%60%5E%60).%0A%20%20%20%20%20%20%20%20%22%22%22%2C%0A%20%20%20%20%20%20%20%20%22Mask%20repair%22%3A%20%22%22%22%0A%20%20%20%20%20%20%20%201.%20Give%20existing%20kept%20genes%20priority%20over%20dropped%20genes.%0A%20%20%20%20%20%20%20%202.%20Randomly%20break%20ties%20within%20those%20two%20groups.%0A%20%20%20%20%20%20%20%203.%20Keep%20exactly%20%60target_ones%60%20genes%20in%20every%20child.%0A%20%20%20%20%20%20%20%20%22%22%22%2C%0A%20%20%20%20%7D%0A%20%20%20%20_step_tabs%20%3D%20%7B%0A%20%20%20%20%20%20%20%20_name%3A%20mo.ui.tabs(%0A%20%20%20%20%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22In%20a%20few%20lines%22%3A%20mo.md(_summaries%5B_name%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Actual%20project%20code%22%3A%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22%60%60%60python%5Cn%7Bga_step_sources%5B_name%5D%7D%5Cn%60%60%60%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20for%20_name%20in%20_summaries%0A%20%20%20%20%7D%0A%20%20%20%20mo.vstack(%0A%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%22%23%23%23%20Inspect%20the%20main%20GA%20steps%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Choose%20the%20complete%20loop%20or%20one%20operator%2C%20then%20switch%20between%20a%20short%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22explanation%20and%20the%20exact%20implementation%20used%20by%20the%20experiments.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.ui.tabs(_step_tabs)%2C%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo%2C%20sweep%2C%20training_protocol)%3A%0A%20%20%20%20_config%20%3D%20sweep%5B%22config%22%5D%0A%20%20%20%20_budget%20%3D%20_config%5B%22pop_size%22%5D%20*%20_config%5B%22num_iterations%22%5D%0A%20%20%20%20mo.md(f%22%22%22%0A%20%20%20%20%23%23%202.%20Training%20and%20experimental%20contract%0A%0A%20%20%20%20The%20MLP%20was%20trained%20for%20**%7Btraining_protocol%5B%22epochs%22%5D%7D%20epochs**%20with%20AdamW%2C%0A%20%20%20%20learning%20rate%20%7Btraining_protocol%5B%22learning_rate%22%5D%3A.0e%7D%2C%20weight%20decay%0A%20%20%20%20%7Btraining_protocol%5B%22weight_decay%22%5D%3A.0e%7D%2C%20cosine%20decay%2C%20and%20a%0A%20%20%20%20%7Btraining_protocol%5B%22validation_split%22%5D%3A.0%25%7D%20validation%20split.%20The%20checkpoint%20with%20the%0A%20%20%20%20lowest%20validation%20loss%20was%20frozen%20before%20pruning.%0A%0A%20%20%20%20Each%20pruning%20chromosome%20is%20a%20binary%20keep-mask.%20Search%20fitness%20is%20full%20validation%0A%20%20%20%20accuracy%3B%20the%20test%20set%20is%20used%20only%20after%20the%20best%20mask%20in%20a%20run%20has%20been%20selected.%0A%20%20%20%20Every%20method%20uses%20the%20same%20exact%20integer%20keep%20count.%20GA%2C%20random%20search%2C%20and%20hill%0A%20%20%20%20climbing%20each%20receive%20**%7B_budget%3A%2C%7D%20mask%20evaluations%20per%20seed%20and%20sparsity**.%0A%0A%20%20%20%20Results%20use%20%7B_config%5B%22num_seeds%22%5D%7D%20mask-search%20seeds.%20The%20checkpoint%20and%20data%20split%20stay%0A%20%20%20%20fixed%2C%20so%20error%20bars%20measure%20search%20randomness.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(ablation%2C%20fig_accuracy_vs_sparsity%2C%20mo%2C%20unstructured)%3A%0A%20%20%20%20_entries%20%3D%20unstructured%5B%22sparsities%22%5D%0A%20%20%20%20_sparsities%20%3D%20%5Bfloat(value)%20for%20value%20in%20_entries%5D%0A%20%20%20%20_series%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%22Magnitude%22%3A%20%5B_entries%5Bstr(value)%5D%5B%22mag_accuracy%22%5D%20for%20value%20in%20_sparsities%5D%2C%0A%20%20%20%20%20%20%20%20%22GA-unstructured%22%3A%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20_entries%5Bstr(value)%5D%5B%22ga_accuracy%22%5D%20for%20value%20in%20_sparsities%0A%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%20%20%20%20%22Random%22%3A%20%5B_entries%5Bstr(value)%5D%5B%22random_accuracy%22%5D%20for%20value%20in%20_sparsities%5D%2C%0A%20%20%20%20%7D%0A%20%20%20%20_stds%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%22GA-unstructured%22%3A%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20_entries%5Bstr(value)%5D%5B%22ga_accuracy_std%22%5D%20for%20value%20in%20_sparsities%0A%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%20%20%20%20%22Random%22%3A%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20_entries%5Bstr(value)%5D%5B%22random_accuracy_std%22%5D%20for%20value%20in%20_sparsities%0A%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%7D%0A%20%20%20%20_figure%20%3D%20fig_accuracy_vs_sparsity(%0A%20%20%20%20%20%20%20%20_sparsities%2C%0A%20%20%20%20%20%20%20%20_series%2C%0A%20%20%20%20%20%20%20%20_stds%2C%0A%20%20%20%20%20%20%20%20unstructured%5B%22dense_acc%22%5D%2C%0A%20%20%20%20%20%20%20%20title%3D%22Unstructured%20pruning%3A%20magnitude%20remains%20the%20strongest%20baseline%22%2C%0A%20%20%20%20%20%20%20%20sparsity_label%3D%22Weights%20pruned%20(%25)%22%2C%0A%20%20%20%20)%0A%20%20%20%20_focus_sparsity%20%3D%20ablation%5B%22config%22%5D%5B%22focus%22%5D%0A%20%20%20%20_focus%20%3D%20_entries%5Bstr(_focus_sparsity)%5D%0A%20%20%20%20mo.vstack(%0A%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(f%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%23%203.%20Unstructured%20baseline%3A%20one%20bit%20per%20weight%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20The%20unstructured%20chromosome%20contains%20one%20bit%20for%20each%20of%0A%20%20%20%20%20%20%20%20%20%20%20%20**%7Bunstructured%5B%22parameter_counts%22%5D%5B%22weights%22%5D%3A%2C%7D%20weights**.%20This%20is%20the%20most%0A%20%20%20%20%20%20%20%20%20%20%20%20direct%20binary-mask%20formulation%20and%20matches%20the%20weight-level%20view%20common%20in%0A%20%20%20%20%20%20%20%20%20%20%20%20pruning%20and%20lottery-ticket%20literature.%20Keeping%20weights%20frozen%20isolates%20mask%0A%20%20%20%20%20%20%20%20%20%20%20%20selection%20from%20retraining%20effects.%20The%20GA%20improves%0A%20%20%20%20%20%20%20%20%20%20%20%20greatly%20over%20random%20masks%2C%20but%20magnitude%20pruning%20is%20stronger%20at%20every%20tested%0A%20%20%20%20%20%20%20%20%20%20%20%20sparsity.%20At%20%7B_focus_sparsity%3A.0%25%7D%2C%20magnitude%20retains%20%7B_focus%5B%22mag_accuracy%22%5D%3A.1f%7D%25%20accuracy%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20while%20the%20GA%20retains%20%7B_focus%5B%22ga_accuracy%22%5D%3A.1f%7D%25.%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20This%20is%20a%20useful%20negative%20result.%20The%20genome%20is%20extremely%20large%2C%20bit-flip%0A%20%20%20%20%20%20%20%20%20%20%20%20mutation%20changes%20only%20a%20tiny%20fraction%20of%20it%2C%20crossover%20has%20little%20semantic%0A%20%20%20%20%20%20%20%20%20%20%20%20locality%20at%20the%20weight%20level%2C%20and%20magnitude%20already%20provides%20a%20strong%20local%0A%20%20%20%20%20%20%20%20%20%20%20%20importance%20signal.%20It%20does%20**not**%20prove%20that%20GAs%20can%20never%20perform%0A%20%20%20%20%20%20%20%20%20%20%20%20unstructured%20pruning%3B%20it%20shows%20that%20this%20representation%20is%20poorly%20matched%20to%0A%20%20%20%20%20%20%20%20%20%20%20%20this%20model%20and%20evaluation%20budget.%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.hstack(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.stat(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22%7B_focus%5B'mag_accuracy'%5D%3A.2f%7D%25%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20label%3Df%22Magnitude%20%C2%B7%20%7B_focus_sparsity%3A.0%25%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.stat(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22%7B_focus%5B'ga_accuracy'%5D%3A.2f%7D%25%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20label%3Df%22GA%20%C2%B7%20%7B_focus_sparsity%3A.0%25%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.stat(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22%7B_focus%5B'mag_accuracy'%5D%20-%20_focus%5B'ga_accuracy'%5D%3A%2B.2f%7D%20pp%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20label%3D%22Magnitude%20advantage%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20widths%3D%22equal%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.as_html(_figure)%2C%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo%2C%20sweep)%3A%0A%20%20%20%20_config%20%3D%20sweep%5B%22config%22%5D%0A%20%20%20%20_genome%20%3D%20sum(sweep%5B%22architecture%22%5D%5B%22hidden_sizes%22%5D)%0A%20%20%20%20mo.md(f%22%22%22%0A%20%20%20%20%23%23%204.%20Structured%20approach%3A%20one%20bit%20per%20hidden%20neuron%0A%20%20%20%20%3E%20This%20is%20the%20regime%20where%20a%20GA%20has%20a%20real%20chance%20to%20help%20and%20pruning%20whole%20neurons%20can%20be%20materialized%20as%20a%20smaller%20dense%20network.%0A%0A%20%20%20%20The%20structured%20chromosome%20contains%20**%7B_genome%7D%20bits**%2C%20with%20one%20gene%20per%20hidden%0A%20%20%20%20neuron.%20A%20zero%20disables%20that%20neuron's%20output%3B%0A%20%20%20%20its%20incoming%20row%2C%20outgoing%20column%2C%20and%20hidden%20bias%20can%20then%20be%20removed%20from%20a%20compact%0A%20%20%20%20network.%20This%20gives%20genes%20a%20functional%20meaning%20and%20makes%20the%20result%20implementable%20as%0A%20%20%20%20smaller%20dense%20layers%20rather%20than%20scattered%20zeros.%0A%0A%20%20%20%20The%20GA%20starts%20from%20exact-cardinality%20random%20masks%2C%20uses%20tournament%20selection%20of%20size%0A%20%20%20%20%7B_config%5B%22tournament_size%22%5D%7D%2C%20preserves%20one%20elite%2C%20applies%20uniform%20or%20two-point%0A%20%20%20%20crossover%2C%20mutates%20each%20bit%20with%20probability%20%601%2Fn%60%2C%20and%20repairs%20children%20to%20the%20exact%0A%20%20%20%20keep%20count.%20Frozen%20weights%20make%20accuracy%20the%20only%20fitness%20objective%20needed.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(%0A%20%20%20%20STRUCTURED_REPORT_METHODS%2C%0A%20%20%20%20ablation%2C%0A%20%20%20%20fig_accuracy_vs_sparsity%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20sweep%2C%0A)%3A%0A%20%20%20%20_methods%20%3D%20list(STRUCTURED_REPORT_METHODS)%0A%20%20%20%20_focus%20%3D%20ablation%5B%22config%22%5D%5B%22focus%22%5D%0A%20%20%20%20_figure%20%3D%20fig_accuracy_vs_sparsity(%0A%20%20%20%20%20%20%20%20sweep%5B%22sparsities%22%5D%2C%0A%20%20%20%20%20%20%20%20%7Bname%3A%20sweep%5B%22methods%22%5D%5Bname%5D%5B%22accuracy%22%5D%20for%20name%20in%20_methods%7D%2C%0A%20%20%20%20%20%20%20%20%7Bname%3A%20sweep%5B%22methods%22%5D%5Bname%5D%5B%22accuracy_std%22%5D%20for%20name%20in%20_methods%7D%2C%0A%20%20%20%20%20%20%20%20sweep%5B%22dense_acc%22%5D%2C%0A%20%20%20%20%20%20%20%20method_order%3D_methods%2C%0A%20%20%20%20%20%20%20%20title%3D%22Structured%20pruning%3A%20test%20accuracy%20vs%20hidden-neuron%20sparsity%22%2C%0A%20%20%20%20)%0A%20%20%20%20_focus_index%20%3D%20sweep%5B%22sparsities%22%5D.index(_focus)%0A%20%20%20%20_ga%20%3D%20sweep%5B%22methods%22%5D%5B%22GA-uniform%22%5D%5B%22accuracy%22%5D%5B_focus_index%5D%0A%20%20%20%20_hill%20%3D%20sweep%5B%22methods%22%5D%5B%22Hill%20climbing%20(equal%20budget)%22%5D%5B%22accuracy%22%5D%5B_focus_index%5D%0A%20%20%20%20_random%20%3D%20sweep%5B%22methods%22%5D%5B%22Random%20search%20(equal%20budget)%22%5D%5B%22accuracy%22%5D%5B_focus_index%5D%0A%20%20%20%20mo.vstack(%0A%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(f%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%23%205.%20Main%20result%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20At%20%7B_focus%3A.0%25%7D%20neuron%20sparsity%2C%20uniform-crossover%20GA%20reaches%20**%7B_ga%3A.1f%7D%25**%20test%0A%20%20%20%20%20%20%20%20%20%20%20%20accuracy%3A%20%7B_ga%20-%20_hill%3A.1f%7D%20percentage%20points%20above%20equal-budget%20hill%20climbing%0A%20%20%20%20%20%20%20%20%20%20%20%20and%20%7B_ga%20-%20_random%3A.1f%7D%20points%20above%20equal-budget%20random%20search.%20The%20advantage%0A%20%20%20%20%20%20%20%20%20%20%20%20grows%20as%20the%20constraint%20becomes%20harder%2C%20supporting%20the%20value%20of%20evolutionary%0A%20%20%20%20%20%20%20%20%20%20%20%20operators%20in%20the%20smaller%2C%20structured%20search%20space.%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.hstack(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.stat(f%22%7B_ga%3A.2f%7D%25%22%2C%20label%3Df%22GA-uniform%20%C2%B7%20%7B_focus%3A.0%25%7D%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.stat(f%22%7B_hill%3A.2f%7D%25%22%2C%20label%3Df%22Hill%20climbing%20%C2%B7%20%7B_focus%3A.0%25%7D%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.stat(f%22%7B_random%3A.2f%7D%25%22%2C%20label%3Df%22Random%20search%20%C2%B7%20%7B_focus%3A.0%25%7D%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20widths%3D%22equal%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.as_html(_figure)%2C%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(%0A%20%20%20%20STRUCTURED_METHOD_LABELS%2C%0A%20%20%20%20STRUCTURED_REPORT_METHODS%2C%0A%20%20%20%20ablation%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20sweep%2C%0A)%3A%0A%20%20%20%20_focus%20%3D%20ablation%5B%22config%22%5D%5B%22focus%22%5D%0A%20%20%20%20explorer_sparsity%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%20steps%3D%5Bround(value%20*%20100)%20for%20value%20in%20sweep%5B%22sparsities%22%5D%5D%2C%0A%20%20%20%20%20%20%20%20value%3Dround(_focus%20*%20100)%2C%0A%20%20%20%20%20%20%20%20show_value%3DTrue%2C%0A%20%20%20%20%20%20%20%20debounce%3DTrue%2C%0A%20%20%20%20%20%20%20%20label%3D%22**Neuron%20sparsity%20(%25)**%22%2C%0A%20%20%20%20%20%20%20%20full_width%3DTrue%2C%0A%20%20%20%20)%0A%20%20%20%20explorer_method%20%3D%20mo.ui.dropdown(%0A%20%20%20%20%20%20%20%20options%3D%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22All%20methods%22%3A%20%22__all__%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20**%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20STRUCTURED_METHOD_LABELS%5Bmethod%5D%3A%20method%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20for%20method%20in%20STRUCTURED_REPORT_METHODS%0A%20%20%20%20%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20value%3D%22All%20methods%22%2C%0A%20%20%20%20%20%20%20%20allow_select_none%3DFalse%2C%0A%20%20%20%20%20%20%20%20label%3D%22**Method**%22%2C%0A%20%20%20%20%20%20%20%20full_width%3DTrue%2C%0A%20%20%20%20)%0A%20%20%20%20explorer_panel%20%3D%20mo.ui.dropdown(%0A%20%20%20%20%20%20%20%20options%3D%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Accuracy%20comparison%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Convergence%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Layer%20allocation%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Mask%20anatomy%22%2C%0A%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%20%20%20%20value%3D%22Accuracy%20comparison%22%2C%0A%20%20%20%20%20%20%20%20allow_select_none%3DFalse%2C%0A%20%20%20%20%20%20%20%20label%3D%22**View**%22%2C%0A%20%20%20%20%20%20%20%20full_width%3DTrue%2C%0A%20%20%20%20)%0A%20%20%20%20explorer_weight_masks%20%3D%20mo.ui.switch(%0A%20%20%20%20%20%20%20%20value%3DFalse%2C%0A%20%20%20%20%20%20%20%20label%3D%22Show%20derived%20weight%20masks%22%2C%0A%20%20%20%20)%0A%20%20%20%20mo.vstack(%0A%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(f%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%23%206.%20Explore%20the%20structured%20result%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20The%20default%20compares%20every%20method%20at%20%7B_focus%3A.0%25%7D.%20Select%20one%20method%20to%20inspect%20its%0A%20%20%20%20%20%20%20%20%20%20%20%20convergence%2C%20layer%20allocation%2C%20and%20the%20saved%20structured%20masks.%20No%20experiment%0A%20%20%20%20%20%20%20%20%20%20%20%20is%20rerun.%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.hstack(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5Bexplorer_sparsity%2C%20explorer_method%2C%20explorer_panel%5D%2C%20widths%3D%22equal%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20)%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20explorer_method%2C%0A%20%20%20%20%20%20%20%20explorer_panel%2C%0A%20%20%20%20%20%20%20%20explorer_sparsity%2C%0A%20%20%20%20%20%20%20%20explorer_weight_masks%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(%0A%20%20%20%20STRUCTURED_METHOD_LABELS%2C%0A%20%20%20%20STRUCTURED_REPORT_METHODS%2C%0A%20%20%20%20explorer_method%2C%0A%20%20%20%20explorer_panel%2C%0A%20%20%20%20explorer_sparsity%2C%0A%20%20%20%20explorer_weight_masks%2C%0A%20%20%20%20fig_accuracy_snapshot%2C%0A%20%20%20%20fig_distribution%2C%0A%20%20%20%20fig_neuron_mask_heatmap%2C%0A%20%20%20%20fig_progress%2C%0A%20%20%20%20fig_weight_matrix_heatmap%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20neuron_layer_rows%2C%0A%20%20%20%20neuron_to_weight_masks%2C%0A%20%20%20%20structured_explorer_view%2C%0A%20%20%20%20sweep%2C%0A%20%20%20%20weight_layer_rows%2C%0A)%3A%0A%20%20%20%20_method%20%3D%20explorer_method.value%0A%20%20%20%20_sparsity%20%3D%20explorer_sparsity.value%20%2F%20100%0A%20%20%20%20_methods%20%3D%20list(STRUCTURED_REPORT_METHODS)%0A%20%20%20%20_display_names%20%3D%20STRUCTURED_METHOD_LABELS%0A%20%20%20%20_views%20%3D%20%7B%0A%20%20%20%20%20%20%20%20method%3A%20structured_explorer_view(sweep%2C%20method%2C%20_sparsity)%0A%20%20%20%20%20%20%20%20for%20method%20in%20_methods%0A%20%20%20%20%7D%0A%20%20%20%20_accuracy_plot%20%3D%20fig_accuracy_snapshot(%0A%20%20%20%20%20%20%20%20%7Bmethod%3A%20_views%5Bmethod%5D%5B%22accuracy%22%5D%20for%20method%20in%20_methods%7D%2C%0A%20%20%20%20%20%20%20%20%7Bmethod%3A%20_views%5Bmethod%5D%5B%22std%22%5D%20for%20method%20in%20_methods%7D%2C%0A%20%20%20%20%20%20%20%20sweep%5B%22dense_acc%22%5D%2C%0A%20%20%20%20%20%20%20%20_sparsity%2C%0A%20%20%20%20%20%20%20%20display_names%3D_display_names%2C%0A%20%20%20%20)%0A%0A%20%20%20%20if%20_method%20%3D%3D%20%22__all__%22%3A%0A%20%20%20%20%20%20%20%20_best_method%20%3D%20max(_methods%2C%20key%3Dlambda%20method%3A%20_views%5Bmethod%5D%5B%22accuracy%22%5D)%0A%20%20%20%20%20%20%20%20_best%20%3D%20_views%5B_best_method%5D%0A%20%20%20%20%20%20%20%20_curves%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22%7Bmethod%7D%40%7B_sparsity%3A.4f%7D%22%3A%20_views%5Bmethod%5D%5B%22curve%22%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20for%20method%20in%20_methods%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20_views%5Bmethod%5D%5B%22curve%22%5D%0A%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20%20%20%20%20_allocations%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22%7Bmethod%7D%40%7B_sparsity%3A.4f%7D%22%3A%20_views%5Bmethod%5D%5B%22distribution%22%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20for%20method%20in%20_methods%0A%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20%20%20%20%20_weight_detail%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Select%20one%20method%20to%20inspect%20the%20full%20weight%20masks%20derived%20from%20its%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22neuron%20mask.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20).callout(kind%3D%22info%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20explorer_weight_masks.value%0A%20%20%20%20%20%20%20%20%20%20%20%20else%20mo.md(%22%22)%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20_mask%20%3D%20mo.vstack(%0A%20%20%20%20%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Each%20subplot%20is%20one%20hidden%20layer%20with%20its%20own%20true%20neuron%20count.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Green%20bits%20keep%20neurons%3B%20red%20bits%20remove%20their%20incoming%20row%2C%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22outgoing%20column%2C%20and%20hidden%20bias.%20Stochastic%20methods%20show%20the%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22saved%20seed%20%7Bsweep%5B'config'%5D%5B'seed'%5D%7D%3B%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22accuracy%20and%20variability%20summarize%20all%20seeds.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.as_html(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20fig_neuron_mask_heatmap(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_display_names%5Bmethod%5D%3A%20_views%5Bmethod%5D%5B%22neuron_mask%22%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20for%20method%20in%20_methods%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20sweep%5B%22architecture%22%5D%5B%22hidden_sizes%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20title%3Df%22Representative%20structured%20masks%20at%20%7B_sparsity%3A.0%25%7D%20neuron%20sparsity%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20explorer_weight_masks%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_weight_detail%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20_cards%20%3D%20mo.hstack(%0A%20%20%20%20%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.stat(f%22%7B_sparsity%3A.0%25%7D%22%2C%20label%3D%22Neuron%20sparsity%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.stat(_display_names%5B_best_method%5D%2C%20label%3D%22Best%20method%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.stat(f%22%7B_best%5B'accuracy'%5D%3A.1f%7D%25%22%2C%20label%3D%22Best%20test%20accuracy%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.stat(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22%7B_best%5B'accuracy'%5D%20-%20sweep%5B'dense_acc'%5D%3A%2B.1f%7D%20pp%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20label%3D%22Best%20gap%20to%20dense%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20widths%3D%22equal%22%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20_convergence%20%3D%20mo.as_html(fig_progress(_curves%2C%20sweep%5B%22dense_val_acc%22%5D))%0A%20%20%20%20%20%20%20%20_allocation%20%3D%20mo.as_html(%0A%20%20%20%20%20%20%20%20%20%20%20%20fig_distribution(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_allocations%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20len(sweep%5B%22architecture%22%5D%5B%22hidden_sizes%22%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20display_names%3D_display_names%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20_view%20%3D%20_views%5B_method%5D%0A%20%20%20%20%20%20%20%20_key%20%3D%20f%22%7B_method%7D%40%7B_sparsity%3A.4f%7D%22%0A%20%20%20%20%20%20%20%20_architecture%20%3D%20sweep%5B%22architecture%22%5D%0A%20%20%20%20%20%20%20%20_weight_masks%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20neuron_to_weight_masks(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_view%5B%22neuron_mask%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_architecture%5B%22hidden_sizes%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_architecture%5B%22input_size%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_architecture%5B%22output_size%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20explorer_weight_masks.value%0A%20%20%20%20%20%20%20%20%20%20%20%20else%20None%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20_seed_note%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%22This%20is%20a%20deterministic%20mask.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20_view%5B%22representative_seed%22%5D%20is%20None%0A%20%20%20%20%20%20%20%20%20%20%20%20else%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22This%20mask%20is%20from%20seed%20%7B_view%5B'representative_seed'%5D%7D%3B%20accuracy%2C%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22variability%2C%20convergence%2C%20and%20allocation%20summarize%20all%20seeds.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20_convergence%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.as_html(fig_progress(%7B_key%3A%20_view%5B%22curve%22%5D%7D%2C%20sweep%5B%22dense_val_acc%22%5D))%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20_view%5B%22curve%22%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20else%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22This%20deterministic%20baseline%20ranks%20neurons%20once%20and%20has%20no%20search%20curve.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20).callout(kind%3D%22info%22)%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20_allocation%20%3D%20mo.as_html(%0A%20%20%20%20%20%20%20%20%20%20%20%20fig_distribution(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7B_key%3A%20_view%5B%22distribution%22%5D%7D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20len(sweep%5B%22architecture%22%5D%5B%22hidden_sizes%22%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20display_names%3D_display_names%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20_weight_detail%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.vstack(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Derived%20weight%20connectivity%3A%20green%20entries%20survive%20and%20red%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22entries%20are%20removed.%20Large%20matrices%20are%20block-averaged%20only%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22for%20display.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.as_html(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20fig_weight_matrix_heatmap(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_weight_masks%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20title%3D(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22%7B_method%7D%20derived%20weight%20masks%20at%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22%7B_sparsity%3A.0%25%7D%20neuron%20sparsity%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.ui.table(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20weight_layer_rows(_weight_masks)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20selection%3DNone%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20pagination%3DFalse%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20show_search%3DFalse%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20show_download%3DFalse%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20show_data_types%3DFalse%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20explorer_weight_masks.value%0A%20%20%20%20%20%20%20%20%20%20%20%20else%20mo.md(%22%22)%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20_mask%20%3D%20mo.vstack(%0A%20%20%20%20%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22The%20chromosome%20is%20shown%20first.%20Its%20removed%20neurons%20induce%20the%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22regular%20removed%20rows%20and%20columns%20in%20the%20weight%20matrices%20below.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%2B%20_seed_note%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.as_html(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20fig_neuron_mask_heatmap(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7B_display_names%5B_method%5D%3A%20_view%5B%22neuron_mask%22%5D%7D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20sweep%5B%22architecture%22%5D%5B%22hidden_sizes%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20title%3Df%22%7B_method%7D%20neuron%20mask%20at%20%7B_sparsity%3A.0%25%7D%20neuron%20sparsity%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.ui.table(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20neuron_layer_rows(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_view%5B%22neuron_mask%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20sweep%5B%22architecture%22%5D%5B%22hidden_sizes%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20selection%3DNone%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20pagination%3DFalse%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20show_search%3DFalse%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20show_download%3DFalse%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20show_data_types%3DFalse%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20explorer_weight_masks%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_weight_detail%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20_cards%20%3D%20mo.hstack(%0A%20%20%20%20%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.stat(f%22%7B_view%5B'accuracy'%5D%3A.1f%7D%25%22%2C%20label%3D%22Test%20accuracy%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.stat(f%22%C2%B1%7B_view%5B'std'%5D%3A.1f%7D%20pp%22%2C%20label%3D%22Search%20variability%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.stat(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22%7B_view%5B'weight_sparsity'%5D%3A.1%25%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20label%3D%22Weights%20removed%20%C2%B7%20mean%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.stat(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22%7B_view%5B'accuracy'%5D%20-%20sweep%5B'dense_acc'%5D%3A%2B.1f%7D%20pp%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20label%3D%22Gap%20to%20dense%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20widths%3D%22equal%22%2C%0A%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20_panels%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%22Accuracy%20comparison%22%3A%20mo.as_html(_accuracy_plot)%2C%0A%20%20%20%20%20%20%20%20%22Convergence%22%3A%20_convergence%2C%0A%20%20%20%20%20%20%20%20%22Layer%20allocation%22%3A%20_allocation%2C%0A%20%20%20%20%20%20%20%20%22Mask%20anatomy%22%3A%20_mask%2C%0A%20%20%20%20%7D%0A%0A%20%20%20%20mo.vstack(%0A%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20_cards%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20_panels%5Bexplorer_panel.value%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22*The%20live%20Marimo%20app%20recomputes%20this%20panel%20from%20saved%20JSON%20only.%20The%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22static%20HTML%20backup%20shows%20the%20default%20all-methods%20%7B_sparsity%3A.0%25%7D%20view.*%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(ablation%2C%20fig_ablation_accuracy%2C%20mo%2C%20sweep)%3A%0A%20%20%20%20_study%20%3D%20ablation%5B%22sensitivity%22%5D%0A%20%20%20%20_baseline%20%3D%20_study%5B%22settings%22%5D%5B%22Canonical%22%5D%0A%20%20%20%20_focus%20%3D%20ablation%5B%22config%22%5D%5B%22focus%22%5D%0A%20%20%20%20_num_seeds%20%3D%20ablation%5B%22config%22%5D%5B%22num_seeds%22%5D%0A%20%20%20%20_budget%20%3D%20ablation%5B%22config%22%5D%5B%22canonical_fitness_evaluations%22%5D%0A%20%20%20%20_first_seed%20%3D%20ablation%5B%22config%22%5D%5B%22seed%22%5D%0A%20%20%20%20_last_seed%20%3D%20_first_seed%20%2B%20_num_seeds%20-%201%0A%20%20%20%20_accuracy_figure%20%3D%20fig_ablation_accuracy(_study%2C%20sweep%5B%22dense_acc%22%5D%2C%20_focus)%0A%20%20%20%20_baseline_row%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%22Sparsity%22%3A%20f%22%7B_focus%3A.0%25%7D%22%2C%0A%20%20%20%20%20%20%20%20%22Population%22%3A%20_baseline%5B%22pop_size%22%5D%2C%0A%20%20%20%20%20%20%20%20%22Generations%22%3A%20_baseline%5B%22n_gen%22%5D%2C%0A%20%20%20%20%20%20%20%20%22Evaluations%22%3A%20f%22%7B_baseline%5B'fitness_evaluations'%5D%3A%2C%7D%22%2C%0A%20%20%20%20%20%20%20%20%22Tournament%22%3A%20_baseline%5B%22t_size%22%5D%2C%0A%20%20%20%20%20%20%20%20%22Crossover%22%3A%20_baseline%5B%22crossover%22%5D.replace(%22_%22%2C%20%22%20%22).title()%2C%0A%20%20%20%20%20%20%20%20%22Elitism%22%3A%20%22One%20elite%22%20if%20_baseline%5B%22elitism%22%5D%20else%20%22Disabled%22%2C%0A%20%20%20%20%20%20%20%20%22Mutation%22%3A%20ablation%5B%22config%22%5D%5B%22mutation_rule%22%5D%2C%0A%20%20%20%20%20%20%20%20%22Eval.%20batch%22%3A%20ablation%5B%22config%22%5D%5B%22batch_size%22%5D%2C%0A%20%20%20%20%20%20%20%20%22Seeds%22%3A%20f%22%7B_first_seed%7D%E2%80%93%7B_last_seed%7D%22%2C%0A%20%20%20%20%20%20%20%20%22Fitness%22%3A%20%22Validation%20accuracy%22%2C%0A%20%20%20%20%20%20%20%20%22Weights%22%3A%20%22Frozen%22%2C%0A%20%20%20%20%7D%0A%20%20%20%20mo.vstack(%0A%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(f%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%23%207.%20Sensitivity%20study%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20Mean%20test%20accuracy%20across%20%7B_num_seeds%7D%20search%20seeds%3B%20error%20bars%20show%20one%0A%20%20%20%20%20%20%20%20%20%20%20%20standard%20deviation.%20Every%20variant%20receives%20the%20same%0A%20%20%20%20%20%20%20%20%20%20%20%20**%7B_budget%3A%2C%7D-evaluation%20budget**.%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%22%23%23%23%20Canonical%20GA%20configuration%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.ui.table(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5B_baseline_row%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20selection%3DNone%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20pagination%3DFalse%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20show_search%3DFalse%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20show_download%3DFalse%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20show_data_types%3DFalse%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.as_html(_accuracy_figure)%2C%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%22%22%22%0A%20%20%20%20%23%23%208.%20Conclusions%0A%0A%20%20%20%20-%20The%20weight-level%20chromosome%20is%20*too%20large*%20and%20weakly%20structured%20for%20this%20GA%20and%0A%20%20%20%20%20%20evaluation%20budget%3B%20magnitude%20pruning%20remains%20the%20strongest%20unstructured%20method%0A%20%20%20%20%20%20tested.%0A%20%20%20%20-%20The%20neuron-level%20chromosome%20produces%20*stronger%20high-sparsity*%20masks%20and%20a%20compact%0A%20%20%20%20%20%20dense%20network%20that%20can%20deliver%20practical%20memory%20and%20computational%20savings.%0A%0A%20%20%20%20**Next%20steps**%0A%0A%20%20%20%20-%20Repeat%20the%20structured%20comparison%20across%20independently%20trained%20checkpoints.%0A%20%20%20%20-%20Benchmark%20compact-model%20latency%20and%20memory%20use%20on%20real%20hardware%2C%20including%20edge%0A%20%20%20%20%20%20devices.%0A%20%20%20%20-%20Fine-tune%20the%20network%20after%20pruning%20to%20recover%20accuracy.%0A%20%20%20%20-%20Explore%20multi-objective%20optimization%20of%20accuracy%2C%20model%20size%2C%20and%20latency.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(%0A%20%20%20%20ablation%2C%0A%20%20%20%20effective_sparsity_rows%2C%0A%20%20%20%20fig_crossover_convergence%2C%0A%20%20%20%20fig_effective_sparsity_comparison%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20structured_explorer_view%2C%0A%20%20%20%20sweep%2C%0A%20%20%20%20training_protocol%2C%0A%20%20%20%20unstructured%2C%0A)%3A%0A%20%20%20%20_rows%2C%20_structured_weight_sparsity%20%3D%20effective_sparsity_rows(sweep%2C%20%22GA-uniform%22)%0A%20%20%20%20_entries%20%3D%20unstructured%5B%22sparsities%22%5D%0A%20%20%20%20_focus%20%3D%20ablation%5B%22config%22%5D%5B%22focus%22%5D%0A%20%20%20%20_crossover_curves%20%3D%20%7B%0A%20%20%20%20%20%20%20%20f%22%7Bmethod%7D%40%7B_focus%3A.4f%7D%22%3A%20structured_explorer_view(sweep%2C%20method%2C%20_focus)%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22curve%22%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20for%20method%20in%20(%22GA-uniform%22%2C%20%22GA-two_point%22)%0A%20%20%20%20%7D%0A%20%20%20%20_effective_figure%20%3D%20fig_effective_sparsity_comparison(%0A%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22GA-uniform%22%3A%20_structured_weight_sparsity%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Unstructured%20magnitude%22%3A%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_entries%5Bstr(value)%5D%5B%22mag_sparsity%22%5D%20for%20value%20in%20sweep%5B%22sparsities%22%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22GA-uniform%22%3A%20sweep%5B%22methods%22%5D%5B%22GA-uniform%22%5D%5B%22accuracy%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Unstructured%20magnitude%22%3A%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_entries%5Bstr(value)%5D%5B%22mag_accuracy%22%5D%20for%20value%20in%20sweep%5B%22sparsities%22%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20sweep%5B%22dense_acc%22%5D%2C%0A%20%20%20%20)%0A%20%20%20%20_appendix%20%3D%20mo.accordion(%0A%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Actual%20parameter%20sparsity%22%3A%20mo.vstack(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.as_html(_effective_figure)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.ui.table(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_rows%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20selection%3DNone%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20show_search%3DFalse%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20show_download%3DFalse%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20show_data_types%3DFalse%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Crossover%20comparison%22%3A%20mo.as_html(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20fig_crossover_convergence(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_crossover_curves%2C%20_focus%2C%20sweep%5B%22dense_val_acc%22%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Training%20details%22%3A%20mo.md(f%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7C%20Setting%20%7C%20Value%20%7C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7C---%7C---%7C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7C%20Epochs%20%2F%20batch%20%7C%20%7Btraining_protocol%5B%22epochs%22%5D%7D%20%2F%20%7Btraining_protocol%5B%22batch_size%22%5D%7D%20%7C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7C%20AdamW%20learning%20rate%20%7C%20%7Btraining_protocol%5B%22learning_rate%22%5D%3A.0e%7D%20%7C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7C%20Weight%20decay%20%7C%20%7Btraining_protocol%5B%22weight_decay%22%5D%3A.0e%7D%20%7C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7C%20Cosine%20minimum%20LR%20%7C%20%7Btraining_protocol%5B%22minimum_learning_rate%22%5D%3A.0e%7D%20%7C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7C%20Validation%20split%20%7C%20%7Btraining_protocol%5B%22validation_split%22%5D%3A.0%25%7D%20%7C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7C%20Normalization%20%7C%20%CE%BC%3D%7Btraining_protocol%5B%22normalization_mean%22%5D%3A.3f%7D%2C%20%CF%83%3D%7Btraining_protocol%5B%22normalization_std%22%5D%3A.3f%7D%20%7C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7C%20Seed%20%7C%20%7Btraining_protocol%5B%22seed%22%5D%7D%20%7C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Limitations%20and%20references%22%3A%20mo.md(%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20**Limitations%3A**%20one%20dataset%2C%20architecture%2C%20checkpoint%2C%20and%20split%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20repeated%20seeds%20vary%20only%20mask%20search%3B%20validation%20selects%20both%20the%20checkpoint%20and%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20pruning%20masks%3B%20there%20is%20no%20pruning-time%20fine-tuning%20or%20latency%20benchmark.%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20**Selected%20references%3A**%20LeCun%20et%20al.%20(1990)%2C%20*Optimal%20Brain%20Damage*%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Frankle%20%26%20Carbin%20(2019)%2C%20*The%20Lottery%20Ticket%20Hypothesis*%3B%20Gale%20et%20al.%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20(2019)%2C%20*The%20State%20of%20Sparsity*%3B%20He%20%26%20Xiao%20(2023)%2C%20*Structured%20Pruning%20for%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Deep%20CNNs*%3B%20Eiben%20%26%20Smit%20(2011)%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22)%2C%0A%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20)%0A%20%20%20%20mo.vstack(%5Bmo.md(%22%23%23%20Appendix%22)%2C%20_appendix%5D)%0A%20%20%20%20return%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A