← Notes

Sparks of Weight-Space Programming: LLMs can natively read & write neural network weights

  • Consulté le
  • #ia

All of this is possible without allowing Astra to write training loops. It uses its reasoning to figure out what each part of a neural network computes, or should compute, and changes the weights accordingly. We call this Weight-Space Programming.

Ça me parait surtout du marketing et inutilisable en pratique. Seb Sauvage y voit un espoir de l’interprétabilité des LLM, et je comprends que si Astra arrive à générer un rapport avec toutes les corrélations épinglées, on aura l’impression d’avoir avancé, comme avec SHAP. Mais franchement, à l’échelle est-ce que ça aura encore du sens ?

Extraits cités issus de ce lien visité le , crédits : Rikiya Takehi