GPT-6 Astra แก้ค่าน้ำหนัก AI แค่ 0.016% คะแนนคณิตกระโดด 6 เท่าได้อย่างไร?

ทีมวิจัยสี่คนจาก MIT CSAIL เผยแพร่งานเมื่อวันที่ 2 พฤศจิกายนที่ผ่านมา ด้วยชื่อที่อ่านแล้วสะดุด: Sparks of Weight-Space Programming

แก่นของงานคือการให้ GPT-6 Astra อ่านและเขียนค่าน้ำหนักของโครงข่ายประสาทเทียมโดยตรง โดยไม่ใช้การไล่ระดับสีและไม่มีการเทรนใหม่

ถ้าฟังแค่พาดหัว จะเข้าใจว่านี่คือการอัปเกรดโมเดลให้ฉลาดขึ้น

แต่ถ้าอ่านรายละเอียด จะเห็นว่างานนี้ซ่อมอาการค้างของโมเดล ไม่ได้เติมความรู้ใหม่

ในการทดลองที่ชัดที่สุด ทีมงานให้ Astra แก้โมเดล Qwen3.5-0.8B ซึ่งมีพารามิเตอร์ราว 800 ล้านตัว

Astra แก้ไปเพียง 131,072 ค่าน้ำหนัก หรือราว 0.016% ของทั้งโมเดล

ผลคือคะแนน MATH-500 ขยับจาก 7.9% เป็น 48.1%

GSM8K ขึ้นจาก 13.8% เป็น 67.1% และ IFEval ซึ่งวัดการทำตามคำสั่ง ขึ้นจาก 21.0% เป็น 62.3%

ตัวเลขที่ผมคิดว่าสำคัญที่สุดคือสัดส่วนคำตอบที่วนซ้ำจนชนเพดานโทเคน ลดจาก 93.0% เหลือ 33.1%

ก่อนแก้ โมเดลนี้มักเขียนซ้ำประโยคเดิมจนหมดโควตาคำตอบ แล้วจบด้วยคำตอบที่ไม่สมบูรณ์

Astra ตรวจพฤติกรรมของโมเดลผ่านสภาพแวดล้อม Python ที่จำกัดสิทธิ์ แล้วสรุปว่ามีทิศทางตัวเลขหนึ่งทิศในชั้นที่ 15 และ 19 ที่ผลักให้โมเดลวนซ้ำ

มันจึงลบทิศทางนั้นออก ผลคือโมเดลได้ใช้ความสามารถที่มันมีอยู่แล้ว แต่ถูกอาการค้างบดบังไว้

ทีมงานจึงเรียกงานนี้ว่าการซ่อม ไม่ใช่การเพิ่มความสามารถ

จุดที่บทความข่าวส่วนใหญ่ไม่พูดถึงคือต้นทุนการค้นหาคำตอบ

ความพยายามครั้งที่ดีที่สุดใช้คำขอประเมินผล 50 ครั้ง โดยแต่ละครั้งอาจมีตัวอย่างหลายร้อยข้อ

ตลอดกระบวนการมีบทสนทนา 158 รอบ การรัน Python 80 ครั้ง และใช้เวลาทั้งหมด 20.3 ชั่วโมง ซึ่งในจำนวนนี้ 4.7 ชั่วโมงเป็นการรอระบบภายนอกขัดข้อง

แปลว่าการแก้น้ำหนัก 0.016% ไม่ใช่การแก้ห้านาที แต่เป็นการสอบสวนที่กินเวลารวม 20.3 ชั่วโมง

เมื่อทีมงานลองกับ Gemma 3 270M ซึ่งไม่ค่อยมีอาการวนซ้ำ Astra ทำคะแนนคณิตได้ดีขึ้นเพียงเล็กน้อยจาก 6.8% เป็น 7.7% ที่การรัน 25 รอบ ส่วนการรัน 50 รอบกลับได้ 7.0% และทีมงานสรุปเองว่าไม่ถือว่าเป็นการปรับปรุงด้านคณิต

การทดลองนี้คือหลักฐานว่าเทคนิคนี้ลบอุปสรรคที่บังอยู่ ไม่ได้เติมความสามารถที่ไม่มี

มีอีกกรณีที่ Astra แยกไม่ออกระหว่างโมเดลสองตัว ตัวหนึ่งถูกฝึกให้คล้อยตามผู้ใช้ อีกตัวถูกฝึกให้ตอบถูก กระทั่งทีมงานป้อนรูปแบบการให้ความสนใจ (attention patterns) ระหว่างทำงานให้

Astra ยังระบุได้ว่าโครงข่ายสี่ตัวที่หน้าตาเหมือนกันทุกอย่างกำลังเล่นเกมอะไร โดยไม่ได้รับเครื่องมือหรือรายชื่อเกมให้เลือก

ในงานขับรถจำลอง อุปกรณ์ควบคุมตัวหนึ่งติดอยู่ที่ทางลาด Astra รับน้ำหนักของมัน เข้าใจฉาก และเห็นเส้นทางการล้มเหลวหนึ่งครั้ง แล้วส่งแพตช์กลับมาในคำตอบเดียว

แพตช์นั้นแตะน้ำหนัก 3.5% และทีมงานรายงานว่าอัตราความสำเร็จขึ้นเป็น 100%

ในงาน MinAtar โครงข่าย Breakout ที่ Astra สร้างได้คะแนน 517.4 เทียบกับโครงข่ายที่ฝึกด้วยวิธี PPO 500 ล้านก้าวได้ 25.3

แต่ส่วนได้เปรียบนั้นไม่ได้เกิดทุกเกม เพราะ Astra แพ้โครงข่าย PPO ใน Seaquest และแพ้เล็กน้อยใน Asterix แม้จะชนะ baseline PPO ที่ฝึก 100 ล้านก้าวทั้งสามเกม

นักวิจัยที่ไม่ได้ร่วมงานบางคนมองบวก บางคนมองลบ และมีข้อสังเกตที่ตรงประเด็น

บัญชี X ชื่อ @1a3orn ชี้ว่าเธรดประกาศของผู้เขียนตัดผลลัพธ์ด้านลบออก คือกรณี Gemma ที่ไม่มีการปรับปรุงด้านคณิต

แต่เขาให้เครดิตผู้เขียนด้วยว่าใส่เคสล้มเหลวไว้ครบในบล็อก

Maxime Fournes ซีอีโอของ PauseAI เขียนว่าถ้างานนี้จริง มันจะเร่งความก้าวหน้าอย่างมาก พาโลกใกล้หายนะ และเขาเห็นว่าเป็นทิศทางการวิจัยที่ประมาท

ผมอ่านความเห็นทั้งสองแบบว่าเป็นเรื่องคนละชั้น คนแรกถามเรื่องความแข็งของหลักฐาน คนที่สองถามเรื่องผลที่จะตามมา

ฝั่งมองบวกก็มี ชื่อที่ถูกอ้างในรายงานคือ Yuchen Jin จาก Databricks และ Chandan Singh จาก Voyage AI

เรื่องแรก คะแนนที่พุ่งขึ้นอาจมาจากการเอาอุปสรรคออก ไม่ใช่จากความรู้ใหม่ ถ้าโมเดลของคุณไม่มีอาการวนซ้ำ เทคนิคนี้ก็อาจไม่ช่วยอะไร

เรื่องที่สอง การตรวจไฟล์ด้วยค่าแฮชบอกได้แค่ว่าไฟล์ถูกแก้ แต่บอกไม่ได้ว่าแก้ไปทำอะไร

Rikiya Takehi และคณะ · Sparks of Weight-Space Programming: LLMs can natively read & write neural network weights (MIT CSAIL, 2 พ.ย. 2026) · https://rikiyat.github.io/blog/weight-space-programming/ VentureBeat · MIT researchers used GPT-6 Astra to edit Qwen's open weights directly, boosting math performance (2 พ.ย. 2026) · https://venturebeat.com/technology/like-gene-editing-for-neural-networks-mit-researchers-used-gpt-6-astra-to-edit-qwens-open-weights-directly-boosting-math-performance GitHub · lm_understand-logs exp8_math/gemma_followup (ผลการทดลอง Gemma ของผู้เขียน, 2026) · https://github.com/RikiyaT/lm_understand-logs/blob/main/exp8_math/gemma_followup/README.md

บทความนี้เขียนโดย AI (deepseek-v4.1-flash · ผู้ให้บริการโมเดล: ollama-cloud) ผ่าน Hermes Agent ภายใต้การควบคุมและตรวจสอบคุณภาพโดยมนุษย์ - Nokka (นก-กา)