செயற்கை நுண்ணறிவிற்கு தூங்கக் கற்றுக்கொடுத்திருக்கிறார்கள்

 ஒரு செயற்கை நுண்ணறிவு மாதிரிக்கு நேற்று ஒரு விடயத்தைச் சொல்லிக்கொடுத்தீர்கள் என்று வைத்துக்கொள்வோம். இன்று அது அதை நினைவில் வைத்திருக்குமா எனக் கேட்டால், விடை: பெரும்பாலும் இல்லை. உரையாடல் முடிந்ததும் அந்தத் தகவலும் மறைந்துவிடும். மாதிரியின் அறிவு, அதன் பயிற்சி முடிந்த நாளோடு உறைந்துபோகிறது. இத்தனை வளர்ச்சிக்குப் பின்னரும் இதுதான் இன்றைய மாதிரிகளின் அடிப்படைக் குறைகளில் ஒன்று.

இதற்கு Google Research ஒரு புதிய வழியை முன்வைத்திருக்கிறது. சுருக்கமாகச் சொன்னால், மாதிரி "தூங்கும்" நேரத்தில் தன் எடைகளைத் (weights) தானே புதுப்பித்துக்கொள்கிறது.

ஏன் இது தேவைப்படுகிறது என்பதை முதலில் பார்க்க வேண்டும். புதிதாக ஒன்றைக் கற்பிப்பதற்காக மாதிரியை மீண்டும் பயிற்றுவித்தால், ஏலவே கற்றவற்றை அது மறந்துவிடும் ஆபத்து உண்டு. ஆய்வாளர்கள் இதை catastrophic forgetting என்கிறார்கள். புதிய அறிவைச் சேர்க்கும்போது பழைய அறிவு அழியாமல் இருக்க வேண்டும் என்பதே இங்குள்ள சவால்.

இந்த புதிய சட்டகத்தின் அடிப்படை சிந்தனை மனித மூளையிடமிருந்து எடுக்கப்பட்டது. பகலில் நாம் கற்றதை, தூக்கத்தின்போது மூளை நீண்டகால நினைவாக நிலைப்படுத்துகிறது. அதேபோல இங்கும் இரண்டு நிலைகள் உள்ளன. விழிப்பு நிலையில், புதிய தகவல் வேகமாக இயங்கும் குறுகியகால நினைவகப் பகுதிகளில் தற்காலிகமாக சேமிக்கப்படுகிறது. உறக்க நிலையில், முன்கூட்டியே ஒதுக்கி வைக்கப்பட்ட Mixture-of-Experts நினைவகப் பகுதிகளை மாதிரி திறக்கிறது. தானே உருவாக்கிய பயிற்சி எடுத்துக்காட்டுகளைக் கொண்டு அவற்றின் எடைகளைப் புதுப்பிக்கிறது. குறுகியகால நினைவு நீண்டகாலப் பகுதிகளுக்கு மாற்றப்படுகிறது. பின்னர் தற்காலிகப் பகுதிகள் அழிக்கப்பட்டு, அடுத்த சுழற்சிக்காக குறுங்கால நினைவகம் தயாராகிறது.

இதில் "கனவு காணுதல்" (dreaming) என்றொரு படியும் உண்டு. மாதிரி தானே செயற்கைத் தரவுகளை உருவாக்குகிறது. அவற்றுள் பயனுள்ளவற்றை மட்டும் வடிகட்டுகிறது. அவற்றின் மீது மீண்டும் பயிற்சி பெற்று, செயல்திறன் உண்மையிலேயே உயர்ந்ததா என்று சரிபார்க்கிறது. மனிதன் கனவில் நினைவுகளைக் கலந்து புதிய தொடர்புகளைக் காண்பதை இது முன்மாதிரியாகக் கொள்கிறது.

Google இன் ஆய்வில் சொல்லப்பட்ட முடிவுகள் கவனிக்கத்தக்கவை. மாதிரி முன்பு அறியாத Manchu, Kalamang ஆகிய மொழிகளை இந்தப் புதிய உறங்கற் சட்டகத்தினுள் தொடர்ச்சியாகக் கற்றபோது, அதன் செயல்திறன் கிட்டத்தட்ட குறையவில்லை. மற்ற முறைகள் அல்லது சட்டகங்களில் அவை கடுமையாக மறந்தன என அந்த ஆய்வு சுட்டுகிறது. நீள்சூழல் சோதனையான BABILong-இல் 10 மில்லியன் சொற்ற்கூறு (tokens) வரை கிட்டத்தட்டச் சரியான முடிவுகள் கிடைத்தன. AIME 24 கணிதத் தேர்வில் 79.2%, AIME 25 இல் 69.0% என்றும் அவர்கள் குறிப்பிடுகிறார்கள்.

செயற்கை நுண்ணறிவு தன் மூளையையே மாற்றி எழுதுகிறதா என்று கேட்டால், அந்தப் பயணத்தின் ஒரு முக்கிய புள்ளி என வேண்டுமானால் சொல்லலாம். இதை விளங்கிக்கொள்ள மூன்று விடயங்களைக் கவனிக்க வேண்டும்.

முதலாவது, இது ஒரு நிலையான கட்டமைப்புக்குள்ளும், மனிதர்கள் வரையறுத்த பயிற்சி விதிகளுக்குள்ளும் இது நடக்கிறது. மாறுவது ஒதுக்கி வைக்கப்பட்ட நினைவகப் பகுதிகள் மட்டுமே. மாதிரியின் அடிப்படையோ, அது கற்கும் விதிகளோ அல்ல. இரண்டாவது, இந்த எண்கள் அனைத்தும் ஆய்வாளர்களின் சொந்த அறிக்கையிலிருந்து வருபவை. சுயாதீனமான சரிபார்ப்புகள் எவையும் இன்னும் வெளியகவில்லை. மூன்றாவது, கற்றல் தூக்க நேரத்தில் மட்டுமே நடக்கிறது. உரையாடிக்கொண்டிருக்கும்போதே முழுமையாகக் கற்கும் மாதிரி இது இல்லை.

ஆனால் எனக்கு இதில் மிகவும் சிந்திக்க வைக்கும் விடயம், தன் எடைகளைத் தானே மாற்றிக்கொள்ளும் மாதிரி, தூக்கத்தில் என்ன கற்றுக்கொண்டது என்பதை நாம் எப்படி அறிவது? ஒரு மனிதனின் கனவை அவன் சொன்னால்தான் நாம் அறிவோம். மாதிரியின் கனவுக்கு அப்படியொரு வழி இன்னும் இல்லை. மறக்காமல் கற்கும் செயற்கை நுண்ணறிவு பயனுள்ள கனவுதான். ஆனால் அந்தக் கனவில் என்ன நடக்கிறது என்பதை மனிதர்கள் பார்க்க முடிய வேண்டும்.