मूल व्यञ्जनों (अ-ध्वनि रहित) के यूनिकोड कूट निर्धारण की आवश्यकता

मित्रों वर्तमान में यूनिकोड में केवल पूरे अक्षर (अकार युक्त व्यञ्जन) तथा हलन्त ही कोडित हैं। मूल व्यञ्जन (शुद्ध व्यञ्जन, अ-ध्वनि रहित,  जिन्हें लेखन में हम आमतौर पर हलन्त लगा कर दिखाते हैं) कोडित नहीं हैं। इसकी अनेक हानियाँ हैं, मैं इनमें से एक हानि टैक्स्ट साइज का बड़ा होना बता रहा हूँ, बाकी हानियों पर हरिराम जी से निवेदन है कि प्रकाश डालें।

वर्ण भाषा की सबसे छोटी इकाई होता है, देवनागरी में स्वर तथा व्यञ्जन दो तरह के वर्ण होते हैं। व्यञ्जन अपने मूल रुप में हलन्त युक्त ही होते हैं (अर्थात हलन्त युक्त व्यञ्जन ही वर्ण है, सबसे छोटी इकाई है), हाँ व्यञ्जन का उच्चारण बिना स्वर के नहीं किया जा सकता, इसके लिये स्वर की सहायता लेनी पड़ती है। लेकिन लेखन में वह स्वतन्त्र रुप से सबसे छोटी इकाई है।

वर्तमान में यूनिकोड में पूरे अक्षर (और हलन्त) ही कूटबद्ध हैं, मूल व्यञ्जन नहीं जिस कारण आधे अक्षरों के लिये हलन्त जोड़ना पड़ता है जबकि (जैसा हरिराम जी ने बताया) हलन्त का असली कार्य 'अ' ध्वनि को हटाना/घटाना है।

व्याकरण के अनुसार होना यह चाहिये था: पूरा अक्षर = मूल व्यञ्जन+अ ध्वनि वर्ण
जबकि होता यह है: आधा अक्षर = पूरा अक्षर+हलन्त

जिस प्रकार हम लिखते हुये आधा अक्षर (जैसे आधा क) लिखने के लिये पहले पूरा लिखकर फिर आधा काटते नहीं वैसे ही कोडिंग प्रणाली में भी आधा अक्षर (मूल व्यञ्जन) होना चाहिये था न कि इसके लिये पूरे अक्षर के साथ हलन्त जोड़ना पड़े।

व्याकरण के अनुसार बारह-खड़ी इस प्रकार होती है: क = क्+अ, का=क्+आ, कि=क्+इ, की=क्+ई आदि
लेकिन वर्तमान ऍन्कोडिंग में यह होता है: का=क+ा, कि=क+ि, की=क+ी आदि जिन्हें जोड़कर प्रदर्शन हेतु स्क्रिप्ट प्रोसैसर (कॉम्पलैक्स स्क्रिप्ट लेआउट इञ्जन) द्वारा दिखाया जाता है।

देवनागरी का टंकण एवं प्रदर्शन एक तीन चरणों की व्यवस्था से होता है जिसे हरिराम जी त्रिआयामी समस्या बताते हैं। इस त्रिआयामी समस्या के कारण ही अक्सर विभिन्न सॉफ्टवेयरों में जैसे फोटोशॉप हिन्दी बिखरी हुयी दिखती है।

हरिराम जी द्वारा दिया गया उदाहरण देखें:

'स्व' टंकित करने में स + हलन्त +व ही प्रोसेस होता है = sa+(-a)+wa

यदि आधे अक्षर और 'अ' की मात्रा निराकार(invisible) और कण रूप में कोडित होती
तो स्व = s+w+a = स् (आधे रूप में खड़ी पाई रहित) + व् (आधे रूप में खड़ी पाई रूप
में) + अ (खड़ी पाई रूप में) ही टंकित/प्रोसेसिंग करना पड़ता।

जिस कारण आधा अक्षर जिसे एक इकाई स्थान घेरना था वह दो इकाई स्थान घेरता है। उपरोक्त उदाहरण में स्व को जहाँ दो इकाई स्थान घेरना चाहिये था, वह तीन इकाई घेर रहा है। इसके अलावा सामान्य संयुक्ताक्षर भी यूनिकोड में कोडित नहीं है जिस कारण संयुक्ताक्षरों में स्थिति और भी बुरी हो जाती है।

जैसे लक्ष्मण में आधा क्ष (क्ष्) = क+्+ष+्
अर्थात जहाँ आधे क्ष ने एक इकाई स्थान घेरना था वह चार इकाई स्थान घेर रहा है। यही स्थिति ज्ञ, त्र, श्र आदि के आधे अक्षरों में देखी जा सकती है।

मूल व्यञ्जनों और संयुक्तक्षरों के कूटबद्ध न होने से जो टैक्स्ट साइज बड़ा होने की हानि है उसका प्रत्यक्ष उदाहरण आप ट्विटर में ट्वीट टाइप करते समय देख सकते हैं। वहाँ 140 वर्णों की सीमा होती है और हम जैसे-जैसे टाइप करते जाते हैं यह कम होती जाती है जिसे ट्विटर साथ-साथ दिखाता रहता है। हम देख सकते हैं कि अंग्रेजी के बड़े से बड़े वाक्य जहाँ इस सीमा में आ जाते हैं वहीं हिन्दी के वाक्य अक्सर आ नहीं पाते जिस कारण हिन्दी में कोई बात कम शब्दों में लिखना बड़ा मुश्किल हो जाता है।

एक अन्य उदाहरण मुझे याद है जहाँ मुझे इस कारण समस्या हुयी थी - माइक्रोसॉफ्ट के कीबोर्ड बनाने वाले टूल MSKLC (Microsoft Keyboard Layout Creator) में dead key डिफाइन करते वक्त dead key value, base तथा composite के रुप में एकाधिक key को डिफाइन नहीं कर सकते जिस वजह से में s+hr (dead key+base) ='श्र' नहीं सैट कर सकते है (base=hr दो key हैं), यही नहीं S+r='श्र' भी नहीं होता क्योंकि 'श्र' में तीन कुञ्जी कोड हैं (श+्+र) यानि यदि मूल व्यञ्जनों का मानकीकरण हुआ होता तो श्र=श्+र होता तब बात बन जाती। यह समस्या अनेक संयुक्त वर्णों में आती है।

एक सामान्य उदाहरण जो हमें देखने को मिलता है कि वेब फॉर्मों अथवा किसी सॉफ्टवेयर के फॉर्म फील्ड जैसे नाम, पता आदि की लिमिट तय होती है इसलिये इस साइज बढ़ने की समस्या के कारण हिन्दी में प्रायः नाम आदि पूरे नहीं आ पाते।

ज्यादा साइज घेरने के कारण ही हिन्दी में SMS भेजना रोमन की बजाय महंगा पड़ता है।

साइज के अलावा सॉर्टिंग (Sorting) की समस्या भी है, वर्तमान में आधा अक्षर दो कूटों से बना होने के कारण सॉर्टिंग में पूरे अक्षर से बाद में आता है जो कि व्याकरण एवं वैज्ञानिक रुप से गलत है। इस पर अधिक प्रकाश हरिराज जी डाल पायेंगे।

हरिराम जी के अनुसार,

यदि मूल व्यञ्जनों को यूनिकोड में शामिल कर लिया जाता तो विण्डोज के USP (Unicode Script Processor) की आवश्यकता ही न होती।

हरिराम जी यह बात समझ नहीं आयी, माना मूल व्यञ्जनों तथा संयुक्ताक्षरों (क्ष, त्र, ज्ञ, श्र आदि) की भी कोडिंग हो जाय तब भी उन्हें सही रुप में स्क्रिप्ट प्रोसैसर के बिना कैसे दिखाया जा सकेगा। उदाहरण के लिये 'स्व' तो हो जायेगा पर द्व=द्+व्+इ (वर्तमान में द+्+व) होने पर भी उसे 'द्व' रुप में तो USP ही दिखा पायेगा न। यही बात अन्य संयुक्ताक्षरों आदि में है।

हरिराम जी के अनुसार,

इसीलिए मूल व्यंजनों (अ-ध्वनि रहित व्यंजनों) के कूट-निर्धारण की नितान्त आवश्यकता है। इसके बिना पाणिनी के शब्द रूप, प्रत्यय विधान, विभक्ति विधान के समस्त वैज्ञानिक सूत्रों की कम्प्यूटिंग गलत हो जाती है, लिपि ही अपंग हो जाती
है।

सन्दर्भ: http://groups.google.com/group/technical-hindi/msg/51050e33261e4f22

--
Shrish Benjwal Sharma (श्रीश बेंजवाल शर्मा)
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
If u can't beat them, join them.

ePandit: http://epandit.shrish.in/

Sanjay Kareer           
-----------------------------------------------------
Daily Hindi News : First online Hindi Newspaper from Sagar & Bundelkhand
Sagar: The Heart of India : All About Sagar
MP Newsline : News from Madhya Pradesh

व् (आधे रूप में खड़ी पाई रूप में)  ??स्व दो इकाई स्थान कैसे छेकता है, कृपया स्पष्ट करें । वर्तमान स्थिति या संशोधित किसी भी रूप में हो इसे तीन इकाई स्थान छेकना चाहिए ।

----नारायण प्रसाद


**************Message curtailed *************

मैंने दो इकाई यह मान कर लिखा है कि पूरा अक्षर 'व' (अकार सहित) तो पहले से है ही, 'स्' (शुद्ध व्यजञ्न) भी हो जाय तो दोनों से बना 'स्व' दो इकाई स्थान लेगा। क्योंकि मेरा अर्थ यह नहीं कि जो पूरे अक्षर (अकार सहित) यूनिकोड में शामिल हो चुके हैं, उन्हें हटाया जाय। उन्हें हटा भी नहीं सकते।

हरिराम जी ने जो लिखा उसका उत्तर न तो आपने दिया और न उन्होंने । "व् (आधे रूप में खड़ी पाई रूप में) " का क्या मतलब है ? क्या यह टंकण की अशुद्धि है ? इतना ही नहीं हरिराम जी के और आपके विचार में विरोधाभास दिखता है । कृपया मेरे पूर्व सन्देश को फिर से पूरा पढ़ें ।
--- नारायण प्रसाद

देवनागरी एवं अन्य भारतीय लिपियों के यूनिकोड पर पहले भी एक विस्तृत चर्चा हुई थी। उसमें इस मुद्दे पर कोई  स्पष्ट मतैक्य नही बन पाया था कि  वर्तमान  यूनिकोड 'अपंग' है।

हिन्दी, संस्कृत, मराठी आदि  के शब्दों में  आधे अक्षर और पूरे अक्षर - दोनो ही आते हैं।  इसलिये  यदि  मूल व्यंजनों को  एक कोड दिया जाता  तो जहाँ-जहाँ  पूर्णाक्षर आते वहाँ-वहाँ   दो  यूनिकोड की जरूरत पड़ती और जहाँ अर्धाक्षर होते वहां केवल एक।  इससे तो मुझे लगता है कि वर्तमान प्रणाली में कम 'स्पेस' में ही काम चल जाता है और प्रस्तावित परिवर्तन  के कारण अधिक जगह लगेगी।  ऐसा इसलिये है कि मेरा मानना है कि अर्धाक्षर अपेक्षाकृत कम होते हैं।

दूसरी बात यह है कि  'कोडीकरण' का काम कप्यूटर और उसका कोई प्रोग्राम करता है, न कि कोई व्यक्ति।  इसलिये  " क् = क + हलन्त "  व्याकरण की दृष्टि से थोड़ा अटपटा हो किन्तु प्रोग्राम में  लागू करने की दृष्टि से  न कठिन है न अटपटा।

मैं यह भी नहीं मानता कि  'बिखरे हुए' वर्ण आदि की समस्या  देवनागरी के  यूनिकोड के गलत निर्धारन के कारण है।  यह तो प्रोग्राम की कमी या 'बग'  के कारण थी / है।

--
हरिराम
प्रगत भारत http://hariraama.blogspot.com

यदि देवनागरी का यूनिकोड मानकीकरण सही तरीके से अर्थात मूल व्यञ्जनों, संयुक्ताक्षरों की कोडिंग तथा व्याकरण अनुसार वैज्ञानिक तरीके से किया जाता तो हिन्दी प्रदर्शन के लिये किसी USP (यूनिस्क्राइब आदि) जैसे दलाल (देखें: त्रिआयी समस्या) की जरुरत न होती। उस स्थिति में कम्प्यूटर, मोबाइल इत्यादि किसी भी कम्प्यूटिंग डिवाइस में केवल हिन्दी का फॉण्ट स्थापित करने से काम चल जाता और उसका सामान्य स्क्रिप्ट रेण्डरिंग इञ्जन हिन्दी दिखा सकता था। उदाहरण के लिये पीसी में रशियन आप केवल फॉण्ट स्थापित करके पढ़ सकते हैं, यदि देवनागरी को भी सही रुप से ऍन्कोडित किया जाता तो लगभग यही स्थिति होती।

रूसी और देवनागरी में तुलना नहीं की जा सकती।  रूसी लिपि में मात्रा, अर्धाक्षर आदि का चक्कर नहीं है। यह पूर्णत:  'अल्फाबेटों के  कम्बिनेशन' से लिखी जाती है जबकि  देवनागरी  में  स्थिति अलग है।

इसके अलावा,  यदि यह टूटने की समस्या  देवनागरी यूनिकोड के गलत/अपर्याप्त मानकीकरण  के कारण होती तो  यह समस्या  इन्टरनेट एक्सप्लोरर में क्यों नहीं  आती थी जबकि मोजिला के ब्राउजरों में  छोटी इ की मात्रा का स्थान बदल जाता था।

इसी तरह  पीडीएफ  से कॉपी करने की बात है।  बात यह है कि हम  कॉपी-पेस्ट  को बहुत 'साधारण'  और सहज  काम मानकर चल रहे हैं।  वैसा है नहीं। हमे नहीं कि इस कॉपी-पेस्ट की प्रक्रिया में कितनी प्रक्रियाएँ और कितने  प्रोग्राम अन्दर-ही-अन्दर अपना काम कर रहे हैं।

यह ज्ञात तथ्य है कि  रोमन के किसी पीडीएफ  फाइल (थोड़ी जटिल फाइल)  को केवल कॉपी करके  ज्यों का त्यों  वर्ड में नहीं ले जाया जा सकता। इसी सन्दर्भ में कई पीडीएफ-टू-वर्ड कन्वर्टर बने हैं   जिनमें कोई कम कोई ज्यादा शुद्धता से  पीडीएफ फाइल  को  वर्ड में बदलता है।  पीडीएफ से वर्ड में  बदलने के लिये   केवल इनकोडिंग ही नहीं बल्कि   सामग्री का प्रदर्शन (आर्कअप) को भी हैंडिल करना पड़ता है।  जो प्रोग्राम सभी  सम्भावित स्थितियों को ध्यान में रखकर नहीं लिखे गये होते   वे ऐसी स्थितियों में गलत काम करेंगे ही।

श्रीश जी, आपकी इस बात से सहमत हूँ कि यदि सभी  संयुक्ताक्षरों, ककहरा के सभी सदस्यों (ल, ला, लि, ... लं, लः ;   )  के अलग-अलग  यूनिकोड होते  तो शायद यूएसपी की आवश्यकता न पड़ती। लेकिन इसके  दुष्परिणाम भी तो होते? जैसे -

१) देवनागरी यूनिकोडॉं की  संख्या हजारों तक पहुँच जाती। (चलो कोई बात नहीं, कम्प्यूटर को ही इसे झेलना है; आदमी को नहीं)

२) अकारादि क्रम में छांटने वाले प्रोग्राम (sorting)  अधिक कठिन हो जाती।

३) सभी भारतीय भाषाओं  एवं कई  विदेशी लिपियों के लिये भी यही करना पड़ता। इसका अर्थ है कि पचासों हजार अतिरिक्त कोडॉं की जरूरत पड़ती।

४) इससे  USP का काम तो आसान हो जाता किन्तु भाषा संसाधन के सभी प्रोग्राम अधिक बड़े, अधिक जटिल और अधिक  गलती-की-संभावना-वाले   बन जाते।

-- अनुनाद सिंह

++++++++++++++++++++

काकेश जी,

मेरा संदेश  श्रीश जी के  संदेश  के अन्दर  के  निम्नलिखित  विचार के उत्तर में था-

-