https://kavyamanohar.com/tags/unicode/ Recent content in Unicode on Kavya Manohar Hugo en sakhi.kavya@gmail.com (Kavya Manohar) sakhi.kavya@gmail.com (Kavya Manohar) Sat, 17 May 2025 00:00:00 +0000 https://kavyamanohar.com/post/ascii-past/ Sat, 17 May 2025 00:00:00 +0000sakhi.kavya@gmail.com (Kavya Manohar) https://kavyamanohar.com/post/ascii-past/ Indian language computing has evolved from ASCII-based font encoding to Unicode standardization. This article explains how text was represented in Indian languages before Unicode, the problems with ASCII-based fonts, and why Unicode became necessary. It covers various input methods developed for typing Indian languages and demonstrates how Unicode solved the compatibility issues between different systems. Table of Contents What is Unicode? Some Hindi (Devanagari) Unicode Characters Unicode is more than just Codepoints! https://kavyamanohar.com/post/emnlp/ Wed, 13 Nov 2024 00:00:00 +0000sakhi.kavya@gmail.com (Kavya Manohar) https://kavyamanohar.com/post/emnlp/ Empirical Methods in Natural Language Processing (EMNLP), കമ്പ്യൂട്ടേഷണൽ ലിംഗ്വിസ്റ്റിക്സിന്റെ ലോകോത്തര കോൺഫറൻസ് വേദികളിലൊന്നാണ്. കേരള ഡിജിറ്റൽ യൂണിവേഴ്സിറ്റിയിലെ Virtual Resource Centre for Language Computing (VRCLC) എന്ന ഭാഷാകമ്പ്യൂട്ടിങ്ങ് കേന്ദ്രത്തെ പ്രതിനിധീകരിച്ച് കോൺഫറൻസിൽ പങ്കെടുത്ത് ഒരു പ്രബന്ധം അവതരിപ്പിക്കുകയുണ്ടായി. VRCLCയിലെ പ്രാദേശികഭാഷാഗവേഷണം ഇംഗ്ലീഷ് ഭാഷയ്ക്ക് അനുയോജ്യമായ വിധത്തിലുള്ള ഏറ്റവും മികച്ച ആർട്ടിഫിഷൽ ഇന്റലിജൻസ് മോഡലുകളുടെ നിർമ്മാണത്തിൽ ഒരുപാട് ബഹുരാഷ്ട്ര കമ്പനികൾ മത്സരിക്കുന്നുണ്ട്. അതിൽ ചില എഐ മോഡലുകളൊക്കെ ബഹുഭാഷാശേഷിയുള്ളതാണെന്നൊക്കെ അവർ അവകാശപ്പെടുമ്പോഴും അവയിലൊക്കെ കൃത്യത ഉറപ്പുവരുത്താനുള്ള ശ്രമങ്ങൾ പലപ്പോഴും ഉണ്ടാകാറില്ല. ഇംഗ്ലീഷിതര ഭാഷകൾക്കുള്ള ഭാഷാകമ്പ്യൂട്ടിങ്ങ്, സ്പീച്ച് എഐ മോഡലുകളുടെ നിർമ്മാണം ഒക്കെ പല കാരണങ്ങൾ കൊണ്ട് ബുദ്ധിമുട്ടുള്ളതാണ്. https://kavyamanohar.com/post/opentype-engineering/ Sun, 24 Feb 2019 00:00:00 +0000sakhi.kavya@gmail.com (Kavya Manohar) https://kavyamanohar.com/post/opentype-engineering/ ഗായത്രിയുടെ റിലീസ് കാർഡ് പുറത്തിറങ്ങിയപ്പോൾ മുതൽ പലരും അന്വേഷിക്കുന്നുണ്ട് എന്താണീ ഓപ്പൺടൈപ്പ് എഞ്ചിനീയറിങ്ങ് എന്ന്? ലളിതമായി പരിചയപ്പെടുത്താം. വിശദമായി ഒരു ലേഖനപരമ്പര തന്നെ മുമ്പ് സ്വതന്ത്രമലയാളം കമ്പ്യൂട്ടിങ്ങ് ബ്ലോഗിൽ സന്തോഷിനും രജീഷിനുമൊപ്പം എഴുതിയിട്ടും ഉണ്ട്. ഫോണ്ട് എന്ന സോഫ്റ്റ്‌വെയർ ഒരേസമയം കലയുടേയും സാങ്കേതികവിദ്യയുടേയും സമന്വയമാണ്. കലയുടെ അംശം അതിലെ അക്ഷരരൂപങ്ങളുടെ ഡിസൈനിലാണുള്ളത്. ആയിരത്തിഒരുന്നൂറിൽപ്പരം അക്ഷരരൂപങ്ങൾ മലയാളത്തിലെ ഒരു സമഗ്രലിപിസഞ്ചയ ഫോണ്ടിലുണ്ടാവും. ഡിസൈൻ പ്ലാനിനനുസരിച്ച് ഇത് വ്യത്യാസപ്പെടാം, കുറഞ്ഞത് എഴുന്നൂറൊക്കെ ഉണ്ടാകും. യൂണിക്കോഡ് മലയാളത്തിലെ അടിസ്ഥാന അക്ഷരങ്ങൾ നമ്മൾ അക്ഷരമാലയായി സ്കൂളിൽ പഠിക്കുന്ന സ്വരങ്ങളും വ്യഞ്ജനങ്ങളും മാത്രമല്ല. മലയാള അക്കങ്ങൾ, ചിഹ്നരൂപങ്ങൾ ഒപ്പം ഇന്നുപയോഗത്തിലില്ലാത്ത പല പുരാതനലിപി രൂപങ്ങളും ഒക്കെചേരുന്നതാണ്. https://kavyamanohar.com/post/gayathri-font/ Sat, 23 Feb 2019 00:00:00 +0000sakhi.kavya@gmail.com (Kavya Manohar) https://kavyamanohar.com/post/gayathri-font/ Swathanthra Malayalam Computing proudly announces Gayathri – a new typeface for Malayalam. Gayathri has its glyphs designed by Binoy Dominic, opentype engineering done by Kavya Manohar and the project coordinated by Santhosh Thottingal. This typeface was financially supported by Kerala Bhasha Institute, a Kerala government agency under department of cultural affairs. Gayathri is a display typeface, available in Regular, Bold, Thin style variants. It is licensed under Open Font License. https://kavyamanohar.com/post/mlphon-python-library/ Wed, 26 Dec 2018 00:00:00 +0000sakhi.kavya@gmail.com (Kavya Manohar) https://kavyamanohar.com/post/mlphon-python-library/ Edit (September 20,2022): A detailed report on this is now available as a journal article In the previous post, I had shared the work in progress version of a finite state transducer based Malaylam phonetic analyser. A phonetic analyser analyses the written form of the text to give the phonetic characteristics of the grapheme sequence. Understanding the phonetic characteristics of a word is helpful in many computational linguistic problems. For instance, translating a word into its phonetic representation is needed in the synthesis of a text to speech (TTS) system. https://kavyamanohar.com/post/malayalam-phonetic-analyser/ Tue, 02 Oct 2018 00:00:00 +0000sakhi.kavya@gmail.com (Kavya Manohar) https://kavyamanohar.com/post/malayalam-phonetic-analyser/ Edit (September 20,2022): A detailed report on this is now available as a journal article What is a Phonetic analyser? ‘Phoneme’ is the fundamental unit in the the speech system of the language. ‘Grapheme’ is the fundamental unit in the writing system. From one or more graphemes a phoneme can be synthesized. A phonetic analyser analyses the written form of the text to give the phonetic characteristics of the grapheme sequence. https://kavyamanohar.com/post/grafematik/ Thu, 21 Jun 2018 00:00:00 +0000sakhi.kavya@gmail.com (Kavya Manohar) https://kavyamanohar.com/post/grafematik/ Santhosh and I presented a paper on ‘Malayalam orthographic reforms: impact on language and popular culture’ at Graphematik conference held at IMT Atlantique, Brest, France on 14th and 15th of June, 2018. Our session was chaired by Dr. Christa Dürscheid. The paper we presented is available here. The video of our presentation is available in youtube. Grafematik is a conference, first of its kind, bringing together disciplines concerned with writing systems and their representation in written communication. https://kavyamanohar.com/post/unicode10/ Thu, 22 Jun 2017 00:00:00 +0000sakhi.kavya@gmail.com (Kavya Manohar) https://kavyamanohar.com/post/unicode10/ യൂണിക്കോഡിന്റെ പത്താം പതിപ്പ് പുറത്തിറങ്ങി. മലയാളത്തിന്റെ കോഡ് ബ്ലോക്കിലേയ്ക്ക് പുതിയ മൂന്നു അക്ഷരങ്ങൾ കൂടി ഔദ്യോഗികമായി ചേർന്നിരിക്കുന്നു. അങ്ങനെ മലയാളത്തിന്റെ കോഡ് ബ്ലോക്കിൽ 117 അക്ഷരങ്ങൾ ആയി. പുതിയ അക്ഷരങ്ങൾ ഇവയാണ്: D00 - Combining Anuswara Above 0D3B - Malayalam Sign Vertical Bar Virama 0D3C- Malayalam Sign Circular Virama പ്രാചീനരേഖകളിൽ കണ്ടുവരുന്നവയാണ് ഈ ചിഹ്നങ്ങൾ. അത്തരം ഗ്രന്ഥങ്ങളുടെ ഡിജിറ്റൈസേഷനിലും, പ്രാചീനലിപിസംബന്ധമായ പഠനഗവേഷണങ്ങളിലുമൊക്കെ ഇവ ഉപയോഗിക്കപ്പെട്ടേക്കാം. 0D00 - Combining Anusvara Above ആദ്യത്തേത് 'മുകളിലുള്ള അനുസ്വാരമാണ്'. മലയാളത്തിൽ നാമിന്നുപയോഗിക്കുന്ന അനുസ്വാരത്തിനു തുല്യമായ ഉപയോഗമാണ് പ്രാചീനമലയാളലിപിയിൽ ഈ ചിഹ്നത്തിനുള്ളത്. അതായത് നാമിന്നുപയോഗിക്കുന്ന അനുസ്വാരം മറ്റക്ഷരങ്ങളുടെ അതേ നിരപ്പിൽ തന്നെ കിടന്ന് അതിനിടതുവശത്തുള്ള അക്ഷരത്തോട് ‘മകാരം’ ചേർക്കുമ്പോളുള്ള ഉച്ചാരണം നൽകുന്നു.