常用正則表達式
匹配中文字符的正則表達式: [\u4e00-\u9fa5]
匹配雙字節字符(包括漢字在內):[^\x00-\xff]
匹配空白行的正則表達式:\n\s*\r
匹配HTML標記的正則表達式:<(\S*?)[^>]*>.*?\1>|<.*? />
匹配首尾空白字符的正則表達式:^\s*|\s*$
匹配Email地址的正則表達式:\w+([-+.]\w+)*@\w+([-.]\w+)*\.\w+([-.]\w+)*
匹配網址URL的正則表達式:[a-zA-z]+://[^\s]*
匹配國內電話號碼:\d{3}-\d{8}|\d{4}-\d{7}
匹配騰訊QQ號:[1-9][0-9]{4,}
匹配中國郵政編碼:[1-9]\d{5}(?!\d)
匹配身份證:\d{15}|\d{18}
匹配ip地址:\d+\.\d+\.\d+\.\d+
匹配特定數字:
^[1-9]\d*$ //匹配正整數
^-[1-9]\d*$ //匹配負整數
^-?[1-9]\d*$ //匹配整數
^[1-9]\d*|0$ //匹配非負整數(正整數 + 0)
^-[1-9]\d*|0$ //匹配非正整數(負整數 + 0)
^[1-9]\d*\.\d*|0\.\d*[1-9]\d*$ //匹配正浮點數
^-([1-9]\d*\.\d*|0\.\d*[1-9]\d*)$ //匹配負浮點數
^-?([1-9]\d*\.\d*|0\.\d*[1-9]\d*|0?\.0+|0)$ //匹配浮點數
^[1-9]\d*\.\d*|0\.\d*[1-9]\d*|0?\.0+|0$ //匹配非負浮點數(正浮點數 + 0)
^(-([1-9]\d*\.\d*|0\.\d*[1-9]\d*))|0?\.0+|0$ //匹配非正浮點數(負浮點數 + 0)
匹配特定字符串:
^[A-Za-z]+$ //匹配由26個英文字母組成的字符串
^[A-Z]+$ //匹配由26個英文字母的大寫組成的字符串
^[a-z]+$ //匹配由26個英文字母的小寫組成的字符串
^[A-Za-z0-9]+$ //匹配由數字和26個英文字母組成的字符串
^\w+$ //匹配由數字、26個英文字母或者下劃線組成的字符串
2009年6月24日 星期三
繁簡體中文日文韓文的Unicode字元範圍
Unicode編碼編程的技巧大全
一、匹配Unicode字符的正則表達式
這裡是幾個主要非英文語系字符範圍(google上找到的):
2E80~33FFh:中日韓符號區。收容康熙字典部首、中日韓輔助部首、注音符號、日本假名、韓文音符,中日韓的符號、標點、帶圈或帶括符文數字、月份,以及日本的假名組合、單位、年號、月份、日期、時間等。
3400~4DFFh:中日韓認同表意文字擴充A區,總計收容6,582個中日韓漢字。
4E00~9FFFh:中日韓認同表意文字區,總計收容20,902個中日韓漢字。
A000~A4FFh:彝族文字區,收容中國南方彝族文字和字根。
AC00~D7FFh:韓文拼音組合字區,收容以韓文音符拼成的文字。
F900~FAFFh:中日韓兼容表意文字區,總計收容302個中日韓漢字。
FB00~FFFDh:文字表現形式區,收容組合拉丁文字、希伯來文、阿拉伯文、中日韓直式標點、小符號、半角符號、全角符號等。
比如需要匹配所有中日韓非符號字符,那麼正則表達式應該是^[\u3400-\u9FFF]+$
理論上沒錯, 可是我到msn.co.ko隨便複製了個韓文下來, 發現根本不對, 詭異
再到msn.co.jp複製了個'お', 也不得行..
然後把範圍擴大到^[\u2E80-\u9FFF]+$, 這樣倒是都通過了, 這個應該就是匹配中日韓文字的正則表達式了, 包括繁體中文
而關於中文的正則表達式, 應該是^[\u4E00-\u9FFF]+$, 和論壇裡常被人提起的^[\u4E00-\u9FA5]+$很接近
需要注意的是論壇裡說的^[\u4E00-\u9FA5]+$這是專門用於匹配簡體中文的正則表達式, 實際上繁體字也在裡面, 我用測試器測試了下'中華人民共和國', 也通過了, 當然, ^[\u4E00-\u9FFF]+$也是一樣的結果
二、利用漢字Unicode範圍來驗證是否為漢字的JavaScript函數
1、function checkchinese(str){
var re1 = new RegExp("^[\u4E00-\\u9fa5]*$") //漢字的範圍
var re2 = new RegExp("^[\uE7C7-\uE7F3]*$")
var str = str.replace(/(^\s*)|(\s*$)/g,'');
if (str == ''){return false;}
if (!(re1.test(str) && (! re2.test(str)))){
return false;
}
return true;
}
3.怎麼判斷是否是字符
if(/[^\x00-\xff]/g.test(s))
alert("含有漢字");
else
alert("全是字符");
3.怎麼判斷是否含有漢字
if(escape(str).indexOf("%u")!=-1)
alert("含有漢字");
else
alert("全是字符");
4、
三、其他技巧
1、只能輸入漢字,數字,英文大小寫,符號只允許,。!的正則表達式
String.prototype.existChinese = function()
{
//[\u4E00-\u9FA5]為漢字﹐[\uFE30-\uFFA0]為全角符號
return /[\u4e00-\u9fa5]/.test(this);
}
if(/[^\u4e00-\u9fa5\w,\.]/.test(obj.value)) obj.value="";return false;
function SpecChar(obj) { if(event.type=="keyup") { if(/[^\u4e00-\u9fa5\w,\.]/.test(obj.value)) obj.value=obj.value.substring(0,obj.value.length-1);return false; } }
四、Windows環境下Unicode編程總結
UNICODE環境設置
在安裝Visual Studio時,在選擇VC++時需要加入unicode選項,保證相關的庫文件可以拷貝到system32下。
UNICODE編譯設置:
C/C++, Preprocessor difinitions 去除_MBCS,加_UNICODE,UNICODE
在ProjectSetting/link/output 中設置Entry為wWinMainCRTStartup
反之為MBCS(ANSI)編譯。
Unicode :寬字節字符集
1. 如何取得一個既包含單字節字符又包含雙字節字符的字符串的字符個數?可以調用Microsoft Visual C++的運行期庫包含函數_mbslen來操作多字節(既包括單字節也包括雙字節)字符串。
調用strlen函數,無法真正瞭解字符串中究竟有多少字符,它只能告訴你到達結尾的0之前有多少個字節。
2. 如何對DBCS(雙字節字符集)字符串進行操作?函數 描述
PTSTR CharNext ( LPCTSTR ); 返回字符串中下一個字符的地址
PTSTR CharPrev ( LPCTSTR, LPCTSTR ); 返回字符串中上一個字符的地址
BOOL IsDBCSLeadByte( BYTE ); 如果該字節是DBCS字符的第一個字節,則返回非0值
3. 為什麼要使用Unicode?(1) 可以很容易地在不同語言之間進行數據交換。
(2) 使你能夠分配支持所有語言的單個二進制.exe文件或DLL文件。
(3) 提高應用程序的運行效率。
Windows 2000是使用Unicode從頭進行開發的,如果調用任何一個Windows函數並給它傳遞一個ANSI字符串,那幺系統首先要將字符串轉換成Unicode,然後將Unicode字符串傳遞給操作系統。如果希望函數返回ANSI字符串,系統就會首先將Unicode字符串轉換成ANSI字符串,然後將結果返回給你的應用程序。進行這些字符串的轉換需要佔用系統的時間和內存。通過從頭開始用Unicode來開發應用程序,就能夠使你的應用程序更加有效地運行。
Windows CE 本身就是使用Unicode的一種操作系統,完全不支持ANSI Windows函數
Windows 98 只支持ANSI,只能為ANSI開發應用程序。
Microsoft公司將COM從16位Windows轉換成Win32時,公司決定需要字符串的所有COM接口方法都只能接受Unicode字符串。
4. 如何編寫Unicode源代碼?Microsoft公司為Unicode設計了WindowsAPI,這樣,可以儘量減少代碼的影響。實際上,可以編寫單個源代碼文件,以便使用或者不使用Unicode來對它進行編譯。只需要定義兩個宏(UNICODE和_UNICODE),就可以修改然後重新編譯該源文件。
_UNICODE宏用於C運行期頭文件,而UNICODE宏則用於Windows頭文件。當編譯源代碼模塊時,通常必須同時定義這兩個宏。
5. Windows定義的Unicode數據類型有哪些?數據類型 說明
WCHAR Unicode字符
PWSTR 指向Unicode字符串的指針
PCWSTR 指向一個恆定的Unicode字符串的指針
對應的ANSI數據類型為CHAR,LPSTR和LPCSTR。
ANSI/Unicode通用數據類型為TCHAR,PTSTR,LPCTSTR。
6. 如何對Unicode進行操作?字符集 特性 實例
ANSI 操作函數以str開頭 strcpy
Unicode 操作函數以wcs開頭 wcscpy
MBCS 操作函數以_mbs開頭 _mbscpy
ANSI/Unicode 操作函數以_tcs開頭 _tcscpy(C運行期庫)
ANSI/Unicode 操作函數以lstr開頭 lstrcpy(Windows函數)
所有新的和未過時的函數在Windows2000中都同時擁有ANSI和Unicode兩個版本。ANSI版本函數結尾以A表示;Unicode版本函數結尾以W表示。Windows會如下定義:
#ifdef UNICODE
#define CreateWindowEx CreateWindowExW
#else
#define CreateWindowEx CreateWindowExA
#endif // !UNICODE
7. 如何表示Unicode字符串常量?字符集 實例
ANSI 「string」
Unicode L「string」
ANSI/Unicode T(「string」)或_TEXT(「string」)if( szError[0] == _TEXT(『J') ){ }
8. 為什麼應當儘量使用操作系統函數?這將有助於稍稍提高應用程序的運行性能,因為操作系統字符串函數常常被大型應用程序比如操作系統的外殼進程Explorer.exe所使用。由於這些函數使用得很多,因此,在應用程序運行時,它們可能已經被裝入RAM。
如:StrCat,StrChr,StrCmp和StrCpy等。
9. 如何編寫符合ANSI和Unicode的應用程序?(1) 將文本串視為字符數組,而不是chars數組或字節數組。
(2) 將通用數據類型(如TCHAR和PTSTR)用於文本字符和字符串。
(3) 將顯式數據類型(如BYTE和PBYTE)用於字節、字節指針和數據緩存。
(4) 將TEXT宏用於原義字符和字符串。
(5) 執行全局性替換(例如用PTSTR替換PSTR)。
(6) 修改字符串運算問題。例如函數通常希望在字符中傳遞一個緩存的大小,而不是字節。這意味著不應該傳遞sizeof(szBuffer),而應該傳遞(sizeof(szBuffer)/sizeof(TCHAR)。另外,如果需要為字符串分配一個內存塊,並且擁有該字符串中的字符數目,那幺請記住要按字節來分配內存。這就是說,應該調用
malloc(nCharacters *sizeof(TCHAR)),而不是調用malloc(nCharacters)。
10. 如何對字符串進行有選擇的比較?通過調用CompareString來實現。
標誌 含義
NORM_IGNORECASE 忽略字母的大小寫
NORM_IGNOREKANATYPE 不區分平假名與片假名字符
NORM_IGNORENONSPACE 忽略無間隔字符
NORM_IGNORESYMBOLS 忽略符號
NORM_IGNOREWIDTH 不區分單字節字符與作為雙字節字符的同一個字符
SORT_STRINGSORT 將標點符號作為普通符號來處理
11. 如何判斷一個文本文件是ANSI還是Unicode?判斷如果文本文件的開頭兩個字節是0xFF和0xFE,那幺就是Unicode,否則是ANSI。
12. 如何判斷一段字符串是ANSI還是Unicode?用IsTextUnicode進行判斷。IsTextUnicode使用一系列統計方法和定性方法,以便猜測緩存的內容。由於這不是一種確切的科學方法,因此 IsTextUnicode有可能返回不正確的結果。
13. 如何在Unicode與ANSI之間轉換字符串?Windows函數MultiByteToWideChar用於將多字節字符串轉換成寬字符串;函數WideCharToMultiByte將寬字符串轉換成等價的多字節字符串。
14. Unicode和DBCS之間的區別Unicode使用(特別在C程序設計語言環境裡)「寬字符集」。「Unicode中的每個字符都是16位寬而不是8位寬。」在Unicode中,沒有單單使用8位數值的意義存在。相比之下,在「雙位組字符集」中我們仍然處理8位數值。有些位組自身定義字符,而某些位組則顯示需要和另一個位組共同定義一個字符。
處理DBCS字符串非常雜亂,但是處理Unicode文字則像處理有秩序的文字。您也許會高興地知道前128個Unicode字符(16位代碼從0x0000到0x007F)就是ASCII字符,而接下來的128個Unicode字符(代碼從0x0080到0x00FF)是ISO 8859-1對ASCII的擴展。Unicode中不同部分的字符都同樣基於現有的標準。這是為了便於轉換。希臘字母表使用從0x0370到0x03FF的代碼,斯拉夫語使用從0x0400到0x04FF的代碼,美國使用從0x0530到0x058F的代碼,希伯來語使用從0x0590到0x05FF的代碼。中國、日本和韓國的象形文字(總稱為CJK)佔用了從0x3000到0x9FFF的代碼。Unicode的最大好處是這裡只有一個字符集,沒有一點含糊。
15.衍生標準Unicode是一個標準。UTF-8是其概念上的子集,UTF-8是具體的編碼標準。而UNICODE是所有想達到世界統一編碼標準的標準。UTF-8標準就是Unicode(ISO10646)標準的一種變形方式,
UTF的全稱是:Unicode/UCS Transformation Format,其實有兩種UTF,一種是UTF-8,一種是UTF-16,
不過UTF-16使用較少,其對應關係如下:
在Unicode中編碼為 0000 - 007F 的 UTF-8 中編碼形式為: 0xxxxxxx
在Unicode中編碼為 0080 - 07FF 的 UTF-8 中編碼形式為: 110xxxxx 10xxxxxx
在Unicode中編碼為 0000 - 007F 的 UTF-8 中編碼形式為: 1110xxxx 10xxxxxx 10xxxxxx
utf-8是unicode的一個新的編碼標準,其實unicode有過好幾個標準.我們知道一直以來使用的unicode字符內碼都是16位,它實際上還不能把全世界的所有字符編在一個平面系統,比如中國的藏文等小語種,所以utf-8擴展到了32位,也就是說理論在utf-8中可容納二的三十二次方個字符. UNICODE的思想就是想把所有的字符統一編碼,實現一個統一的標準.big5、gb都是獨立的字符集,這也叫做遠東字符集,把它拿到德文版的WINDOWS上可能將會引起字符編碼的衝突....早期的WINDOWS默認的字符集是ANSI.notepad中輸入的漢字是本地編碼,但在NT/2000內部是可以直接支持UNICODE的。notepad.exe在WIN95和98中都是ANSI字符,在NT中則是UNICODE.ANSI和UNICODE可以方便的實現對應映射,也就是轉換 ASCII是8位範圍內的字符集,對於範圍之外的字符如漢字它是無法表達的。unicode是16位範圍內的字符集,對於不同地區的字符分區分配,unicode是多個IT巨頭共同制定的字符編碼標準。如果在unicode環境下比如WINDOWS NT上,一個字符佔兩字節16位,而在ANSI環境下如WINDOWS98下一個字符佔一個字節8位.Unicode字符是16位寬,最多允許65,535字符,數據類型被稱為WCHAR。
對於已有的ANSI字符,unicode簡單的將其擴展為16位:比如ANSI"A"=0x43,則對應的UNICODE為
"A"= 0x0043
而ASCII用七存放128個字符,ASCII是一個真正的美國標準,所以它不能滿足其他國家的需要,例如斯拉夫語的字母和漢字於是出現了Windows ANSI字符集,是一種擴展的ASCII碼,用8位存放字符,低128位仍然存放原來的ASCII碼,
而高128位加入了希臘字母等
if def UNICODE
TCHAR = wchar
else
TCHAR = char
你需要在Project\Settings\C/C++\Preprocesser definitions中添加UNICODE和_UNICODE
UINCODE,_UNICODE都要定義。不定義_UNICODE的話,用SetText(HWND,LPCTSTR),將被解釋為SetTextA(HWND,LPTSTR),這時API將把你給的Unicode字符串看作ANSI字符串,顯示亂碼。因為windows API是已經編譯好存在於dll中的,由於不管UNICODE還是ANSI字符串,都被看作一段buffer,如"0B A3 00 35 24 3C 00 00"如果按ANSI讀,因為ANSI字串是以'\0'結束的,所以只能讀到兩字節"0B A3 \0",如果按UNICODE讀,將完整的讀到'\0\0'結束。
由於UNICODE沒有額外的指示位,所以系統必須知道你提供的字串是哪種格式。此外,UNICODE好像是ANSI C++規定的,_UNICODE是windows SDK提供的。如果不編寫windows程序,可以只定義UNICODE。
開發過程:圍繞著文件讀寫、字符串處理展開。文件主要有兩種:.txt和.ini文件
1. 在unicode和非unicode環境下字符串做不同處理的,那麼需要參考以上9,10兩條,以適應不同環境得字符串處理要求。
對文件讀寫也一樣。只要調用相關接口函數時,參數中的字符串前都加上_TEXT等相關宏。如果寫成的那個文件需要是unicode格式保存的,那麼在創建文件時需要加入一個字節頭。
CFile file;
WCHAR szwBuffer[128];
WCHAR *pszUnicode = L"Unicode string\n"; // unicode string
CHAR *pszAnsi = "Ansi string\n"; // ansi string
WORD wSignature = 0xFEFF;
file.Open(TEXT("Test.txt"), CFile::modeCreate|CFile::modeWrite);
file.Write(&wSignature, 2);
file.Write(pszUnicode, lstrlenW(pszUnicode) * sizeof(WCHAR));
// explicitly use lstrlenW function
MultiByteToWideChar(CP_ACP, 0, pszAnsi, -1, szwBuffer, 128);
file.Write(szwBuffer, lstrlenW(szwBuffer) * sizeof(WCHAR));
file.Close();
//以上這段代碼在unicode和非unicode環境下都有效。這裡顯式的指明用Unicode來進行操作。
2. 在非unicode環境下,缺省調用的都是ANSI格式的字符串,此時TCHAR轉換為CHAR類型的,除非顯式定義WCHAR。所以在這個環境下,如果讀取unicode文件,那麼首先需要移動2個字節,然後讀取得字符串需要用MultiByteToWideChar來轉換,轉換後字符串信息才代表unicode數據。
3. 在unicode環境下,缺省調用得都是unicode格式得字符串,也就是寬字符,此時TCHAR轉換為WCHAR,相關得API函數也都調用寬字符類型的函數。此時讀取unicode文件也和上面一樣,但是讀取得數據是WCHAR的,如果要轉換成ANSI格式,需要調用WideCharToMultiByte。如果讀取ANSI的,則不用移動兩個字節,直接讀取然後視需要轉換即可。
某些語言(如韓語)必須在unicode環境下才能顯示,這種情況下,在非unicode環境下開發,就算用字符串函數轉換也不能達到顯示文字的目的,因為此時調用得API函數是用ANSI的(雖然底層都是用UNICODE處理但是處理結果是按照程序員調用的API來顯示的)。所以必須用unicode來開發。
一、匹配Unicode字符的正則表達式
這裡是幾個主要非英文語系字符範圍(google上找到的):
2E80~33FFh:中日韓符號區。收容康熙字典部首、中日韓輔助部首、注音符號、日本假名、韓文音符,中日韓的符號、標點、帶圈或帶括符文數字、月份,以及日本的假名組合、單位、年號、月份、日期、時間等。
3400~4DFFh:中日韓認同表意文字擴充A區,總計收容6,582個中日韓漢字。
4E00~9FFFh:中日韓認同表意文字區,總計收容20,902個中日韓漢字。
A000~A4FFh:彝族文字區,收容中國南方彝族文字和字根。
AC00~D7FFh:韓文拼音組合字區,收容以韓文音符拼成的文字。
F900~FAFFh:中日韓兼容表意文字區,總計收容302個中日韓漢字。
FB00~FFFDh:文字表現形式區,收容組合拉丁文字、希伯來文、阿拉伯文、中日韓直式標點、小符號、半角符號、全角符號等。
比如需要匹配所有中日韓非符號字符,那麼正則表達式應該是^[\u3400-\u9FFF]+$
理論上沒錯, 可是我到msn.co.ko隨便複製了個韓文下來, 發現根本不對, 詭異
再到msn.co.jp複製了個'お', 也不得行..
然後把範圍擴大到^[\u2E80-\u9FFF]+$, 這樣倒是都通過了, 這個應該就是匹配中日韓文字的正則表達式了, 包括繁體中文
而關於中文的正則表達式, 應該是^[\u4E00-\u9FFF]+$, 和論壇裡常被人提起的^[\u4E00-\u9FA5]+$很接近
需要注意的是論壇裡說的^[\u4E00-\u9FA5]+$這是專門用於匹配簡體中文的正則表達式, 實際上繁體字也在裡面, 我用測試器測試了下'中華人民共和國', 也通過了, 當然, ^[\u4E00-\u9FFF]+$也是一樣的結果
二、利用漢字Unicode範圍來驗證是否為漢字的JavaScript函數
1、function checkchinese(str){
var re1 = new RegExp("^[\u4E00-\\u9fa5]*$") //漢字的範圍
var re2 = new RegExp("^[\uE7C7-\uE7F3]*$")
var str = str.replace(/(^\s*)|(\s*$)/g,'');
if (str == ''){return false;}
if (!(re1.test(str) && (! re2.test(str)))){
return false;
}
return true;
}
3.怎麼判斷是否是字符
if(/[^\x00-\xff]/g.test(s))
alert("含有漢字");
else
alert("全是字符");
3.怎麼判斷是否含有漢字
if(escape(str).indexOf("%u")!=-1)
alert("含有漢字");
else
alert("全是字符");
4、
三、其他技巧
1、只能輸入漢字,數字,英文大小寫,符號只允許,。!的正則表達式
String.prototype.existChinese = function()
{
//[\u4E00-\u9FA5]為漢字﹐[\uFE30-\uFFA0]為全角符號
return /[\u4e00-\u9fa5]/.test(this);
}
if(/[^\u4e00-\u9fa5\w,\.]/.test(obj.value)) obj.value="";return false;
function SpecChar(obj) { if(event.type=="keyup") { if(/[^\u4e00-\u9fa5\w,\.]/.test(obj.value)) obj.value=obj.value.substring(0,obj.value.length-1);return false; } }
四、Windows環境下Unicode編程總結
UNICODE環境設置
在安裝Visual Studio時,在選擇VC++時需要加入unicode選項,保證相關的庫文件可以拷貝到system32下。
UNICODE編譯設置:
C/C++, Preprocessor difinitions 去除_MBCS,加_UNICODE,UNICODE
在ProjectSetting/link/output 中設置Entry為wWinMainCRTStartup
反之為MBCS(ANSI)編譯。
Unicode :寬字節字符集
1. 如何取得一個既包含單字節字符又包含雙字節字符的字符串的字符個數?可以調用Microsoft Visual C++的運行期庫包含函數_mbslen來操作多字節(既包括單字節也包括雙字節)字符串。
調用strlen函數,無法真正瞭解字符串中究竟有多少字符,它只能告訴你到達結尾的0之前有多少個字節。
2. 如何對DBCS(雙字節字符集)字符串進行操作?函數 描述
PTSTR CharNext ( LPCTSTR ); 返回字符串中下一個字符的地址
PTSTR CharPrev ( LPCTSTR, LPCTSTR ); 返回字符串中上一個字符的地址
BOOL IsDBCSLeadByte( BYTE ); 如果該字節是DBCS字符的第一個字節,則返回非0值
3. 為什麼要使用Unicode?(1) 可以很容易地在不同語言之間進行數據交換。
(2) 使你能夠分配支持所有語言的單個二進制.exe文件或DLL文件。
(3) 提高應用程序的運行效率。
Windows 2000是使用Unicode從頭進行開發的,如果調用任何一個Windows函數並給它傳遞一個ANSI字符串,那幺系統首先要將字符串轉換成Unicode,然後將Unicode字符串傳遞給操作系統。如果希望函數返回ANSI字符串,系統就會首先將Unicode字符串轉換成ANSI字符串,然後將結果返回給你的應用程序。進行這些字符串的轉換需要佔用系統的時間和內存。通過從頭開始用Unicode來開發應用程序,就能夠使你的應用程序更加有效地運行。
Windows CE 本身就是使用Unicode的一種操作系統,完全不支持ANSI Windows函數
Windows 98 只支持ANSI,只能為ANSI開發應用程序。
Microsoft公司將COM從16位Windows轉換成Win32時,公司決定需要字符串的所有COM接口方法都只能接受Unicode字符串。
4. 如何編寫Unicode源代碼?Microsoft公司為Unicode設計了WindowsAPI,這樣,可以儘量減少代碼的影響。實際上,可以編寫單個源代碼文件,以便使用或者不使用Unicode來對它進行編譯。只需要定義兩個宏(UNICODE和_UNICODE),就可以修改然後重新編譯該源文件。
_UNICODE宏用於C運行期頭文件,而UNICODE宏則用於Windows頭文件。當編譯源代碼模塊時,通常必須同時定義這兩個宏。
5. Windows定義的Unicode數據類型有哪些?數據類型 說明
WCHAR Unicode字符
PWSTR 指向Unicode字符串的指針
PCWSTR 指向一個恆定的Unicode字符串的指針
對應的ANSI數據類型為CHAR,LPSTR和LPCSTR。
ANSI/Unicode通用數據類型為TCHAR,PTSTR,LPCTSTR。
6. 如何對Unicode進行操作?字符集 特性 實例
ANSI 操作函數以str開頭 strcpy
Unicode 操作函數以wcs開頭 wcscpy
MBCS 操作函數以_mbs開頭 _mbscpy
ANSI/Unicode 操作函數以_tcs開頭 _tcscpy(C運行期庫)
ANSI/Unicode 操作函數以lstr開頭 lstrcpy(Windows函數)
所有新的和未過時的函數在Windows2000中都同時擁有ANSI和Unicode兩個版本。ANSI版本函數結尾以A表示;Unicode版本函數結尾以W表示。Windows會如下定義:
#ifdef UNICODE
#define CreateWindowEx CreateWindowExW
#else
#define CreateWindowEx CreateWindowExA
#endif // !UNICODE
7. 如何表示Unicode字符串常量?字符集 實例
ANSI 「string」
Unicode L「string」
ANSI/Unicode T(「string」)或_TEXT(「string」)if( szError[0] == _TEXT(『J') ){ }
8. 為什麼應當儘量使用操作系統函數?這將有助於稍稍提高應用程序的運行性能,因為操作系統字符串函數常常被大型應用程序比如操作系統的外殼進程Explorer.exe所使用。由於這些函數使用得很多,因此,在應用程序運行時,它們可能已經被裝入RAM。
如:StrCat,StrChr,StrCmp和StrCpy等。
9. 如何編寫符合ANSI和Unicode的應用程序?(1) 將文本串視為字符數組,而不是chars數組或字節數組。
(2) 將通用數據類型(如TCHAR和PTSTR)用於文本字符和字符串。
(3) 將顯式數據類型(如BYTE和PBYTE)用於字節、字節指針和數據緩存。
(4) 將TEXT宏用於原義字符和字符串。
(5) 執行全局性替換(例如用PTSTR替換PSTR)。
(6) 修改字符串運算問題。例如函數通常希望在字符中傳遞一個緩存的大小,而不是字節。這意味著不應該傳遞sizeof(szBuffer),而應該傳遞(sizeof(szBuffer)/sizeof(TCHAR)。另外,如果需要為字符串分配一個內存塊,並且擁有該字符串中的字符數目,那幺請記住要按字節來分配內存。這就是說,應該調用
malloc(nCharacters *sizeof(TCHAR)),而不是調用malloc(nCharacters)。
10. 如何對字符串進行有選擇的比較?通過調用CompareString來實現。
標誌 含義
NORM_IGNORECASE 忽略字母的大小寫
NORM_IGNOREKANATYPE 不區分平假名與片假名字符
NORM_IGNORENONSPACE 忽略無間隔字符
NORM_IGNORESYMBOLS 忽略符號
NORM_IGNOREWIDTH 不區分單字節字符與作為雙字節字符的同一個字符
SORT_STRINGSORT 將標點符號作為普通符號來處理
11. 如何判斷一個文本文件是ANSI還是Unicode?判斷如果文本文件的開頭兩個字節是0xFF和0xFE,那幺就是Unicode,否則是ANSI。
12. 如何判斷一段字符串是ANSI還是Unicode?用IsTextUnicode進行判斷。IsTextUnicode使用一系列統計方法和定性方法,以便猜測緩存的內容。由於這不是一種確切的科學方法,因此 IsTextUnicode有可能返回不正確的結果。
13. 如何在Unicode與ANSI之間轉換字符串?Windows函數MultiByteToWideChar用於將多字節字符串轉換成寬字符串;函數WideCharToMultiByte將寬字符串轉換成等價的多字節字符串。
14. Unicode和DBCS之間的區別Unicode使用(特別在C程序設計語言環境裡)「寬字符集」。「Unicode中的每個字符都是16位寬而不是8位寬。」在Unicode中,沒有單單使用8位數值的意義存在。相比之下,在「雙位組字符集」中我們仍然處理8位數值。有些位組自身定義字符,而某些位組則顯示需要和另一個位組共同定義一個字符。
處理DBCS字符串非常雜亂,但是處理Unicode文字則像處理有秩序的文字。您也許會高興地知道前128個Unicode字符(16位代碼從0x0000到0x007F)就是ASCII字符,而接下來的128個Unicode字符(代碼從0x0080到0x00FF)是ISO 8859-1對ASCII的擴展。Unicode中不同部分的字符都同樣基於現有的標準。這是為了便於轉換。希臘字母表使用從0x0370到0x03FF的代碼,斯拉夫語使用從0x0400到0x04FF的代碼,美國使用從0x0530到0x058F的代碼,希伯來語使用從0x0590到0x05FF的代碼。中國、日本和韓國的象形文字(總稱為CJK)佔用了從0x3000到0x9FFF的代碼。Unicode的最大好處是這裡只有一個字符集,沒有一點含糊。
15.衍生標準Unicode是一個標準。UTF-8是其概念上的子集,UTF-8是具體的編碼標準。而UNICODE是所有想達到世界統一編碼標準的標準。UTF-8標準就是Unicode(ISO10646)標準的一種變形方式,
UTF的全稱是:Unicode/UCS Transformation Format,其實有兩種UTF,一種是UTF-8,一種是UTF-16,
不過UTF-16使用較少,其對應關係如下:
在Unicode中編碼為 0000 - 007F 的 UTF-8 中編碼形式為: 0xxxxxxx
在Unicode中編碼為 0080 - 07FF 的 UTF-8 中編碼形式為: 110xxxxx 10xxxxxx
在Unicode中編碼為 0000 - 007F 的 UTF-8 中編碼形式為: 1110xxxx 10xxxxxx 10xxxxxx
utf-8是unicode的一個新的編碼標準,其實unicode有過好幾個標準.我們知道一直以來使用的unicode字符內碼都是16位,它實際上還不能把全世界的所有字符編在一個平面系統,比如中國的藏文等小語種,所以utf-8擴展到了32位,也就是說理論在utf-8中可容納二的三十二次方個字符. UNICODE的思想就是想把所有的字符統一編碼,實現一個統一的標準.big5、gb都是獨立的字符集,這也叫做遠東字符集,把它拿到德文版的WINDOWS上可能將會引起字符編碼的衝突....早期的WINDOWS默認的字符集是ANSI.notepad中輸入的漢字是本地編碼,但在NT/2000內部是可以直接支持UNICODE的。notepad.exe在WIN95和98中都是ANSI字符,在NT中則是UNICODE.ANSI和UNICODE可以方便的實現對應映射,也就是轉換 ASCII是8位範圍內的字符集,對於範圍之外的字符如漢字它是無法表達的。unicode是16位範圍內的字符集,對於不同地區的字符分區分配,unicode是多個IT巨頭共同制定的字符編碼標準。如果在unicode環境下比如WINDOWS NT上,一個字符佔兩字節16位,而在ANSI環境下如WINDOWS98下一個字符佔一個字節8位.Unicode字符是16位寬,最多允許65,535字符,數據類型被稱為WCHAR。
對於已有的ANSI字符,unicode簡單的將其擴展為16位:比如ANSI"A"=0x43,則對應的UNICODE為
"A"= 0x0043
而ASCII用七存放128個字符,ASCII是一個真正的美國標準,所以它不能滿足其他國家的需要,例如斯拉夫語的字母和漢字於是出現了Windows ANSI字符集,是一種擴展的ASCII碼,用8位存放字符,低128位仍然存放原來的ASCII碼,
而高128位加入了希臘字母等
if def UNICODE
TCHAR = wchar
else
TCHAR = char
你需要在Project\Settings\C/C++\Preprocesser definitions中添加UNICODE和_UNICODE
UINCODE,_UNICODE都要定義。不定義_UNICODE的話,用SetText(HWND,LPCTSTR),將被解釋為SetTextA(HWND,LPTSTR),這時API將把你給的Unicode字符串看作ANSI字符串,顯示亂碼。因為windows API是已經編譯好存在於dll中的,由於不管UNICODE還是ANSI字符串,都被看作一段buffer,如"0B A3 00 35 24 3C 00 00"如果按ANSI讀,因為ANSI字串是以'\0'結束的,所以只能讀到兩字節"0B A3 \0",如果按UNICODE讀,將完整的讀到'\0\0'結束。
由於UNICODE沒有額外的指示位,所以系統必須知道你提供的字串是哪種格式。此外,UNICODE好像是ANSI C++規定的,_UNICODE是windows SDK提供的。如果不編寫windows程序,可以只定義UNICODE。
開發過程:圍繞著文件讀寫、字符串處理展開。文件主要有兩種:.txt和.ini文件
1. 在unicode和非unicode環境下字符串做不同處理的,那麼需要參考以上9,10兩條,以適應不同環境得字符串處理要求。
對文件讀寫也一樣。只要調用相關接口函數時,參數中的字符串前都加上_TEXT等相關宏。如果寫成的那個文件需要是unicode格式保存的,那麼在創建文件時需要加入一個字節頭。
CFile file;
WCHAR szwBuffer[128];
WCHAR *pszUnicode = L"Unicode string\n"; // unicode string
CHAR *pszAnsi = "Ansi string\n"; // ansi string
WORD wSignature = 0xFEFF;
file.Open(TEXT("Test.txt"), CFile::modeCreate|CFile::modeWrite);
file.Write(&wSignature, 2);
file.Write(pszUnicode, lstrlenW(pszUnicode) * sizeof(WCHAR));
// explicitly use lstrlenW function
MultiByteToWideChar(CP_ACP, 0, pszAnsi, -1, szwBuffer, 128);
file.Write(szwBuffer, lstrlenW(szwBuffer) * sizeof(WCHAR));
file.Close();
//以上這段代碼在unicode和非unicode環境下都有效。這裡顯式的指明用Unicode來進行操作。
2. 在非unicode環境下,缺省調用的都是ANSI格式的字符串,此時TCHAR轉換為CHAR類型的,除非顯式定義WCHAR。所以在這個環境下,如果讀取unicode文件,那麼首先需要移動2個字節,然後讀取得字符串需要用MultiByteToWideChar來轉換,轉換後字符串信息才代表unicode數據。
3. 在unicode環境下,缺省調用得都是unicode格式得字符串,也就是寬字符,此時TCHAR轉換為WCHAR,相關得API函數也都調用寬字符類型的函數。此時讀取unicode文件也和上面一樣,但是讀取得數據是WCHAR的,如果要轉換成ANSI格式,需要調用WideCharToMultiByte。如果讀取ANSI的,則不用移動兩個字節,直接讀取然後視需要轉換即可。
某些語言(如韓語)必須在unicode環境下才能顯示,這種情況下,在非unicode環境下開發,就算用字符串函數轉換也不能達到顯示文字的目的,因為此時調用得API函數是用ANSI的(雖然底層都是用UNICODE處理但是處理結果是按照程序員調用的API來顯示的)。所以必須用unicode來開發。
2009年6月5日 星期五
自動將文字的URL轉成HTML超連結
自動轉換鏈接
自動將文本中的URL轉成HTML鏈接。可以使用正則一次性完成。
get('content').innerHTML = get('content').innerHTML.replace(/(^|[^"'(=<])((http|https|ftp)\:\/\/[\.\-\_\/a-zA-Z0-9\~\?\%\#\=\@\:\&\;\*\+]+\b[\?\#\/\*]*)/g, '$1<a href="$2" target="_blank">$2</a>');
不能替換href、value和src裡面的值 ,所以URL兩側不能是(、"、'這些符號
Demo: http://hikejun.com/demo/auto_convert_links.html
自動將文本中的URL轉成HTML鏈接。可以使用正則一次性完成。
get('content').innerHTML = get('content').innerHTML.replace(/(^|[^"'(=<])((http|https|ftp)\:\/\/[\.\-\_\/a-zA-Z0-9\~\?\%\#\=\@\:\&\;\*\+]+\b[\?\#\/\*]*)/g, '$1<a href="$2" target="_blank">$2</a>');
不能替換href、value和src裡面的值 ,所以URL兩側不能是(、"、'這些符號
Demo: http://hikejun.com/demo/auto_convert_links.html
2009年6月1日 星期一
Regular Expression (RegExp) 正規表達式(正則表達式)
Tab的空白:\t
換行:\n
不分大小寫:(?i)(字串)
一輩子受用的 Regular Expressions - 樣式比對 - 精華區 : 台灣PHP聯盟[ Taiwan PHP User Group ]
JavaScript replace new RegExp_一个人的精彩
石頭閒語:Regular Expression (RegExp) in JavaScript - 樂多日誌
Javascript Regex 的 字串比對(Match) 與 取代(Replace) | Tsung's Blog
JavaScript Kit- RegExp (regular expression) object
Regular Expression 在 replace 的應用
Regular Expression心得報告
換行:\n
不分大小寫:(?i)(字串)
在 regular expression 中用括號括起來的部份視為一個群組,
而在 replacement 中可用 $ 加數字來帶入該群組對應的實際值,
所以最後才會有 "-$1-" , ( $1 代表第一個群組 )
更簡單的 寫法其實用 String.replaceAll() 就可以做到
1
2String s = "123abc456AbC789";
String s2 = s.replaceAll("(?i)(abc)","-$1-");
(?i) 代表不分大小寫, 其他的就跟前述一樣囉
^
寫在 pattern 第一個位置時,表示其後一符號必須出現在字串開頭的位置。寫在 pattern 中間位置時則為否定之意,表示字串中不可有 ^ 之後一符號的內容。$
寫在 pattern 最後一個位置時,表示其前一符號必須出現在字串尾端的位置。寫在 pattern 中時無特別意義。*
表示字串中有 0 到無數個其前一符號的內容。+
表示字串中有 1 到無數個其前一符號的內容。?
表示字串中有 0 到 1個其前一符號的內容。{ }
表示前一符號在字串中的重覆次數。例如/A{2}/表示 'A' 重覆兩次 (即 'AA') ;/A{2,}/表示字串含有 2 到無數多個 'A' ;/A{2,5}/表示含有 2 到 5 個 'A' 。.
表示一個任意字元。[ ]
表示字串含有括號中任一字元的內容。可以-表示一組連續字元,例如/[a-z]/, /[0-9]/。注意, [] 僅代表一個字元,例如/[abc]/表示 'a' 或 'b' 或 'c' ,而不是 'abc' 。( )
表示一個 sub pattern ,符合 sub pattern 的字串內容會被存放在匹配陣列中,並依序指派數字代表此 sub pattern 。可以此數字在 pattern 的其他地方引用內容,例如/The h([0-9]) means Title (\1)/表示第 1 個 sub pattern 是 0 到 9 的任一字元,而 \1 表示匹配的內容。故 'The h1 means Title 1', 'The h2 means Title 2' 到 'The h9 means Title 9' 符合規則。\
表示轉義 (escaping) ,將其後的字元視為一般字元。例如要表示字串中含有 '/' 字元時,就必須寫作/\//。|
「或」意,字串中含有 '|' 之前一符號或後一符號的內容。例如/image\.(jpg|png)/表示 'image.jpg' 或 'image.png' 。通常會用 () 括住 '|' 的前後符號。\d
表示任何一個數字,意同 [0-9] 。\D
表示任何一個非數字,意同 [^0-9] 。\w
表示任何一個字元與數字以及 '_' ,意同 [a-zA-Z0-9_] 。\W
表示任何一個 \w 以外的字元。\s
表示任何一個空白符號,包括 \t, \v 等。\S
表示任何一個非空白符號。
尋找最多字元的字及最少字元的字(Greedy and Lazy)
當RE下要搜尋一個範圍的重複時(如”.*”),它通常會尋找最多字元的符合字,也就是Greedy matching。舉例來說。
32. a.*b (開始為a結束為b的最多字元的符合字)
若有一字串是”aabab”,使用上述RE所得到的符合字串就是”aabab”,因為這是尋找最多字元的字。有時希望是符合最少字元的字也就是lazy matching。只要將重覆前述項目的表加上問號(?)就可以把它們全部變成lazy matching。因此”*?”代表的就是重覆任意次數,但是使用最少重覆的次數來符合。舉個例子來說:
33. a.*?b (開始為a結束為b的最少字元的符合字)
若有一字串是”aabab”,使用上述RE第一個所得到的符合字串就是”aab”再來是”ab”,因為這是尋找最少字元的字。
*? 重覆任意次數,最少重覆次數為原則
+? 重覆至少一次,最少重覆次數為原則
?? 重覆零次或一次,最少重覆次數為原則
{n,m}? 重覆至少n次,但不超過m次,最少重覆次數為原則
{n,}? 重覆至少n次,最少重覆次數為原則
一輩子受用的 Regular Expressions - 樣式比對 - 精華區 : 台灣PHP聯盟[ Taiwan PHP User Group ]
JavaScript replace new RegExp_一个人的精彩
石頭閒語:Regular Expression (RegExp) in JavaScript - 樂多日誌
Javascript Regex 的 字串比對(Match) 與 取代(Replace) | Tsung's Blog
JavaScript Kit- RegExp (regular expression) object
Regular Expression 在 replace 的應用
Regular Expression心得報告
php中高效能清除HTML 標記、空白字符
php中高效能清除html
在字符截取時常會因為HTML格式發生意外,ASP是,PHP也是,如果是可預見的簡單HTML格式用replace就行了,對於文章正文這一類裡面可能包含所有的HTML格式,想高效點還是用下面的的,已測試
$search = array ("'
訂閱:
文章 (Atom)