正確認(rèn)識(shí)有關(guān)非結(jié)構(gòu)化管理及應(yīng)用的特點(diǎn)有關(guān)信息管理中的建設(shè)應(yīng)用的新意義又有哪些呢?應(yīng)該通過(guò)什么方式來(lái)加強(qiáng)對(duì)這些的管理及應(yīng)用呢?同時(shí)現(xiàn)在新科技的不斷創(chuàng)作又有什么影響呢?文章選自：《信息化研究》,《信息化研究》面向政府高層領(lǐng)導(dǎo)和各級(jí)政府信息化主管領(lǐng)導(dǎo)，面向信息化產(chǎn)業(yè)科研、生產(chǎn)、流通、運(yùn)營(yíng)、服務(wù)等方面的管理、研發(fā)、營(yíng)銷(xiāo)人員，面向應(yīng)用信息技術(shù)和產(chǎn)品等方面的各類(lèi)人員，面向電子信息類(lèi)大中專(zhuān)院校師生、廣大信息產(chǎn)品用戶(hù)，以及關(guān)注信息化發(fā)展的各界人士。《信息化研究》將竭誠(chéng)為廣大的讀者、作者服務(wù)，希望大家對(duì)我們的編輯和各項(xiàng)服務(wù)工作及時(shí)提出建議和批評(píng)，以便不斷改進(jìn)工作。

　　摘要：目前,Autonomy在國(guó)外比較成功的應(yīng)用案例集中在媒體、政府機(jī)構(gòu)、金融和信息產(chǎn)業(yè)等需要集中處理大量非結(jié)構(gòu)化數(shù)據(jù)的領(lǐng)域。2003年3月,Autonomy進(jìn)入中國(guó)市場(chǎng),目前主要集中在電信和政府市場(chǎng)。Autonomy追求建立符合企業(yè)內(nèi)部數(shù)據(jù)管理需求的平臺(tái),可將放在不同位置的不同類(lèi)型的數(shù)據(jù)進(jìn)行有效梳理。Autonomy曾經(jīng)在美國(guó)安全局、美國(guó)國(guó)防部、

　　關(guān)鍵詞：非結(jié)構(gòu)化,信息管理,論文發(fā)表

　　1 關(guān)鍵詞全文檢索技術(shù)日顯局促,亟待突破

　　世界范圍的WWW正以目前每9個(gè)月增加一倍的速度飛速發(fā)展,并還將以指數(shù)速度繼續(xù)增加。而另一方面,在從Web或數(shù)據(jù)倉(cāng)庫(kù)中找到你所需要的內(nèi)容卻并非進(jìn)展迅速,雖然檢索到相關(guān)結(jié)果的速度正以兆兆字節(jié)甚至十倍于此的速度增加。據(jù)2004年5月Nielsen Norman Group發(fā)布的2004 Web可用性調(diào)查結(jié)果顯示,所有用戶(hù)(包括偶爾使用或經(jīng)驗(yàn)豐富的用戶(hù))對(duì)搜索結(jié)果滿(mǎn)意的次數(shù)百分比僅為42%,經(jīng)驗(yàn)豐富的用戶(hù)這一數(shù)字可以達(dá)到50%[1]。 最糟糕的搜索經(jīng)歷常發(fā)生在使用企業(yè)網(wǎng)站點(diǎn)搜索而不是使用巨型搜索引擎的時(shí)候。另?yè)?jù)Forrester Research的統(tǒng)計(jì)表明,非結(jié)構(gòu)化信息的數(shù)量正在以每年200%的速度增長(zhǎng)。一般員工大約要花費(fèi)35%的時(shí)間尋找工作所需的非結(jié)構(gòu)化信息[2]。由此可見(jiàn),搜索引擎必須采取措施使自己變得更為聰明,同時(shí)能更準(zhǔn)確全面的為大多數(shù)用戶(hù)帶來(lái)令人滿(mǎn)意的搜索結(jié)果。我們需要有一個(gè)工具,能同管理結(jié)構(gòu)化信息一樣,有效地管理我們的非結(jié)構(gòu)化信息。

　　2 有望終結(jié)傳統(tǒng)搜索模式的Autonomy的“樣板工程”Blinkx英德中文版已經(jīng)推出

　　2004年7月,位于美國(guó)舊金山的創(chuàng)業(yè)公司Blinkx推出了一種新型搜索工具Blinkx,該工具可以提供類(lèi)似“模糊搜索”或“語(yǔ)義搜索”的功能。也就是說(shuō),當(dāng)用戶(hù)提出類(lèi)似“搜索引擎未來(lái)發(fā)展趨勢(shì)如何”這樣的搜索需求時(shí),搜索引擎能夠給出相關(guān)內(nèi)容的搜索列表,而不會(huì)像傳統(tǒng)搜索工具那樣只是機(jī)械的給出包含“搜索”、“引擎”、“未來(lái)”、“發(fā)展”、“趨勢(shì)”等詞匯但卻遠(yuǎn)離該主題的文章。Blinkx不僅可以搜索文本內(nèi)容,還可以搜索電影電視等多媒體內(nèi)容,不僅可以搜索互聯(lián)網(wǎng)內(nèi)容,還可以搜索本機(jī)和局域網(wǎng)上的內(nèi)容。Blinkx同時(shí)還可以搜索不同的文本格式內(nèi)容,如Text、Word、Excel、PPT、PDF以及各種數(shù)據(jù)庫(kù)中的數(shù)據(jù)格式。有媒體把這種搜索方式稱(chēng)為“智能搜索”,這樣的搜索引擎一直以來(lái)都是人們的夢(mèng)想,或許Autonomy就是下一代搜索引擎的開(kāi)端也未可知。當(dāng)然Autonomy并不只局限于桌面搜索這個(gè)狹窄的領(lǐng)域,它不只是代表一系列產(chǎn)品,也不只是一家公司的名字,最主要的是它代表著一種搜索理念和技術(shù)[3]。一旦它成功,桌面搜索的格局自然也會(huì)跟著發(fā)生翻天覆地的變化。

　　如果安裝了Blinkx的客戶(hù)端軟件,一個(gè)小的菜單窗口就會(huì)出現(xiàn)在Word、Outlook等幾乎所有文檔處理窗口的右上方。用戶(hù)在這些窗口中處理文檔時(shí),系統(tǒng)會(huì)自動(dòng)分析這個(gè)文檔,然后自動(dòng)從本機(jī)或網(wǎng)絡(luò)上抓取相關(guān)文章或鏈接,以供用戶(hù)參考。它還可以及時(shí)提供與文章內(nèi)容相關(guān)的新聞、產(chǎn)品信息、視頻內(nèi)容等分類(lèi)信息。簡(jiǎn)單地說(shuō),用戶(hù)完全可以拿一篇文章來(lái)作為“查詢(xún)關(guān)鍵詞”,Blinkx通過(guò)對(duì)這篇文章進(jìn)行分析,會(huì)給出與這篇文章內(nèi)容最接近的網(wǎng)絡(luò)鏈接或本機(jī)文檔[4]。這無(wú)疑給需要處理大量數(shù)據(jù)的個(gè)人和企業(yè)提供了巨大便利。

　　2005年元旦剛過(guò)Blinkx進(jìn)入中國(guó)市場(chǎng),其中文測(cè)試版已經(jīng)“竣工”。目前已經(jīng)在國(guó)內(nèi)某數(shù)據(jù)中心建立了一個(gè)試驗(yàn)平臺(tái),大約有30多臺(tái)服務(wù)器正在運(yùn)行著B(niǎo)linkx的后臺(tái)系統(tǒng)[5]。

　　Autonomy公司是Blinkx公司的股東之一,Blinkx的核心技術(shù)也來(lái)自Autonomy,因?yàn)檫@種密切關(guān)系,Blinkx被認(rèn)為是Autonomy的“樣板工程”。此前,Autonomy一直像汽車(chē)發(fā)動(dòng)機(jī)一樣隱藏在幕后。Autonomy雖然在公眾中的知名度不太大,但在商業(yè)應(yīng)用領(lǐng)域中卻名聲顯赫,并在政府、國(guó)防、新聞、金融、電信、教育等領(lǐng)域擁有大量中堅(jiān)客戶(hù)。而且,Autonomy還是一個(gè)“歷史悠久”的IT公司,同時(shí)在美國(guó)和英國(guó)上市,擁有超過(guò)1.47億美元的現(xiàn)金。

　　3 Autonomy的模式識(shí)別技術(shù),可以幫助用戶(hù)發(fā)現(xiàn)一些事前不知道的相關(guān)信息

　　目前,人類(lèi)研究的信息搜索技術(shù)有四個(gè)方向:關(guān)鍵字搜索,模式識(shí)別,語(yǔ)義分析,神經(jīng)網(wǎng)絡(luò)。除了關(guān)鍵詞搜索比較成熟外,其他三項(xiàng)技術(shù)還處于待開(kāi)發(fā)狀態(tài)。模式識(shí)別的代表者就是Autonomy,語(yǔ)義分析和神經(jīng)網(wǎng)絡(luò)兩個(gè)技術(shù)方向目前尚無(wú)壓倒性的代表者,一年半載不會(huì)有突破性的研究成果。所以,模式識(shí)別就成了目前比較先進(jìn)的信息搜索技術(shù)。

　　采用“模式識(shí)別”搜索方法,可通過(guò)判別相關(guān)識(shí)別度的高低來(lái)對(duì)數(shù)據(jù)進(jìn)行檢索,可以避免傳統(tǒng)“關(guān)鍵詞檢索”造成的漏檢情況的發(fā)生。比如一篇文章里如果有“大海”這個(gè)詞,這篇文章有可能和企鵝有關(guān),但是“大海”這個(gè)詞用在很多不同的地方,有可能文章講的是別的內(nèi)容。但是如果一篇文章里有“大海”、“南極”、“黑色”、“白色”、“不會(huì)飛”、“羽毛”、“下蛋”、“石油”、“泄露”等這些詞,這篇文章是在談?wù)撐廴竞推簌Z的概率就會(huì)很高。雖然整篇文章里沒(méi)有“企鵝”這個(gè)詞,但是很多相關(guān)度較低的詞出現(xiàn)在一起就會(huì)帶來(lái)很高的相關(guān)度,并且缺少某個(gè)描述詞對(duì)其產(chǎn)生的結(jié)果影響微乎其微。

　　如果說(shuō)傳統(tǒng)的“關(guān)鍵字”搜索方法為“search”(搜索)的話(huà),autonomy采用的“模式識(shí)別”方法則應(yīng)該稱(chēng)為“discover”(發(fā)現(xiàn)),因?yàn)樗梢宰層脩?hù)找到一些事前他們不知道的信息[6]。Autonomy產(chǎn)品中提供的“聚類(lèi)”功能正是“從搜索到發(fā)現(xiàn)”的最佳表現(xiàn)。

　　美國(guó)航天局、英國(guó)警察署和美國(guó)陸軍有過(guò)成功應(yīng)用[7]。對(duì)于網(wǎng)絡(luò)上出現(xiàn)的大量的有害信息,Autonomy可以做到事前發(fā)現(xiàn),從而幫助政府機(jī)構(gòu)采取及時(shí)地反應(yīng)。例如,政府有關(guān)部門(mén)要打擊網(wǎng)上非法買(mǎi)賣(mài)違禁藥物,使用“搖頭丸”、“興奮劑”等關(guān)鍵詞搜索出來(lái)的內(nèi)容多數(shù)是關(guān)于藥物危害、打擊犯罪等方面的正面文章,而出現(xiàn)“興奮”、“購(gòu)買(mǎi)”、“單價(jià)”等關(guān)鍵詞的文章,則與非法買(mǎi)賣(mài)違禁藥物的相關(guān)度最高。通過(guò)這種非關(guān)鍵詞搜索的“模式識(shí)別”搜索,政府監(jiān)控部門(mén)可以有效打擊日益猖獗的網(wǎng)上犯罪。所以政府機(jī)構(gòu)和一些需要對(duì)信息進(jìn)行監(jiān)控的機(jī)構(gòu)是該系統(tǒng)在中國(guó)的潛在市場(chǎng)。 4 Autonomy的技術(shù)特點(diǎn)和優(yōu)勢(shì)分析

　　Autonomy軟件設(shè)計(jì)的原則是無(wú)需用戶(hù)改變已有的使用習(xí)慣,甚至無(wú)需改變已有的用戶(hù)界面,它支持所有傳統(tǒng)的檢索和設(shè)置方式,包括關(guān)鍵詞、邏輯語(yǔ)言、布爾語(yǔ)句等,同時(shí)提供給用戶(hù)更多、更簡(jiǎn)潔的定義方法,如對(duì)所需信息的自然語(yǔ)言描述、文章概念的定義,還可以通過(guò)反饋的文章作為例子來(lái)訓(xùn)練個(gè)人聚焦和頻道。此外,它能夠通過(guò)自身軟件架構(gòu)的靈活性去適應(yīng)已有的系統(tǒng)架構(gòu),嵌入到已有的應(yīng)用中去,在用戶(hù)熟悉的界面之下提供新的功能。Autonomy中最關(guān)鍵的部分就是它的動(dòng)態(tài)推理引擎(Dynamic Reasoning Engine,簡(jiǎn)稱(chēng)DRE),其中信息的概念分析、內(nèi)容提取、概念模式識(shí)別、相關(guān)度計(jì)算等關(guān)鍵工作都是由該動(dòng)態(tài)推理引擎完成。當(dāng)用戶(hù)發(fā)出搜索指令后,它可以通過(guò)相關(guān)方法從互聯(lián)網(wǎng)、企業(yè)內(nèi)部網(wǎng)、終端計(jì)算機(jī)等不同位置的信息源中找到與用戶(hù)要求最匹配的信息[8]。它的技術(shù)特點(diǎn)主要有如下幾點(diǎn):

　　4.1 自動(dòng)內(nèi)容綜合和精煉

　　Autonomy能操作的信息同樣包括各種結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù),如RDBMS的表格、Lotus Notes等結(jié)構(gòu)化數(shù)據(jù),以及HTML頁(yè)面、Word文檔、電子表格、電子郵件非結(jié)構(gòu)化數(shù)據(jù)等。而且它可以綜合及理解豐富的多媒體內(nèi)容,包括音頻、視頻、圖像文件等。綜Autonomy能夠自動(dòng)綜合來(lái)自200多種不同格式數(shù)據(jù)源的內(nèi)容。所有綜合后的文件如有任何改動(dòng)都可以在Autonomy的基本結(jié)構(gòu)和數(shù)據(jù)源之間保持同步。

　　4.2 個(gè)性化操作

　　Autonomy的自動(dòng)建檔功能可以準(zhǔn)確理解個(gè)人和企業(yè)用戶(hù)的使用習(xí)慣和興趣愛(ài)好,并能進(jìn)行追蹤。根據(jù)直接檔案和隱含檔案可以生成每個(gè)用戶(hù)的多側(cè)面概念型檔案,它們可以自動(dòng)追隨用戶(hù)當(dāng)前的興趣,而無(wú)需用戶(hù)多次填寫(xiě)任何形式的表格。Autonomy自動(dòng)的個(gè)性化解決方案可以將用戶(hù)與有共同興趣的檔案或有間接關(guān)聯(lián)的檔案匹配起來(lái)。

　　4.3 信息自動(dòng)分類(lèi)、聚類(lèi)定義、索引

　　Autonomy獨(dú)有的自動(dòng)信息聚類(lèi)避免了手工分類(lèi)的麻煩,可以將相關(guān)網(wǎng)站信息進(jìn)行全自動(dòng)分類(lèi),能實(shí)時(shí)、客觀地反映每個(gè)科學(xué)門(mén)類(lèi)的信息變化,這與其他的模板式自動(dòng)分類(lèi)機(jī)制有著本質(zhì)的區(qū)別[9]。Autonomy的架構(gòu)可以識(shí)別信息之間的主要關(guān)系,從而實(shí)現(xiàn)內(nèi)容間的交叉索引對(duì)照,無(wú)論是什么文檔,Autonomy都可以在操作層識(shí)別出與其相關(guān)聯(lián)的資料。此外,Autonomy還可以對(duì)內(nèi)容中最主要的概念進(jìn)行總結(jié),可以根據(jù)原始查詢(xún)的上下文環(huán)境進(jìn)行總結(jié),并且將最適用的動(dòng)態(tài)摘要提交給指定需求。最關(guān)鍵的是Autonomy的這一切工作都無(wú)需人工干預(yù)自動(dòng)進(jìn)行,對(duì)企業(yè)應(yīng)用來(lái)說(shuō),這一點(diǎn)相當(dāng)有吸引力。

　　4.4 主動(dòng)匹配和信息地圖

　　像涉及安全方面的應(yīng)用可能有非常廣泛的信息搜索需求,從網(wǎng)站上最酷的新聞到剛剛播放的電視畫(huà)面,都可能與安全問(wèn)題相關(guān)。利用Autonomy的主動(dòng)匹配功能,可以在用戶(hù)日常工作中充分利用整個(gè)企業(yè)的信息系統(tǒng)為各個(gè)相關(guān)部門(mén)的相關(guān)人員提供有價(jià)值的信息。主動(dòng)匹配可以將典型的文檔或者以數(shù)字為中心的用戶(hù)界面轉(zhuǎn)變成以任務(wù)為導(dǎo)向的智能界面,也就是說(shuō)它能自動(dòng)識(shí)別用戶(hù)當(dāng)前的問(wèn)題,并確定相關(guān)信息。

　　Autonomy還可以自動(dòng)生成二維或三維的信息圖,將某一時(shí)間段的所有信息通過(guò)形象的圖像展現(xiàn)在用戶(hù)面前,幫助用戶(hù)準(zhǔn)確、及時(shí)地把握世界各地的最新資訊。例如它的最新功能可以跟蹤一系列的郵件信息,告知檢測(cè)者每個(gè)郵件的流向和被轉(zhuǎn)發(fā)目標(biāo)。它還可以將連續(xù)的信息圖生成信息走勢(shì)圖,觀察出多個(gè)時(shí)間段的信息走勢(shì),從而用戶(hù)能一眼看出某一個(gè)階段內(nèi)的信息發(fā)展趨勢(shì)。這是任何其他搜索系統(tǒng)目前還無(wú)法提供的功能。

　　5 企業(yè)非結(jié)構(gòu)化信息搜索的商機(jī),引得眾多IT巨頭紛紛加入搜索戰(zhàn)團(tuán),處理非結(jié)構(gòu)化信息的桌面搜索模式成為競(jìng)爭(zhēng)焦點(diǎn)

　　企業(yè)網(wǎng)絡(luò)的搜索比網(wǎng)絡(luò)的搜索復(fù)雜很多,企業(yè)信息通常是以各種不同的格式(如電子表格、PDF、HTM網(wǎng)頁(yè),甚至多媒體文件)存儲(chǔ)在各個(gè)不同的地方。同時(shí),企業(yè)客戶(hù)要有可靠的存儲(chǔ)系統(tǒng),還有協(xié)作工具、安全工具等。所以企業(yè)搜索需要具備更聰明的功能,能從各種不同的信息來(lái)源做信息的收集和關(guān)聯(lián)。