Metadata mining using similarity matrixes for improved knowledge data discovery

Abstract

METADATA MINING USING SIMILARITY MATRIXES FOR IMPROVED KNOWLEDGE DATA DISCOVERY Bugünü ortamında, bir çok şirket kendi iç işlerinde, mümkün olan her alanda bilgisayar temelli sistemleri kullanmaya çalışıyorlar. Bu da bir çok değişik uygulamada, sistemde ve de donanımda biriken dijital veriye ve bilgiye sebep oluyor. Yine bugünün iş dünyasında rekabet avantajını yaratmak ve koruyabilmek neredeyse her şey. Bu tip işletmelere yaratılabilecek en büyük kaynak ve fayda bu biriken kritik, kesin ve zamanı belirli veriden, rekabet avantajına dönebilecek istihbarat sağlamak olacaktır. Bu sebeptendir ki bir çok işletme kendi içlerinde bu verileri incelemek ve birleştirmek için departmanlar kurmaktadır. İlk amaç bu dağınık ve kpouk veri kaynaklarını tek bir parça haline toplamaktır ki buna Data Warehouse denilmektedir. İkinci amaç ise bu oluşan tek parça veri grubunu şirketin avantajı olabilecek yararlı kalıpları bulabilmek amacı ile incelemektir ki buna da Data Mining denilmektedir. Tezde bu dağınık verilerin tek bir veri tabanında birleştirilmesi için sorumlu olan kişilerin, değişik veri kaynaklarının iç detaylarını bilememe durumunda bu işi otomatik olarak yapacak bir metot geliştirdik. Algoritmamız değişik veri kaynaklarını tarayarak araştırarak ve de karşılaştırarak eğer varsa aralarındaki benzerlikleri bulmaktadır. Ayrıca eğer karşılıklı tablolarda aynı elemanlar varsa bunları birleştirme öncesi uyarmaktadır. Bu işlemleri gerçekleştirmek için bir yazı benzerlik algoritması ve de benzerlikleri notlandırdığımız ve karşılıklı kıyaslamalar yaptığımız matrisleri kullandık. Sonuç olarak deneylerimizi yaptığımız örnek verilerimiz ile başarılı sonuçlar aldık.

METADATA MINING USING SIMILARITY MATRIXES FOR IMPROVED KNOWLEDGE DATA DISCOVERY In today's environment, many corporations are currently using computer-based systems in nearly all of their process, where it is applicable. This results in digital information, which is collected and formed in different systems, applications and hardware. Creating and holding a competitive advantage is what it is all about in today's business world. There is no more valuable resource to a business than intelligence. Critical, accurate and timely information can be directly converted into competitive advantage. Many business are trying to build IT departments in order to gather and merge these different data sources into one single entity that is called data warehouse and using skills and techniques, called data mining, to analyze the this new whole database to find some patterns that will help to realize valuable advantages for the company in the market. In the thesis, we developed a automated way to merge the different data sources into one single database structure in order to help the data warehouse analyst, which do not know the details of the different applications inside a organization. Our algorithm scans, searches, compares two or more data sources with each other, and finds out the link in-between them, if there is any relation between them. In addition, it checks if there are same entities in the opposing tables. We used similarity matrixes and a text similarity algorithm to compare the remote data sources. As a result, we had successful results from our case study using our own algorithm. February 2002Öymen GÜR