Publication: A heteregeneous multi agent intelligent player for a real-time strategy game
Abstract
GERÇEK ZAMANLI STRATEJİ OYUNU İÇİN HETEROJEN ÇOKLU ETMENLER KULLANAN AKILLI OYUNCU Gerçek Zamanlı Strateji oyunları, karşılıklı mücadeleye dayanan, çeşitli kaynakları etkili kullanarak harita üzerine stratejik bölgeleri kontrol altına almaları ve çeşitli manevralar ile karşısındaki tarafın birim ve yapılarını yok ederek kazanmaya çalışmasına dayanan bir oyun türüdür. Satranç ve GO gibi mücadeleye dayalı oyunlardan farkı, gerçek zamanlı ilerliyor oluşudur; oyuncular hamle yapmak için birbirlerinin hamlelerini beklemezler. Oyunun gerçek zamanlı yapısından dolayı, karmaşıklığı karşılaştırılabilir diğer mücadeleye dayalı oyunlara göre çok daha fazladır. Son yıllarda yapay zeka alanında gerçek zamanlı strateji oyunlarına ilgi oldukça artmıştır. Bunun belli başlı nedenlerinden biri, oyunun durum uzayının büyüklüğüdür. Bu tür bir oyun için verimli bir oyuncunun tasarlanması ve geliştirilmesi, durum uzayının büyüklüğünden dolayı verimlilik açısından problemler yaratmaktadır. Bu çalışma, büyük durum uzayı problemine karşı pekiştirmeli öğrenme çerçevesinde bir çözüm üretmektedir. Bu çözümün en önemli katkısı, zamana yayılmış aksiyonlar, doğrusal işlev yaklaşıklamaları ve Yarı-Markov Karar Verme Süreçleri (SMDP) çalışma alanlarını kullanarak durum uzayının genişliğini kabul edilebilir bir seviyeye düşürmesidir. Duruma dayalı karakteristik şablonlar, birime göre özelleştirilmiş aksiyon ve opsiyon şablonları birim bazındaki durum uzayının boyutunu küçültürken, heterojen çoklu etmen kullanımı öğrenmede ayrıştırmayı ve bu sayede farklı stratejilerin durum uzayını büyütmeden ve daha izole biçimde öğrenilmesini mümkün kılmaktadır. Bu çalışma, genel olarak hesaplanabilirlik sınırlarının dışına çıkan bir öğrenme problemini kabul edilebilir verimlilikle gerçekleştirmektedir.
A HETEROGENEOUS MULTI- AGENT INTELLIGENT PLAYER FOR A REAL-TIME STRATEGY GAME A Real-time Strategy (RTS) game is an adversarial game where the participants position and maneuver units and structures under their control to secure areas of the map and/ or win by destroying their opponents’ units and structures. It is possible to train new units and build new structures during the course of a game with limited amount of resources present in the setting. As opposed to comparable turn-based adversarial games such as chess and go, opponents do not wait for each others’ moves so the game progresses naturally with units interacting each other in real time. As a result of the real-time nature of the game, the complexity of the game dramatically increases. In recent years, there has been an increasing interest in RTS games in the artificial intelligence community, especially from the perspective of reinforcement learning, to create an agent to play the RTS game, due to the problem’s large state-action space. Modeling and implementing an efficient learning agent that is able to cope with the large state space is a difficult task. This work offers a solution to the problem of large state space in reinforcement learning problems, especially in the complex domain of adversarial real-time strategy games with heterogeneous effectors by using feature based linear function approximation combined with temporally abstract options introduced with the semi-Markov decision processes (SMDP) framework. Context based feature templates and reduced action sets per effector type in a heterogeneous environment greatly reduce the complexity of the learning problem while increasing the efficiency of the convergence of the learning algorithm. This work accomplishes to solve an otherwise intractable problem with an acceptable efficiency.
A HETEROGENEOUS MULTI- AGENT INTELLIGENT PLAYER FOR A REAL-TIME STRATEGY GAME A Real-time Strategy (RTS) game is an adversarial game where the participants position and maneuver units and structures under their control to secure areas of the map and/ or win by destroying their opponents’ units and structures. It is possible to train new units and build new structures during the course of a game with limited amount of resources present in the setting. As opposed to comparable turn-based adversarial games such as chess and go, opponents do not wait for each others’ moves so the game progresses naturally with units interacting each other in real time. As a result of the real-time nature of the game, the complexity of the game dramatically increases. In recent years, there has been an increasing interest in RTS games in the artificial intelligence community, especially from the perspective of reinforcement learning, to create an agent to play the RTS game, due to the problem’s large state-action space. Modeling and implementing an efficient learning agent that is able to cope with the large state space is a difficult task. This work offers a solution to the problem of large state space in reinforcement learning problems, especially in the complex domain of adversarial real-time strategy games with heterogeneous effectors by using feature based linear function approximation combined with temporally abstract options introduced with the semi-Markov decision processes (SMDP) framework. Context based feature templates and reduced action sets per effector type in a heterogeneous environment greatly reduce the complexity of the learning problem while increasing the efficiency of the convergence of the learning algorithm. This work accomplishes to solve an otherwise intractable problem with an acceptable efficiency.