Reinforcement learning based position control of an electro-hydraulic system

Coşkun M. Y., İtik M.

Niğde Ömer Halisdemir Üniversitesi Mühendislik Bilimleri Dergisi, vol.12, no.1, pp.1-9, 2023 (Peer-Reviewed Journal)

Abstract

Electrohydraulic systems have become an inseparable part of the industry due to the advantages they provide. On the other hand, the nonlinear characteristics of the hydraulic systems and the parametric uncertainties make their control troublesome. In this study, the position of an asymmetrical hydraulic piston driven by a proportional valve was controlled by reinforcement learning. Although there are many reinforcement learning algorithms, the deep deterministic policy gradient, which stands out with its effectiveness in continuous space, has been preferred. The
hyperparameters were found by preliminary studies and the training of the controller for the designed position reference signal was carried out numerically. The obtained results are compared with the PID controller. The reinforcement learning method reached 25.51% more successful results than the PID controller in terms of tracking the position reference signal with different characteristics.

Elektrohidrolik sistemler sağladıkları avantajlar sebebiyle endüstrinin vazgeçilmezi olmuştur. Buna karşın hidrolik sistemlerin doğrusal olmayan karakteristik özellikleri ve çok sayıda parametre belirsizliği barındırması bu sistemlerin denetimini zorlaştıran etmenler olarak öne çıkmaktadır. Bu çalışmada ise oransal valf ile sürülen asimetrik bir hidrolik pistonun konumu pekiştirmeli öğrenme ile denetlenmiştir. Pek çok pekiştirmeli öğrenme algoritması olmasına rağmen sürekli uzayda etkinliği ile öne çıkan derin deterministik politika gradyanı yöntemi tercih edilmiştir. İlgili hiper parametreler öncül çalışmalarla belirlenerek çoklu konum referans sinyali için denetleyicinin eğitimi benzetim ortamında gerçekleştirilmiştir. Elde edilen sonuçları kıyaslamak için aynı çalışma PID denetleyici ile de gerçekleştirilmiştir. Çalışmada kullanılan pekiştirmeli öğrenme yöntemi farklı karakteristiklere sahip konum referans sinyalinin takibinde PID denetleyiciden daha %25.51 oranında daha başarılı sonuçlar ortaya koymuştur.