Flamboyan


Chrisstroemel / Sederhana

Kinerja runtime yang sederhana, dikombinasikan dengan efisiensi sampel yang unggul dalam dimensi tinggi, memungkinkan algoritma untuk dengan mudah mengukur masalah yang menampilkan sejumlah besar variabel desain. Tidak seperti Bayesian Optimization, ia memiliki kinerja runtime O, serta faktor konstan yang kira-kira tiga urutan besarnya lebih kecil. Kedua algoritma sampel dari titik-titik yang model penggantinya memprediksi memiliki nilai obyektif yang tinggi, serta sejumlah besar perolehan informasi untuk membuat prediksi yang lebih akurat dalam iterasi masa depan. Bayesian Optimization menggunakan proses Gaussian untuk memodelkan fungsi tujuan, yang, meskipun mereka sangat ketat secara statistik, juga sangat mahal secara komputasi. Setiap interpolasi lokal ini mengambil bentuk simpleks, yang merupakan istilah matematika untuk konsep geometris segitiga. , tetapi diperluas ke dimensi yang lebih tinggi. Simple membangun model pengganti dengan memecah domain optimasi menjadi satu set interpolasi lokal yang terpisah satu sama lain. Metode yang agak mirip untuk optimasi menggunakan interpolasi simplisial lokal dan pembagian barycentric pertama kali diusulkan oleh Wu, Ozdamar, dan Kumar pada tahun 2005. Dengan menguji satu titik di dalam setiap simpleks, algoritma dapat membagi interpolasi induk menjadi redup + 1 lebih kecil, lebih akurat interpolasi anak.
Karena setiap interpolasi didasarkan pada informasi yang murni lokal, masing-masing sampel dapat diambil tanpa perlu menghitung ulang model pengganti yang diperbarui untuk seluruh ruang pencarian. Pada setiap langkah, Simple mengambil interpolasi lokal dengan nilai fungsi akuisisi tertinggi dari antrian prioritasnya dan mengevaluasi fungsi obyektif pada titik uji interpolasi ini. Algoritme kemudian menggunakan informasi sampel baru untuk membagi interpolasi induk menjadi interpolasi anak yang lebih kecil, yang kemudian hasilnya ditambahkan kembali ke antrian prioritas. Sederhana mencapai percepatan yang sangat besar atas Bayesian Optimization dengan mengubah masalah optimisasi global menjadi masalah pemrograman yang dinamis. Preferensi eksplorasi adalah hyperparameter yang dapat disesuaikan yang digunakan untuk menginformasikan algoritma seberapa besar pentingnya mengeksplorasi domain optimasi, sebagai lawan dari mengejar optimum lokal pertama yang ditemukannya. Setiap simpleks memiliki lokasi uji kandidat yang ditentukan secara geometris untuk membantu menjamin konvergensi dan menghambat penciptaan interpolasi rasio aspek tinggi yang kurang akurat. Sederhana bekerja dengan membangun interpolasi lokal di antara set titik sampel, yang menyiratkan bahwa harus ada sampel yang diambil pada setiap titik sudut dari domain optimasi. Oleh karena itu, domain optimasi berbentuk simpleks adalah pilihan sampel-efisien untuk algoritma ini, dan memungkinkannya untuk secara efisien mengoptimalkan fungsi objektif yang sangat dimensional.Bayesian Optimization biasanya beroperasi pada domain berbentuk prisma, dan dalam praktiknya memiliki preferensi yang besar untuk mencicipi 2 sudut titik redup dari domain optimasinya karena ini cenderung mewakili wilayah ruang pencarian yang paling belum dijelajahi. Jadi sementara Simple memang memiliki persyaratan sulit untuk mengambil sampel titik sudut redup + 1 sebelum optimasi dapat dilanjutkan, ini sebenarnya merupakan peningkatan jika dibandingkan dengan perilaku khas dari Optimasi Bayesian. (source)