Impossibility of Optimizing Time-Fractional Gradient Descent With a Convex Function As the Objective Function

Abstract

현재의 기계학습 모델에서는 경사하강법에 다양한 목적함수와 그의 미분을 사용한다. 일부 연구는 목적함수와 옵티 마이저에 분수계 미적분을 적용할 때의 성능 변화를 조사하고, 분수계 미적분을 경사하강법에 적용하였을 때 특정 조건 하에서 극솟값이 없음을 보이며 그 필요성을 주장하고 있다. 본 논문에서는 볼록함수에 시계열 분수계 경사하강법을 적용하여 알고리즘화하였고, 최솟값으로의 최적화가 불가능하단 것을 가장 간단한 볼록함수에 적용하여 수학적으로 증 명하고 실험으로 검증하였다. 이러한 결과는 분수계 미적분을 사용하는 모델의 최적화 가능성을 보장하기 위해 주어진 목적함수에 대해서 추가적인 수학적 분석이 필요함을 시사한다.

Bosung Jung

M.S. Student

Completing coursework at all the schools within the Korea Central Education Institute.

Donghun Lee

Assistant Professor

Bridging artificial intelligence and mathematics, in both directions.