בשנת 1463 ערך המלך סג’ו (ככל הנראה לדרישת אחת מנשותיו?) שיפוץ יסודי בארמון Changdok. כחלק מהשייק החדש של הארמון הוא הוסיף גן מכובד שנקרא הגן הסודי (The Secret Garden).
הכניסה לגן היא רק באמצעות סיור מודרך (כיאה לגן מלכותי הוא כל כך גדול שכניראה מפחדים שמבקרים ילכו בו לאיבוד).