Die Burg wurde von Graf Elger I. von Bilstein gegründet und erbaut. Sie entstand um 1100. Der Baubeginn war vermutlich 1098 und die Fertigstellung wird auf 1105 datiert. Die Yleborgk (Ilburg) liegt auf einer einzelnen Bergkuppe, dem heutigen Burgberg, in der Ortslage von Ilfeld und gab dem Ort seinen Namen.
Nach Fertigstellung wurde die Burg als Wohnsitz des Grafen von Ilfeld genutzt. Sie lag 312 m über NN und war von einer 300 m langen Wallanlage umgeben. Die Burganlage bestand aus Vor- und Hauptburg. Die Ausdehnung betrug in der Länge 100 m und in der Breite 75 m. Die Wohnburg selbst wurde zweigeschossig aus Porphyrgestein mit aufgesetztem Fachwerk erbaut.
