白下城最早为东晋咸和三年陶侃率军平定苏峻之乱时修筑的白石垒，又名白石陂。关于白下城的最早记载见于南朝刘宋时期，南齐永明六年时进一步增筑，并将南琅琊郡移治白下，此后又称琅琊城。

唐朝武德五年（622年），因为白下城的缘故，金陵县更名为白下县。明清以后，城池的具体位置已难考证。有观点认为，在今南京市鼓楼区狮子山一带发掘的城墙遗址为白下城遗址，另一说在今南京市鼓楼区中央门外北崮山。