Наиболее ранней из известных цивилизаций на территории Йемена является государство Маин, существовавшее во II тыс. до н. э. В последствии оно вошло в состав государства Саба, где уже в 8 в. до н.э. была создана обширная ирригационная система, вода в которую поступала из огромного водохранилища, построенного в его столице Марибе. В 1 в. н.э. Саба вошла в состав Химьяритского царства, распространившего свои владения на восток, включая Хадрамаут.

В 4 в. в Йемен вторглись войска Аксумского царства, которое находилось на территории современной Эфиопии. Задолго до нашей эры в Йемен стали переселяться евреи, а в период эфиопского правления здесь появились христиане – при эфиопском наместнике Абрахе в Сане была построена большая церковь. В 525 Аксумские правители были разбиты персами, и уже через полвека была разрушена Марибская плотина. В 628 последний персидский губернатор Йемена принял ислам.

Раскол между суннитской и шиитской ветвями ислама очень рано проявился в Йемене. В горных районах севера, в Иббе, господствующие позиции заняли зейдиты, последователи умеренного направления в шиизме, а на юге, в Тихаме, а также в Хадрамауте господствовали сунниты, главным образом последователи шафиитской религиозно-юридической школы. Принципы зейдитского теократического правления были заложены в 9 в. имамом аль-Хади. В течение нескольких последующих столетий Йемен находился под властью различных мусульманских династий – Аббасидов, Фатимидов, Айюбидов, а также мамлюков и турок-османов.