Me 323如同Me 231,採用巨大的半懸樑高單翼,機身和機翼中間有支撐索。為了減低重量和降低鋁合金的使用量,機翼大部分結構是以合板與布面蒙皮構成,機身則是以金屬管和木製主樑,外側以塗敷塑膠漆的蒙皮覆蓋,機艙內部以粗纜線來承擔酬載的重量。
Me 323D型有5名操作人員:2名飛行員,2名飛行工程師與1名無線電操作手,另外還可以加上兩名炮手。飛行工程師的座位是在兩側機翼上,內側與中央發動機的中間的小艙內,,這樣設計的目地在於工程師可以隨時觀察飛行時6具發動機的狀況;而讓飛行員可以專心的將注意力放在飛行上面,不過飛行員還是可以超越工程師而直接控制發動機和螺旋槳的操作。
Me 323跟它的前身Me 321相比的話,Me 323的酬載量大約降低至10到12公噸(11到13長噸),這是為了讓它可以自力飛行所必須付出的代價。儘管有6具發動機,由Hellmuth Walter Werke所設計的液態起降助推火箭(rocket assisted takeoff)還是經常搭配使用,這些火箭安裝在外側發動機的下方,總共可以容納4組火箭。貨艙長度11公尺(36英呎),3公尺(10英呎)寬,3.4公尺高(11英呎)。一般攜帶的酬載包括:兩輛3.6公噸(4長噸)卡車、8700條麵包、一門88公釐高射炮與附屬配件、52桶(252公升/45美製加侖)燃料、130名乘客或者是60具擔架。