タマガヤツリに比べ、全体に小さく、花穂が緑色。場所によってはロゼット状になり、あまり緑色に見えないときもある。頭状花序が草丈の割に大きくなり、別名のオオタマガヤツリの由来になっているのだろうか。
茎は叢生し、放射状に広がる。葉は幅1〜2.5oの線形。花茎の先に、茎より長い葉状の苞が3〜4個つき、短くて細い苞が数個つく。花序は苞の上に接してつき、直径0.5〜2pの淡緑色球形の頭状花序であり、短い枝先に花序をつけることもある。小穂は長さ3〜8o、幅1.5〜2oのやや扁平な披針形で、先が尖り、小花10〜30個。鱗片は密に小穂につき、膜質、長さ1.7〜2.2o、背側が丸く、中肋が緑色で、先が少し突き出し尖る。果実は長さ0.8〜1.1o、幅0.5〜0.6oの倒卵形〜卵形、普通、腹面が平ら(わずかに凹む程度)で、背面が丸く、扁平な2稜形であり、3稜形になることもある。果実の稜には膜質の狭い翼がわずかにある。柱頭は普通、2分岐。雄しべは1個。
類似のシロガヤツリは全体に白色を帯び、花序枝がなく、小穂がねじれ、果実は細く、長楕円形で、稜に狭い翼がある。
ヒメアオガヤツリは10p以下と全体に小型で、ロゼット状になり、頭状花序が複生せず、長楕円形の果実に翼がない。