和名の由来はゴウソに似て小く、小穂が緑白色であることから。茎根は短く、叢生する。葉は粉白色で、幅2〜6�o。苞は無鞘。小穂は3〜5個。上部の黄色は雄小穂、緑白色に見えるのが雌小穂で、長い柄がある。雌小穂は長さ2〜6�p、先端に短い雄花部をつけることが多い。鱗片は鋭頭又は鈍頭、淡緑色で、中肋の先は芒となる。果胞は扁平な広楕円形、乳頭状突起が密につく。痩果は倒卵形、断面レンズ形、柱頭は2分岐。
　全体に小型で上部の雌小穂の柄が短く、雌鱗片の芒が短く、果胞が小さく（長さ2.5〜3mm）、果胞の脈が見えるものをヒメゴウソ　var. gracilispica とし、やや大型で、雌鱗片が長く果胞より突き出し、果胞が長く（長さ3〜3.5mm）、果胞の脈が不明瞭なものをホナガヒメゴウソ var. phacota とする説もある。
　色がよく似たタチスゲは果胞に脈があり、柱頭が3分岐。