Das Harmonium besteht aus einem Gehäuse, bei dem im unteren Bereich die Bälge mit Magazinbalg und direkt darüber, hinter der Klaviatur, die verschiedenen Register untergebracht sind. Die Blasebälge werden in der Regel vom Spieler mit den Füßen betätigt, nur bei größeren Instrumenten ist ein Gehilfe oder ein elektrisches Gebläse notwendig. Entsprechend der Konstruktion der Bälge unterscheidet man in zwei Typen, das deutsche System (Druckwindharmonium) und das amerikanische System (Saugwindharmonium).

Beim deutschen System werden mit den Füßen zwei Schöpfbälge betätigt, die ein über diesen Bälgen liegendes Magazin aufpumpen. Die unter Überdruck stehende Luft umströmt sodann beim Betätigen der Tasten die im Zungenbett befestigten Metallzungen der verschiedenen Register und bringt diese zum Klingen. Beim amerikanischen System ist diese Funktionsweise genau umgekehrt. Die Luft wird durch betätigen der Schöpfbälge aus dem Magazin herausgesaugt. Sollen nun die Metallzungen zum Klingen gebracht werden, so strömt durch den Unterdruck die Luft an den Zungen vorbei in das Magazin, das sich langsam wieder mit Luft füllt.

Bedingt durch seine einfachere Konstruktion erfuhr das Saugwindharmonium eine wesentlich größere Verbreitung als das Druckwindharmonium. So wurde dieses System auch in Frankreich und Deutschland vor allem für das sog. "Kunstharmonium" für gehobene, künstlerische Ansprüche verwendet, da es den Vorteil bat, die Lautstärke durch mehr oder weniger starkes Betätigen der Bälge dynamisch verändern zu können. Im englischen Sprachgebrauch heißen derartige Instrumente "reed organ" (auch "pump organ" oder "parlor organ").

Eine Besonderheit des Harmoniums im Gegensatz zur Orgel besteht auch in der Ausnutzung der Register. Ist bei einer Orgel eine Pfeifenreihe in der Regel nur einem Register zugeordnet (abgesehen von Transmissionen oder Vorabzügen in Sonderfällen), so wird beim Harmonium eine Zungenreihe häufig verschiedenen Registern, oft auch in Kombination mit anderen Zungenreihen und in unterschiedlichen Klangstärken, zugeteilt. Dadurch besitzt ein Harmonium in der Regel mehr Registerzüge als eigentliche Zungenreihen. Weiters verfügt ein Harmonium über zusätzliche, technische Einrichtungen zur Beeinflussung des Klanges, z. B. Perkussionseinrichtung für eine markante, pünktliche Tonansprache, Schwellklappen oder Forteklappen über den Zungenreihen und Tutti, die auch mittels Kniehebel betätigt werden können, sowie pneumatisch angetriebene, rotierende Blätter zur Erzeugung von Vibrato- Effekten und der Möglichkeit, den Magazinbalg abzustellen (bei Druckwindinstrumenten). Zusammen mit der Manualteilung des Instrumentes stehen dem Spieler so vielfältige Gestaltungsmöglichkeiten zur Verfügung.