1787. március 16. született a németországi Erlingenben.
Apja lakatos mester volt, érdeklődött; matek és fizika iránt. Fiát is segítette e tudományterületek alapismeretek elsajátításában. Tehetséges fiát már 16 évesen felvették az erlangeni egyetemre, ahol matematikát, fizikát és filozófiát tanult.
1811. Doktorált matematikából
Ezután anyagi nehézségei miatt abba kellett hagynia a tanulmányait. Svájcba ment matematikát tanítani, hogy további pénzt gyűjthessen.
1815.-től a bambergi reáliskolában tanított. Tudományos munkásságának köszönhetően kedvezőbb helyzetbe került;
1817.- 1826.-ig a kölni jezsuita gimnázium fizikatanára volt, de tanítása mellett az iskola szertárának kezdetleges eszközeivel tudományos megfigyeléseket végzett. Tapasztalatait –s a később róla elnevezett törvényt- A fémek áramvezető képességét szabályozó törvény meghatározása című munkájában foglalt össze. Megállapítását a szakterület képviselői bizalmatlanul éles kritikával fogadták.
1826.-1833.-ig A berlini katonaiskolában tanított.
Jelentős kutatási eredményeit nehezen kaptak elismerést.
Először az angol Royal Society tüntette ki 1841.-ben a Copley –éremmel, és választotta tagjául 1842.-ben.
Csak 1849.-ben a mücheni egyetemre, ahol 1852.-ben nevezték ki professzornak, de a valóban nekivaló munkakörnek csak két évig örülhetett.
Nevét főleg az elektromosságtan egyik, róla elnevezett alaptörvényével örökítette meg. Pontos mérésekkel kimutatta, nemcsak az Ohm- törvényt, hanem az ellenállásnak a vezetőtől és a keresztmetszetétől való függését is. Különböző anyagok között ellenállási sorrendet határozott meg.