Джон Атанасов е роден на 4 октомври 1903, на няколко мили западно от град Хамилтън, Ню Йорк. Баща му - Иван Атанасов е роден в с. Бояджик, Ямболска област. Неговите родители загиват в Априлското въстание. През 1889, 13 годишният Иван Атанасов емигрира в САЩ заедно с чичо си.
Майката на Джон Атанасов се казва Ива Лусена Пърди (Iva Lucena Purdy), учителка по математика. Джон младши е първото от 9-те деца на Ива и Иван. В Брюстър, щата Флорида, Джон Атанасов младши завършва училище.
Семейството на Джон се премества в Стара Чикора, Флорида преди да влезе в гимназия. Там той завършва средния курс за две години, с отличие по математика и природознание. Тогава вече е решил, че иска да стане физик. През 1921 г. Джон влиза в През 1936 г. е последният му опит да конструира малък аналогов калкулатор. Заедно с Глен Мърфи, който тогава бил атомен физик в университета на Айова, те създават "Лапласиометър", машина използвана от тях за анализиране на геометрични повърхности. Тя обаче притежава същия недостатък, както и всички аналогови изчислителни машини - неточността. От 1939 до 1941 Атанасов работи заедно със студента по електро-инженерство и свой добър приятел Клифърд Е. Бери. Те подобряват ABC, Атанасов-Бери-Компютър, както е наречен по-късно. За съжаление, когато САЩ се включва във Втората световна война, на 7 декември 1941, работата върху компютъра спира. Въпреки, че университета на Айова е наел чикагския адвокат по патентно право Р.Трекслър, ABC не бил патентован...
Гейнсвилския университет в щата Флорида, но със специалност елктро-инженерство, защото най-силно желаната от него специалност не била застъпена в учебния план на Гейнсвилксия университет. Междувременно започва да се интересува от електроника и продължава с висша математика. Атанасов получава бакалавърската си степен по елктро-инженерство през 1925 г с отличие, след което започва да преподава в Щатския колеж на Айова. Всъщност това не е единственото предложение, което получава - поканен е от много университети, включително Харвардския, но избира колежа на Айова,защото от там получава първата оферта и заради добрата репутация в инженерните и научни специалности на колежа на Айова.През юни 1926 г. Джон Атанасов получава учителската си степен по математика в Айова, където е нает за преподавател. Оженва се за Лура Мийкс, след около година се ражда първото от трите им деца - Елзи. Останалите са Джоан и Джон Атанасов III. Когато дъщеря им навършва 1 годинка, младото семейство се премества в Мадисън, Уисконсин, където Джон е приет за докторант. Неговата дисертация "Диелектричната константа на хелия" е свързана с голям брой сложни изчисления. Изморителните часове пред механичния калкулатор "Монро" накарали младия учен да се замисли върху идеята за по-съвършена изчислителна машина. След като получава доктората си по теоретична физика през юли 1930, Джон се връща в Айова, решен да опита да създаде по-добър и по-бърз компютър. В края на 1930 г. Атанасов става асистент-професор по математика и физика в университета на Айова. Високите му познания в тези области му позволяват да започне да експериментира с електронни лампи и радио-електроника. След като изпитва много математически устройства, достъпни през онова време, Атанасов заключава че те попадат в две категории - аналогови и цифрови. Всъщност терминът "цифров" бил използван доста по-късно, Атанасов противопоставил аналоговите машини на "същинските изчислителни машини".
През септември 1939 Атанасов напуска Амес, Айова и щата Айова заради работа във военно-морската оръдейна лаборатория във Вашингтон (Клифърд Бери също е извикан да работи върху военни разработки в Калифорния). Атанасов работил като завеждащ проект за създаване на изчислителна машина за Военно-морските сили на САЩ. По същото време, той е привлечен да участва в първият атомен опит в Тихия океан - проект който много допадал на Атанасов. През 1948, при едно от първите му завръщания в Амес, Джон бил изненадан и разочарован от новината, че Атанасов-Бери-Компютър е бил преместен от сградата на физическия факултет и след това разглобен. Нито той, нито Клифърд Бери са били уведомени, че компютъра е щял да бъде разрушен... Спасени били само няколко части от него. След дълго боледуване, Атанасов умира от удар на 15 юни 1995 в дома си в Мериленд.