年輕時期的曹操機智警敏，擅長隨機應變，而且任性好俠、放蕩不羈，不修品行，不研究學業。
因此，當時的人不認為他有什麼特別的才能，只有梁國人橋玄和南陽人何顒認為他不平凡。
橋玄對曹操說：“如今天下將要發生動亂，非命世之才不能解救，能夠安定天下的，豈不是你嗎？”
南陽人許劭以知人著稱，他也曾評價曹操為“太平時的奸賊，亂世時的英雄”。
曹操早年就表現出對武藝的愛好與才能，博覽群書，尤其喜歡兵法。
曾經抄錄古代諸家兵法韜略，還註釋過《孫子兵法》，這些為他後來的軍事生涯打下了穩健的基礎。
熹平三年174年），曹操被舉為孝廉，入京都洛陽為郎。
不久，被任命為洛陽北部尉，洛陽為東漢都城，是皇親貴戚聚居之地，因此很難治理。
曹操一到職，就申明禁令、嚴肅法紀，造五色大棒十餘根，懸於衙門左右，“有犯禁者，皆棒殺之”。
漢靈帝寵幸的宦官蹇碩的叔父違禁夜行，曹操毫不留情，將蹇碩的叔父用五色棒處死。
於是，“京師斂跡，無敢犯者”。
曹操也因此得罪了一些當朝權貴，他們難以中傷曹操，只得以舉薦為名，將其明升暗降，外調為頓丘縣令。
光和元年178年），曹操因堂妹夫濦強侯宋奇被宦官誅殺，受到牽連，被免去官職。
其後，在洛陽無事可做，便回到家鄉譙縣閒居。
光和三年180年），曹操又被朝廷徵召，任命為議郎。
此前，大將軍竇武、太傅陳蕃謀劃誅殺宦官，不料其事未濟反為宦官所害。
曹操上書陳述竇武等人為官正直而遭陷害，致使奸邪之徒滿朝，而忠良之人卻得不到重用的情形，言辭懇切，但沒有被漢靈帝採納。
光和五年182年），朝廷令公卿按民謠檢舉刺史、二千石為害之人。
當時，太尉許戫、司空張濟看著宦官的臉色行事，收取賄賂。
宦官子弟賓客，貪汙卑鄙，許戫與張濟不敢過問，卻虛報糾舉二十六個處於邊遠小郡清廉惠政的人。
官吏和百姓到京師申訴，陳耽和曹操上書：“公卿的檢舉，大都包庇各自的私黨，是所謂‘放鴟梟而囚鸞鳳’。”
其言忠切，漢靈帝因此責備許戫和張濟，並將因謠言而被問罪的官員全部拜為議郎。
而後，東漢朝政日益腐敗，曹操知道無法匡正，便不再進言。
中平元年184年），黃巾起義爆發，曹操被拜為騎都尉，受命與左中郎將皇甫嵩等人合軍進攻潁川的黃巾軍。
右中郎將朱儁先到，與黃巾軍波才部作戰，失敗，皇甫嵩退守長社。