오겸吳謙의 본관은 나주. 자는 경부(敬夫), 호는 지족암(知足庵), 국재(菊齋),  시호 정간貞簡으로 유우(柳藕)의 문인이다.

오신중吳愼中의 증손으로, 할아버지는 오자치吳自治이고, 아버지는 부사 오세훈吳世勳이다. 어머니는 진첨 신말평申末平의 딸이다.

1522(중종17년)년 사마시에 합격하여 진사가 되고, 1532년 별시문과에 을과로 급제하여 의령현감으로 나갔다가 예조좌랑을 거쳐 형조정랑이 되었다. 그 뒤 장령ㆍ집의ㆍ교리ㆍ부응교ㆍ내섬시첨정을 거쳐 남원부사를 역임하였다.

1550(명종5년)년 금양군에 봉해졌고, 곧 담양부사ㆍ광주목사를 거쳐 호조참판ㆍ병조참판ㆍ대사헌을 역임하였다. 경주부윤ㆍ한성부 좌윤을 거쳐 1557년 호조참판, 1559년에 예조판서가 되고 뒤에 이조ㆍ병조ㆍ호조의 판서를 거쳐 지경연사를 지냈다.

1564년 우찬성이 되고 이듬해  치사를 청원하였으나 궤장을 하사받고 의굼부판사를 거쳐 1571(선조4년)년 좌찬성으로 춘추관지사가 되어 그 뒤 기로소에 들어갔다.

지춘추관사가 되어 『명종실록』편찬에 참여하고 우의정에 이르렀으며 중종, 명종, 선조 3조에 걸쳐 벼슬자리에 올랐으며 정직 청렴하고 권력과 부에 아부하지 않았으며 그로 인해 권흉 윤원형이 꺼리게 되어 벼슬을 버리고 고향으로 돌아갔다. 율곡 이이가 말하기를 청백하고 절조있는 신하였으며 세상 사람들로부터 존경받는 인격자라 하였다.

광산구 본덕동 마곡마을에 있는 설강 유사(雪江 柳泗 1502~1571)의 호가정(浩歌亭)에서 교유하며 지내기도 했다.

오겸의 묘지명은 율곡 이이가 썼다. 87세의 일기로 별세하고 나라에서 정간이란 시호를 내렸다.