嚴格意義上的玉器，產生于新石器時代，至今已有8000多年的歷史了。新石器時代的玉器種類，主要有各種型制的佩戴在身上的裝飾品、佩戴或執持以表征權力的瑞玉，祭祀祖先神靈的祭玉以及專門為殉葬而制作的葬玉等。這些玉器具有特殊的功能，象征著擁有者的身份、地位和財富，有的還具有深刻的宗教寓意，在意識形態領域占據重要的地位。因此，從新石器時代開始，玉器就有別于當時的石器、陶器等普通的生產和生活用品，倍受重視，被當作珍寶加以收藏。
在新石器時代晚期的紅山文化和良渚文化大型墓葬中，都發現有隨葬玉器。紅山文化玉器型制多樣，磨制精美，而且在墓中置放有序，如勾云形佩和筒形器主要置于尸骨的胸部或頭部，環主要置于腕部，鳥形飾都有可穿綴的小孔，它們不是專為殉葬而制作的，而應是墓主生前使用并收藏的瑞玉和裝飾品。在浙江余杭反山良渚文化墓地的11座墓葬中，出土玉器1100余件（組），單件計數達3200余件，其中部分可能是專為殉葬而制作的，但絕大多數是墓主生前使用和收藏的。為了讓死者在地下過著與生前一樣的生活，將其生前使用的玉器一同入葬，是當時人對玉器珍愛與收藏意識的體現。
夏商周時期，貴族階層已注意收藏當時制作和使用的玉器，同時對前代流傳下來的玉器更為珍視。紅山文化是新石器時代晚期北方的制玉中心，其玉器流傳的地域廣，時間久。在相當于夏代的內蒙古敖漢旗大甸子夏家店下層文化遺址中，出土了多件紅山文化玉器，如璧、勾云形器、勾形器、筒形器等，都是紅山文化常見的器型，是墓主人生前收藏紅山文化玉器的例證。
1976年發掘的安陽殷墟婦好墓出土了755件玉器，其中標本964號和標本1120號與內蒙古巴林右旗那斯臺出土的勾形器形制相同，標本948號與遼寧建平牛河梁第二地點9號墓出土的橢圓形帶齒玉飾形制相同，均為紅山文化遺物；標本350號玉鳳與湖北天門石家河出土的團鳳造型相似，琢紋工藝相同，應為石家河文化的遺物。
在北京琉璃河西周燕國墓地和河南三門峽西周虢國墓地中也都出土了紅山文化的玉器。在山西侯馬曲村西周中晚期晉侯墓地中，也出土了很多商代玉器。這些都是墓主人生前收藏的古代玉器。
春秋戰國至漢代，玉器生產在前代基礎上不斷發展，玉器收藏的規模也較商周時期有很大進展。這一階段的玉器收藏者仍和以前一樣，主要限于帝王貴族階層。
1986年在江蘇吳縣發現了一個玉器窖藏，出土遺物包括玉器、彩石器和料器共402件，其中玉器204件，占出土遺物總數的50.7％，其器型種類主要為璧、環、璜等禮器和虎形佩、鳥形佩、珠等各種形狀的裝飾品。除了時作玉器，其中6件可能是吳王夫差收藏的良渚文化玉器。
1976年在河北平山縣戰國中山國王及其陪葬墓中，出土玉器800余件，其中除了戰國風格的玉器，還有西周和春秋時期的玉器。一些玉器上有墨書文字“集玉”、“集它玉”，表明這些玉器是中山國王長期收藏的珍物。
1983年在廣州象崗山發現了西漢南越王墓，墓中出土玉器達200多件。在西耳室西側北墻根存放的一個漆盒里盛放有43件玉劍飾，包括劍首10件、格16件、〓9件、〓8件，根據它們在盒中的存放位置和玉質玉色，并參照形制、紋飾特點，可大體分辨出8套，余下11件不成套。每件劍飾表面都粘附朱砂和朱絹，估計隨葬時是以朱絹逐件包裹后放入漆盒的。這批玉劍飾玉質雕工均屬上乘，且其中僅少數有使用痕跡，從其出土狀況來看，毫無疑問是南越王的收藏品。
由于多種原因，三國兩晉南北朝時期，玉器的生產和收藏曾一度處于低谷，隋唐時期逐漸復興。在陜西唐永泰公主墓出土的10件玉器中，有7件是唐代玉佩的配件；另外3件中，1件為戰國晚期至西漢的谷紋玉珩，1件為東漢時期的鏤雕螭紋出廓璧殘件，1件為魏晉時期的走獸游魚佩。可見此期的玉器收藏仍是以時作玉為大宗，新舊并蓄。
北宋時期，產生了以古器物和碑刻為研究對象的金石學。金石學的興起，極大地提高了人們鑒賞和收藏古代器物的興趣，古代玉器與三代青銅器一起成為文玩和“骨董”。
宋代的皇帝是當時最大的玉器收藏家，宮廷宗正寺玉牒所、文思院上界和修內司玉作碾磨的玉器以及地方屬國、州郡進貢的玉器，是其玉器收藏的主要來源，如當時出產和闐美玉的于闐國就時常向宋室進貢玉器。南宋周密《武林舊事》卷九記載：紹興二十年（1150）十月，宋高宗趙構臨幸清河郡王張俊府第，張俊進奉果品寶器、書畫、匹帛等物，寶器中時作玉44件，古玉17件。皇帝所藏玉器之豐，由此可見一斑。
在皇帝的倡導和金石學研究風氣的影響下，文人士族階層亦購買收藏古玉，并對其進行考證研究，收藏玉器成為上層社會的一種時尚。北宋學者呂大臨精于文物鑒賞，在宮內兼職監管文物，由他編纂的《考古圖》10卷。收錄皇宮中收藏的銅器210件，玉器14件，這是中國最早的收錄玉器的圖書，開中國玉器研究之先河。
從商周至漢代，玉器是以禮制化、理念化、系統化、等級化的玉禮器和組佩飾為主，用玉階層只局限于王公貴族，國王是最大的玉器占有者，其他人通過賞賜或饋贈的方式從國王那里獲得玉器，所以基本不存在買賣玉器的情況。隋唐時期，玉器手工業開始復蘇，并走向世俗化的道路，生產出適于平民百姓使用的、富有生活氣息的玉器皿和玉佩飾。宋代玉器在唐代的基礎上，繼續沿著生活化、世俗化的道路發展。此時的城市經濟非常發達，北宋的都城汴梁大相國寺是民間商業的大市場，每月5次開放，熱鬧異常，其中有出售民間舊貨古董的交易市場。除了收藏的古玉器，民間玉作坊生產的各種時作玉器也在市場上出售，玉器市場已經非常普遍。這一點可以在宋人的筆記中得到反映。
遼、金、元用玉制度追仿宋朝。在遼寧朝陽北塔遼代地宮出土的玉器中，除了玉龍、玉飛天、玉鵝、玉雁等遼代玉器，還有玉斧、玉〓、玉璧等新石器時代和商周時期的玉器。元代朱德潤編輯的《古玉圖》二卷，著錄有璧、環、帶鉤、劍飾、耳環等39件玉器，對每件玉器繪圖，記述尺寸、玉色、紋飾、來源及其收藏者。
明代是中國玉器史上相當繁榮的時期。考古和文獻資料顯示，明代玉器生產和使用的規模都勝過宋元，玉器收藏更是空前興盛。在北京明萬歷皇帝的定陵中出土了大批玉器，除了冠服用的玉帶、玉帶鉤、玉佩、玉圭、還有壺、爵、盂、碗等玉器皿上，還有耳環等玉首飾。在山東、江西等地發現50位明代藩王墓葬，共出土玉器2000余件。《天水冰山錄》中記載查抄明朝權相嚴嵩財物，其中有857件裝飾、陳設、實用玉器和202條玉帶的名稱。明人宋應星《天工開物》、曹昭《格古要論》、高濂《燕閑清賞箋》、文震亨《長物志》、張應文《清秘藏》、陳繼儒《妮古錄》等著作都有論及玉器使用和收藏等方面的情況。
明代中后期，商品經濟更加發達，城市里有出售古玩玉器的古董店、集市，還有流動的商販。玉器收藏的人數大增，已不局限于帝王、仕宦、文人，一些商人、市民、工匠、僧侶甚至奴仆也都加入了收藏愛好者的行列，玉器市場出現了供不應求的現象。于是，一些商人找人仿做古玉，以假充真，在市場上出售，牟取暴利，偽古玉應運而生。明末收藏家高濂在《燕閑清賞箋·論古玉器》中記載：“近日，吳中工巧，模擬漢宋螭〓鉤環，用蒼黃、雜色、邊皮、蔥玉或帶淡墨色玉，如式琢成，偽亂古制，每得高值。”從此，偽古玉一直在玉器收藏史上占據一席之地。
清代玉器生產從中葉即乾隆二十四年（1759）至嘉慶十八年（1803）進入了鼎盛時期。乾隆皇帝愛玉成癖，耗費了大量的人力和財力致力于玉器的生產和收藏，因此乾隆朝收藏的玉器甚豐。今北京故宮博物院有上萬件玉器，多半是乾隆時期收藏的，在臺北故宮博物院和一些收藏家的藏品中，也有很大數量的玉器可能來自于清宮舊藏。
乾隆尤其喜愛“三代”古玉，親自組織收集，并鑒別定級，對其中佳品題詩詠贊，并命玉工將詩鐫刻在該件玉器上。在乾隆御題的約800首詠玉詩中，有60余首是詠周或漢代玉璧的。乾隆還命宮廷造辦處玉作仿制古玉，有的刻“乾隆年制”或“乾隆仿古”款識，有的則刻假款。據養心殿造辦處記載，他于乾隆八年（1743）一月二十七日命造辦處按《考古圖》所載玉辟邪二件、〓玉馬一件、玄玉驄一件、琥一件、仙人一件之尺寸、各仿做一件；同年十一月初七日，命在一件碧玉虎右腿里懷刻“十三”，在木座上面刻隸字“宣和玉玩”，底面刻篆字“伯時珍藏”。
乾隆皇帝的愛玉，藏玉行為必然帶動全國上下的玉器收藏風氣。后來有名的琉璃廠古玩街和廊房二條玉器街都是在乾隆年間形成的。
清朝后期，由于國力衰退，從嘉慶十八（1813）起，貢玉減半。道光時期停止貢玉，宮廷玉器生產衰微，玉器的質量與乾隆時期玉器相差甚遠。但這一時期民間玉器生產的地域范圍擴大了，民間玉業相對繁榮。因此，從朝廷至民間的玉器收藏并未受到太大影響，尤其是社會中層的收藏行為得到很大發展。
一些熱衷于玉器收藏的學者兼收藏家，還對所藏、所見或經手過的玉器進行研究，并著錄成書。其中最為優秀的是光緒十五年（1889）了版的吳大〓的《古玉圖考》，采用實物與文獻相結合的方法研究古玉，具有劃時代的意義。此外，還有瞿中溶的《亦載堂古玉錄圖》、端方的《陶齋古玉圖》和陳性的《玉紀》等。
清末至民國時期，是中國玉器市場上一次空前繁榮的時期。1860年和1900年外國侵略軍兩次攻進北京，掠奪圓明園和清宮的玉器珍寶；1911年清朝末代皇帝溥儀遜位，將宮中的玉器攜出皇宮，這些玉器成為這一階段中國玉器市場的重要貨源。同時偽古玉及時作玉器也進入市場，對玉器市場的繁榮起到了推波助瀾的作用。因此，當時京城的骨董市場玉器買賣火熱，撳起了收藏玉器的熱潮。
清末民初的玉器市場主要有廊房二條玉器街、瑯璃廠古玩街、青山居和“鬼市”。廊房二條玉器街位于北京商業繁華區前門大街大柵欄，不但吸引了國內的達官貴人、富商大賈和珠寶同行，還引來了很多的外國商人，外國人稱廊房二條為“JadeWareStreet”，即“玉器街”，其中的店鋪有主要做國內人生意的“中國莊”，還有主要做外國人生意的“洋莊”。琉琉廠古玩街興始于乾隆三十七年（1772）開館纂修《四庫全書》以后，清末民國時期是其黃金時代，不但中國的許多文人學者、達官貴人光顧琉璃廠，一些外國的巨商、富豪、學者、官員和平民百姓也到琉璃廠購買包括玉器在內的古玩文物，他們將琉璃廠稱為“AntiqueStreet”，即“古董街”，琉璃廠成為中國文物的集散地。青山居位于崇文門外、花市以東，主要是珠寶玉器行行內交易的市場。“鬼市”又叫“曉市”或“小市”，是清末至民國時期對一種出售古玩、舊貨、雜品的地攤市場的稱呼。由于“鬼市”經營者和經營條件的特殊性，那里出售的古玩玉器要較琉璃廠、廊房二條店鋪里的便宜得多，因此這里是玉器店鋪的貨源之一，許多收藏家和文人也到這里覓寶或搜集素材。
民國時期玉器著述頗豐，學者從多種角度對玉器進行研究，如章鴻釗的《石雅》是從礦物學角度研究古玉，郭寶鈞的《古玉新詮》是運用考古學方法研究古玉，王國維的《說玨朋》是從古文字學角度研究古玉。一些玉器收藏家將他們的玩玉經驗輯錄成書，如李鳳雅的《玉雅》、李〓宣的《玉說》、劉大同的《古玉辨》、趙汝珍的《古玩指南》、鄧之誠的《骨董瑣記全編》等都屬于此類。民國年間在北京專門收售古玉的古董商黃浚和盧芹齋也將他們經手的重要玉器著錄成書，黃浚在《古玉圖錄初集》中收錄玉器471件，在《衡齋藏見古玉圖錄》中收錄200件；盧芹齋于1925年在伯希和的幫助下出版了法文版的《中國古玉》一書，收錄經其手收售的玉器。
綜上所述，中國玉器收藏的歷史濫觴于新石器時代，商周時期已開始收藏古玉。但宋代以前的玉器收藏，都是以時作玉器為大宗，古玉處于次要地位，收藏者主要是帝王和仕宦階層。大約從北宋開始，人們有意識地進行“骨董收藏”，雖然在收藏的數量上，古玉不一定占多數，但它們是收藏家追逐的目標，一些文人、商人和普通百姓加入收藏行列。清末民國時期，京城的玉器市場火爆，玉器貨源豐富，不但國內的達官文人、富商平民踴躍參與，還吸引了外國人來京購買玉器，達到了中國古玉收藏史上的高峰
