米芾甚至因為潔癖而丟過官。他曾負責太廟的祭祀禮樂，這是宗法社會中最為盛大隆重的儀式。祭祀服裝上，繡有火焰等紋樣。據說宋朝開國皇帝趙匡胤是火德星君 臨凡，這祭服上的火焰紋樣，便是趙宋王權的象征。米芾清洗祭服，用力過猛，竟然把衣服上裝飾的火焰洗掉了。虧得徽宗素知米芾性情，沒有大加責罰，只將他罷 官了事。
米芾的奇裝異服，當時也曾遭人議論。他喜歡唐代服飾，帽子、袍子仿效唐人，走到哪里都引來人群圍觀。時間久了，汴京(今開封)城里的男女老少，即便不認識他，也能從著裝上知道他就是米芾。
有一次，他出門赴宴，戴了一頂高檐帽，結果帽子太高，無論如何，也不能戴著帽子坐進轎子里去。米芾又不肯讓隨從代勞，深怕他們弄臟了自己的帽子。左思右 想，最后讓隨從拆了轎子的頂蓋，這才安安穩穩地坐進轎子里。一路上為人所驚笑，后來遇到老友晁以道，晁以道見狀，也忍俊不禁，說道：“米芾，你簡直就像是 坐在檻車里示眾的囚犯啊！”
奇石與奇硯
米芾生活中，有兩大愛好——一是石，二是硯。
他在鎮江的宅子中，有一塊奇石，上面共有81穴，秀潤異常。當初用了100多個人，才將這塊石頭運至家中，題名為“洞天一品石”。他曾在江蘇漣水做官，漣水靠近安徽靈璧，其地盛產一種敲擊起來有金屬聲的石頭，人稱“磬石”。米芾收集了很多這樣的石頭，在自己的書房中流連把玩，終日閉門不出，將公務通通拋到了腦后。
著名的“米芾拜石”故事，今天已經成了藝壇上人所熟知的風流佳話。米芾在安徽無為做官時，見官署中有塊石頭生得十分奇特，便命人取出官袍，手執朝笏對著奇石行跪拜禮，口里還叫它“石丈”。言官們聽到這事后進行評議，一時在朝廷中傳為笑談。對于拜石一事，米芾自己倒是很得意，他曾自作《拜石圖》，以為紀念。后世也喜歡用這個題材來作畫，很多著名畫家都作有《米顛拜石圖》。
米芾酷愛奇硯，連皇帝的硯臺都垂涎。有一次，徽宗召米芾寫字，用的是御案上的端硯。寫完后，米芾捧著端硯跪下，對皇帝說：“這方硯石，臣下已經用過了，恐怕不好再供御前聽用了……”皇帝哈哈大笑，就把端硯賜給了他。米芾高興不已，抱著硯石退出，衣服上沾滿了墨汁也不在乎。
硯為“文房四寶”之一，是文人、書畫家的必備之物。米芾對硯石素有研究，曾著有《硯史》一卷，對各種古硯的品相、各地硯石的特點等都有精辟的見解。米芾自己也收藏過很多珍貴的硯石，他對這些硯石的愛護，簡直可以稱得上是“愛之如命”。他留下過一封書信，收信人是誰，現在已經不知道了。似乎是對方向他索要一方硯石，他拒絕得很堅決。信中寫道：“拿走心，就變成了失心人。硯石，就是我的心。是誰教唆你來向我討要這方硯石？我一定會深究這件事。不過，我手中有一幅徐熙(五代南唐著名畫家)的《梨花圖》，權當是硯石送給你吧，算是保全我們之間的交情。如果一定要拿走我的心，我只好像項羽那樣自刎在烏江之中了。”
為書畫費盡心機
當然，作為一名書畫家，米芾平生最愛還是書畫。他的書齋名為“寶晉齋”，因為里面多是晉人手跡。他的兒子米友仁曾記載說：“父親所藏的晉唐真跡，天天都擺在書案上，手不釋筆，臨摹學習。到了夜晚，就收在箱子里，放在枕邊，才能入眠。”米芾出門時，往往還要帶上書畫。他到江南做官，在官船上掛了一個牌子，上面大書“米家書畫船”等字。黃庭堅為此作詩贈之：“滄江盡夜虹貫月，定是米家書畫船。”米芾自己也寫道：“滿船書畫與明月，十日隨花窈窕中。”