在刘伯温中进士后不久，他由江西高安县丞，晋升为元帅府都事。但是，运气一向很佳的他，自从当了元帅府都事，开始经受各种挫败。在朝堂上，他的建议总是得不到朝廷的采纳，他的才能受到朝廷的各种压制。为此，刘伯温失望透顶，先后三次愤然辞职，回故乡青田隐居。在刘伯温隐居青田期间，他依然潜心著述。
后来，雄才大略的朱元璋看中了刘伯温的才能，两次向隐居青田的刘伯温发出邀请，希望刘伯温能够出山，助他一臂之力。刘伯温经过深思熟虑之后，终于决定出山辅助朱元璋，希望通过帮助朱元璋打江山，来实现自己治国平天下的宏伟大志。朱元璋对刘伯温的加入，更是大喜不已，从此将刘伯温视为自己的心腹和军师。刘伯温出山之后，忠心耿耿地为朱元璋效力，积极为朱元璋出谋划策，并为朱元璋制订了“先灭陈友谅，再灭张士诚，然后北向中原，一统天下”的战略方针。而朱元璋正是得到刘伯温的精心辅佐，事业才如虎添翼。
洪武三年(1370年)，刘伯温一路高升，又被朱元璋任命为弘文馆学士，并授予“开国翊运守正文臣、资善大夫、上护军”称号，赐封诚意伯，食禄二百四十石，待遇实属不错。至此，刘伯温可谓是事业家庭双丰收。但是作为一代军师，他总是料事如神。他知道，自己平日里疾恶如仇，肯定得罪了不少同僚和权贵，同时也懂得“伴君如伴虎”的道理，说不定哪一天他就会被打入低谷。因此，他在功成名就之后，就毅然选择了激流勇退，于洪武四年(1371年)主动辞去一切职务，告老还乡，继续回青田隐居。很快，刘伯温在青田又过了两年的隐居生活，每天钻研诗书，日子过得也算安逸。但是他的智慧和才能实在太高，名声也实在太大了，难免不引起诸位大臣的嫉妒和朱元璋的猜疑。