1964年，為了進一步加強黨組織對國家經濟的掌控和領導，毛主席打算組建一個獨立於國家計委之外的「小計委」，其主要職責是統籌工農業建設，穩固計劃體制，排除境外勢力對國民經濟的幹擾。「小計委」的成員全都是能力出眾的幹將，比如林乎加，他可是一位傳奇人物！
林乎加出身富裕家庭，他早年曾在青島求學，期間受同學影響，開始接觸共產主義思想，20歲那年，他報名參加了共青團，自此開啟了革命的偉大征程。抗戰爆發後，林乎加在上級黨委的指示下，悄悄轉移到魯南地區從事地下活動，1938年，他與李耀文同誌等人一起，領導了一次大規模工、農、兵起義，並順勢建立了一支抗日救國軍，開啟了魯南抗戰的新局面。
1940年，林乎加被委派到八路軍泰山軍區擔任政治委員，彼時泰山軍區剛剛經歷了兩次失敗的反「掃蕩」鬥爭，部隊士氣受到重創，官兵們也都灰心喪氣，滿臉愁容，對革命的前途失去了希望。林乎加為了改變這一狀況，一方面組織全軍進行思想建設，鼓勵大家要知恥而後勇，不能因為一點點的小挫折就一蹶不振。
另一方面，林乎加又派遣偵察人員密切監視日偽軍的動向，找尋合適的戰機。不久之後，偵察員傳來訊息，稱一個日軍運輸中隊近期將路過泰山軍區附近，林乎加一時喜出望外，他立即召集所有部隊，在敵人的必經之路上狠狠打了一個伏擊，一舉殲滅百余名日軍，繳獲了大量槍支彈藥。戰後，泰山軍區迅速走出低迷的狀態，官兵們士氣高昂，頻頻主動請戰，林乎加趁勢又指揮部隊打了幾個小規模破襲戰，取得了不俗的戰果。
解放戰爭時期，林乎加主要在後勤行政崗位工作，1949年，他被編入幹部團，跟隨三野渡江南下，當年下旬，他被征調到浙江省委擔任宣傳部長，1952年，他升遷為副省長，主管農業建設、民生等政務。
任期內，林乎加主要做了兩件大事，其一是大規模修建水利工程，調洪蓄水的同時，也方便農業灌溉。其二是大規模推行改良的水稻種子，提高了糧食產量，一舉解決了浙江老百姓的吃飯問題，至60年代初，浙江已經完全實作了農副產品的自給自足，並率先在省內取消了實行多年的糧票制度，往後老百姓可以用錢隨意購買糧食、副食，不受任何限制。
1964年，林乎加同誌被調入「小計委」任職，並參與制定了「三五」計劃，正當他準備再接再厲，繼續為國家建設出謀劃策的時候，動蕩卻突然降臨，他隨即受到了居心叵測者的針對，被革除所有職務，關入秦城監獄服刑，直至1972年，在毛主席的關懷下，他才終於獲得解放，重新獲得自由。
1976年，他受黨中央委派，和蘇振華將軍一起前往上海穩定局勢，根除動蕩殘余勢力，打掉了以馬天水、徐景賢等人為核心的陰謀集團。1977年，他出任上海市委書記，1978年，他被轉調到天津市委擔任高幹，1979年，他又回到北京市委出任一把手。
當時的北京正趕上知青回城的最高潮，約有三十多萬青年人無處可去，只能待業在家，這嚴重增加了社會負擔。林乎加為了解決這一問題，決定讓北京的所有高校進行擴招，吸收一部份青年人，延緩他們進入社會的時間；除此之外，他還組織青年人參加政府、事業單位、大型企業的招工考試，幫助他們獲得穩定的工作，讓他們有安身立業的資本。
1983年，林乎加自覺年事已高，無力再繼續履職，所以便申請退休，1984年，他離開中南海，前往西單定居，此後基本不再過問政務，一心過安穩、舒適的逍遙生活。2008年，北京舉行奧運會期間，林乎加親自到現場觀看了開幕式和閉幕式，各種眼花繚亂的表演讓他大為贊嘆，他不禁由衷的感慨道：中國確實強大、興盛起來了！
2015年，林乎加突然身患重病，被緊急送往醫院救治，許多昔日的同誌、戰友得知此事後，紛紛趕到醫院看望他，林乎加和他們一一握手，並真誠的感謝他們的心意和祝福。2018年，這位偉大的無產階級鬥士走到了人生的盡頭，時年102歲，家屬們遵照他的遺囑，從簡辦理了他的喪事，並將他的骨灰遷回山東老家安置，讓他落葉歸根！
