1936年的陜北農村，還處在極其封閉的狀態。憨厚的馬大虎出生在陜北的一個小山村里，因為家中貧困，馬大虎一直幫村里的胡大爺家放羊。馬大虎從小和錢家的蕊蕊定下娃娃親，但最近錢蕊蕊考上了大學，錢父嫌棄馬大虎沒本事，想要將她重新許配給在部隊里當參謀的宋老三，于是錢父便伙同宋老大一起逼馬大虎同意退婚，錢父提出賭約，讓馬大虎把宋老大家的驢撂倒，否則就要退婚。在眾人起哄下，馬大虎不知天高地厚的答應了，可是三個回合下來，馬大虎不僅沒把驢撂倒，反而被驢呲了一臉尿，遭到了全村人的嘲笑，從此馬大虎得名綽號“二毛驢”。本來宋老大還想借機再戲弄馬大虎一把，這時錢蕊蕊出面幫大虎解了圍，不過馬大虎和錢蕊蕊的婚事徹底黃了。

錢蕊蕊在全村人的歡送下前往省城西安上學，路過馬家時，蕊蕊本想去跟大虎告別，但被父親制止了，馬父看到這一幕，想起了錢父來自家退婚的場景，頓時覺得老臉無光。馬大虎幫胡大爺將羊趕回胡家，胡大爺把大虎叫了過來，原來胡大爺在省城部隊里當官的兒子胡志清來信了，胡大爺不識字，就想著讓大虎幫自己讀信。雖然大虎識字，但是識字并不多，他囫圇的將信讀了下來，結果將胡志清信里的意思曲解了，本來胡志清來信說因為自己立下戰功，蔣委員長嘉獎自己兩萬大洋，被自己用在了興辦學校上，結果大虎告訴胡大爺那兩萬塊錢是蔣委員長給自己養老的，胡大爺聽完不干了，當即決定去省城找兒子要錢。

胡大爺沒出過門，于是此行西安，胡大爺決定帶上大虎，這可把大虎高興壞了。很快，兩個人便出發來到了車站，結果卻坐錯了火車，幾經周折，大虎和胡大爺總算是坐上了去西安的火車，在火車上，大虎遇到了一群國民黨軍官，大虎還跟這些國民黨攀談起來，胡大爺無意間告訴這些國民黨軍官自己的兒子是胡志清，而這些國民黨軍官恰好是胡志清的手下，領頭的便是胡志清手下的張學普營長，張學普等人當然不認為眼前的這個土老帽是自己師長的父親，認為他們是騙子，本來大虎想要拿出胡志清寄回家的那封信來證明，結果這個時候大虎才發現那封信竟然沒帶，于是張學普便對大虎和胡大爺進行了搜查。這個時候有個名叫黃飚的年輕人站出來發表自己的看法，張張學普決定這個黃飚頗有見識，于是邀請他參軍，黃飚正有這個打算，于是便答應了。

胡志清在西安焦急的等待著父親的到來，他知道父親西安就是為了要錢，他已經準備好了歡迎儀式，也是想給父親一個下馬威。被當成騙子的大虎和胡大爺在西安下了車后便沒有見到胡志清派來接自己的人，而張學普覺得大虎適合當兵，于是把大虎和胡大爺一起帶回了部隊，他還打算讓胡大爺去部隊上喂馬做飯。直到在回軍營的路上，張張學普這才確定胡大爺真的是胡志清師長的父親，張張學普等人連連討好胡大爺，他們一路把胡大爺背著護送到了軍營。

來到軍營，胡大爺終于見到了兒子胡志清，然而見面之后老爺子第一件事情就是向兒子討要那兩萬大洋，胡志清這也才知道原來是大虎念錯了信，這才造成了這場誤會。不過此行大虎護送胡大爺來西安也算有功，胡志清大方的給了大虎五十塊錢，這可把大虎給樂壞了。第二天胡志清帶著胡大爺和大虎在部隊觀看訓練，大虎趁機在胡志清面前告了張學普一狀，張學普在胡志清面前連頭都快抬不起來了。

在新兵的訓練場上，大虎對他們的訓練器械非常好奇，一不留神從器械上摔了下來，在胡志清那里當參謀的宋老三，是大虎的老鄉，以前就總欺負大虎，到了這里，他還是很針對大虎，大虎則準備讓宋老三看看自己的厲害。