张?督立即表示赞同，当即和石勒一起偷偷投靠了刘渊，刘渊任命张?督为亲汉王，冯莫突为都督部大，任命石勒为辅汉将军、平晋王，以统率张?督、冯莫突等人。为了进一步拉拢张?督，石勒拜张?督为兄长，赐姓石氏，名叫会，意为张?督是自己遇到的知己。

归顺刘渊后，石勒见乌丸人伏利度也有兵众二千，驻守在乐平坞堡，刘渊屡次招募而不能使他归顺。石勒假装在刘渊手下犯有罪过，因而投奔了伏利度。伏利度非常高兴，与石勒结为兄弟，并派石勒率诸胡人四出劫掠，所向无敌，于是，众胡兵都畏服石勒。

石勒知道众心已经归向自己，于是乘机抓住伏利度，并告诉众胡兵说:“现在起大事，我与伏利度谁适合作主帅？”众胡兵都推举石勒。石勒于是释放伏利度，率领伏利度的部下归顺了刘渊。刘渊加封石勒督山东征讨诸军事，把张伏利度的部众也交给石勒指挥。

永嘉二年（公元308年）正月，汉王刘渊派遣抚军将军刘聪等十名将军向南占据太行，攻壶关（今山西省长治市壶关县），派辅汉将军石勒等十名将军所统七千为前锋都督向东到赵、魏地区。刘琨派护军黄肃等人救援壶关，石勒在封田击败黄肃，并将黄肃杀死，石勒顺利攻陷壶关。

刘元海命令石勒与刘零（资治通鉴作“刘灵”）、阎罴（读作匹）等七位将领，率兵三万攻击魏郡、顿丘诸堡垒。

刘元海暂任石勒为垒主将军、都尉，挑选强壮的五万人作为兵士，其余老弱的都安居如故，军队没有私自掠夺的现象，百姓们都怀念他。

西晋怀帝永嘉二年十月甲戍初三（公元308年11月2日），刘渊称帝，年号永凤，派遣使者授予石勒持节、平东大将军，校尉、都督、平晋王封号如故。

公元308年，石勒率军进攻邺城，邺城守军溃散，和郁（西晋官员，金谷二十四友之一，历任中书令，尚书左右仆射，累官至尚书令）逃到卫国。石勒又在三台（邺城三台，即金凤台、铜雀台、冰井台）活捉魏郡太守王粹（西晋大臣，同为金谷二十四友之一，成都王司马颖部下都尉，后任魏郡太守）。

石勒在中原地区横行无忌，进攻赵郡，斩杀冀州西部都尉冯冲。进攻中丘，斩杀乞活将军赦亭、田禋。

刘元海因功授予石勒安东大将军、开府，设置左右长史、司马、从事中郎。

西晋怀帝永嘉三年（公元309年）夏，石勒又进攻钜鹿（郡治巨鹿，在今河北省邢台市平乡县）、常山（郡治在今河北省石家庄市正定市），斩杀二郡守将。又攻陷冀州（辖安平、赵国、巨鹿、平原、渤海、章武、河间、高阳、博陵、清河、中山、常山、乐陵等十三个郡）郡县堡垒百余个，兵众达到十余万，将其中的名人贤士集中在一起，称为君子营。