《劳动法》第九条规定：

用人单位招用劳动者，不得扣押劳动者的居民身份证和其他证件，不得要求劳动者提供担保或者以其他名义向劳动者收取财物。

公司在小陈入职时把他毕业证扣押在手上，本身就不合法了，到时再扣着不给，做法更加不可取。

正确的做法可以是，公司必须通知小陈前来办理离职手续 ，让小陈签署辞职申请书或者其他证明小陈单方要求离职的书面文件，并把该给的工资算给他。如果小陈拒绝来公司办理离职手续的，公司应当向小陈发出限期返岗通知书，该限期不得低于公司规章制度规定的员工旷工公司得以开除员工的天数，在规定的限期内小陈不返岗的，公司再向小陈发出解除与终止劳动合同通知书。如果公司有证据证明小陈的擅自离职给公司照成损失的，可以追究小陈的赔偿责任。