就在核武器尚处于基础理论研究时，中国领导人已经开始考虑其运载工具——导弹问题了。1956年1月12日彭德怀约见苏联军事总顾问彼得鲁舍夫斯基时提出，中共中央政治局开会，打算研制火箭武器，希望苏联提供这方面的援助。但由于没有得到莫斯科的指示，彼得鲁舍夫斯基没有表态。1月20日，彭德怀主持军委第五十七次例行办公会议，就研究和制造导弹问题进行了讨论。彭德怀说：“目前即使苏联不帮助，我们也要自己研究。苏联帮助，我们就去学习。”
　　与此同时，解放军训练总监部代部长叶剑英、副总参谋长陈赓和刚从美国归来的导弹专家钱学森也提出了中国要自行研制导弹的问题。
　　3月14日，周恩来主持会议，听取了钱学森关于中国发展导弹技术的设想。会议决定，成立导弹航空科学研究方面的领导机构——国防部航空工业委员会，由聂荣臻任主任。
　　5月10日，聂荣臻拿出了《关于建立中国导弹研究工作的初步意见》。对此，中央军委5月26日召开会议进行了专题研究。周恩来出席中共中央军委会议，代表中共中央宣布发展导弹武器的决定。并指出，导弹研究可以先突破一点，不能等待一切条件具备。要立即抽调力量，组织机构，培养人才。
　　7月，经军委批准，以钟夫翔为局长的导弹管理局(即国防部五局)正式成立。10月8日以钱学森为院长的导弹研究院（即国防部五院）成立。至此，中国的导弹研究事业开始走上轨道。正是原子弹与导弹研究的齐头并进，不仅为后来的两弹结合试验赢得了宝贵的时间，而且为导弹发射距离的突破奠定了基础。因为原子弹必须由导弹打出去，能打多远也要由导弹的射程决定。
　　7月28日，周恩来向中央提出《关于原子能建设问题》的报告，将中国原子能工业建设与发展问题，再次向毛泽东和中共中央作了书面报告，报告对原子能工业的建设速度和投资问题、技术干部问题、保证完成任务应采取的一些措施做了详细说明，并建议成立“原子能事业部”。
　　11月16日，第一届全国人大常委会第五十一次会议决定，设立第三机械工业部，主管中国核工业的建设和发展。之前，就搞管理色彩强些的原子能委员会好些，还是单独成立原子能工业部这样的职能部门更有利于开展工作，周恩来先后征求了薄一波、刘杰和科学院的张劲夫等多人的意见，最终决定成立原子能工业部。但直接用“原子能工业部”这样的名称太显眼了，苏联保卫专家说，不利于保密，所以就用了个比较模糊的名称，第三机械工业部，1958年2月11日又改称为二机部（1982年5月国务院机构调整时改为核工业部）。部长由宋任穷担任，刘杰为常务副部长，袁成隆、刘伟、雷荣天和钱三强是副部长。这一年的12月，国务院还批准了薄一波起草的《关于1956—1967年发展原子能事业计划大纲（草案）》。
　　光有几个部长还不行啊，要调不少人进来才成。刘少奇说，凡是三机部需要的人、凡是提出来要的人，要无条件地调给三机部。陈毅也讲，我们不能议而不决，要谁就应该给谁。薄一波还就此专门召集会议，要求有关的部长支援原子能工业事业。
　　选定玉门为原子能联合企业厂址中苏之间的原子能工业援助协议达成以后，在继续勘探铀矿的同时，开始考虑建设核工厂。
　　1956年底，苏联选厂专家陆续来华，与中方进行了仔细研究。选厂原则参考苏联的经验，就是“安全、隐蔽，交通方便，水电充足”，并兼顾核工业的未来发展，也就是要有大一些的空间。可在上世纪50年代，能同时满足上述条件的地方确实是凤毛麟角。结果跑了两个多月、好几个省自治区，才在兰州经中央协调后，将一处飞机制造厂改成了铀浓缩厂。选定玉门为原子能联合企业的厂址。核燃料元件厂则定在了包头。
　　1956年波兰和匈牙利事件发生后，中国给予赫鲁晓夫很大支持。于是，赫鲁晓夫“在向中国提供复杂的技术帮助方面再让了一步”。
　　1957年3月，三机部制定了第二个五年计划，要求在1962年以前在中国建成一套完整的、小而全的核工业体系。3月底，中苏代表在莫斯科签订了《关于在特种技术方面给予中华人民共和国援助的议定书》。
　　1957年6月，赫鲁晓夫在同马林科夫、卡冈诺维奇、莫洛托夫进行党内斗争中，迫切希望能得到中共的支持。双方商定，中国代表团将在1957年9月赴莫斯科谈判。但赫鲁晓夫十分希望毛泽东能亲自到莫斯科，出席在莫斯科举行的共产党和工人党会议。毛泽东提出只有签订了向中国转让生产核武器及其运载工具的材料和模型的军事技术协议后，他才前往莫斯科。
　　1957年10月15日，中苏正式签署了《关于生产新式武器和军事技术装备以及在中国建立综合性原子能工业的协定》(简称《国防新技术协定》)，苏联允诺在核武器方面给予中国相应的帮助。
　　之后，三机部即着手组建研制生产原子弹的机构——核武器局（即九局）。调西藏军区副司令员兼参谋长李觉任九局局长。
　　1958年6月，苏联援助的实验性重水反应堆和回旋加速器建造成功。得此消息后，毛泽东在6月21日中央军委扩大会议上充满信心地说了下面一番话：“原子弹就是这么大的东西，没有那东西，有人就说你不算数。那么好吧，我们就搞一点吧。搞一点原子弹、氢弹、洲际导弹，我看有十年工夫完全可能。”
　　苏联撤走全部援华专家，激起了毛泽东的雄心然而好景不长，从1958年下半年起，中苏之间分歧和矛盾的逐渐显露。到1959年6月20日，苏共致信中方，声称由于正进行禁止核试验的谈判，暂缓提供原子弹教学模型和图纸。一年后，撤走了全部援华专家，并停止一切设备和资料的供应。
　　1959年6月，苏联政府正式拒绝再向中国提供协议规定的原子弹样品和生产原子弹的技术资料。即使这样，聂荣臻仍多次和苏方交涉，希望苏方执行援助条款。但这时已不是通过苏联专家组催询，而是通过外交渠道，这也说明两国关系不再顺畅。
　　在1959年7月的庐山会议上，周恩来向宋任穷、刘杰传达了中共中央的决策：“自己动手，从头摸起，准备用八年时间搞出原子弹。”并提出“独立自主、自力更生、立足国内”的方针，要求二机部缩短战线，集中力量解决最急需的问题，并决定调动各地区、各部门的力量支持原子能事业。
　　苏联撕毁合同的行为，更激起了毛泽东的雄心，他说：“敌人有的，我们要有；敌人没有的，我们也要有，原子弹要有，氢弹也要快。管他什么国，管他什么弹，原子弹、氢弹我们都要超过。”
　　1960年1月，聂荣臻在上海出席中共中央政治局扩大会议时，就发言说：“苏联很有可能在不长的时间内，单方面终止与中国签订的国防新技术协定，米格—21飞机和导弹的技术资料，苏联近来都卡住不给了。看来，苏联的援助肯定是靠不住了。”
　　他们的基本意图是，在尖端武器装备的科研上，使中国与他们保持相当的距离，只同意我们仿制苏联即将停产甚至已经停产了的装备，使中国长期停留在仿制阶段，处于依附地位。
　　怎么办？关键要有自己的专家队伍。不管苏联愿不愿意帮助，帮助有多大，中国必须主要依靠自己的力量，来发展国防尖端事业。为此，聂帅大声疾呼。中共中央于3月初作出如下决定：“技术干部调配应以尖端科研需要为重点，尽量保证，满足需要，其他项目所需如果与此有矛盾，应该让路。”
　　3月30日，《关于迅速完成提前选调国防部五院应届大学毕业生的通知》发出。《通知》要求各省市委指定组织部长亲自负责，进行挑选审查，按原定数额迅速选齐。这样，数千名大、中专毕业生，先后投身到了导弹研制技术队伍的行列。
　　“在祖国的地平线上，飞起了自己制造的第一枚导弹”
　　1960年3月，我国决定在西北导弹试验基地进行苏制尔—2型近程地对地导弹的发射试验。中央军委对此极为重视，因为用的虽然是苏联导弹，但试验人员都是中国自己的专家。聂荣臻特意强调：“要安全稳妥，确保顺利完成任务。宁可慢一些，一定要好一些。”
　　就在准备试验过程中，苏方提出要用他们提供的导弹试验，必须经过苏联国防部的同意。经过政府间的交涉，苏联勉强同意，却提出导弹所用的燃料中国产的液氧不合格，要向苏联订购。可中国订购后，苏方又以种种借口拖延交货时间，5月拖到6月，6月又拖到7月。最后，苏联国防部电告中国国防部，因西伯利亚液氧厂发生不可抗拒的事故，无法履行合同。中国决定就用自己的液氧发射苏联导弹。此后，中国的科技工作者采用土法上马、土洋结合，又完成了三种推进剂的加注工作。其中一种推进剂活性极大，遇到铁、铜等贵金属容易分解，甚至爆炸，遇到棉花、木头等物质即会燃烧。
　　聂荣臻在1960年7月3日，向中共中央并毛泽东提交了一份报告，就“自力更生”发展国防科技等问题，提出了自己的看法。报告说：“我们一定要争一口气，有可能这样一逼，反而成为发展我们科学技术的动力，更加坚决地在科学技术上力争独立自主，依靠自己，而不是指望外援。只有这样，我们在国防和经济建设上才能完全主动，而不至于受制于人。”
　　1960年11月4日，“1059”地对地导弹由技术阵地转运到发射阵地。下午，聂帅在赵尔陆、陈士榘等人陪同下，乘专列到达东风基地。聂荣臻与前来迎接的东风基地司令员孙继先、政委栗在山、副司令员李福泽等握手问好。聂荣臻高兴地说：“你们的工作有成绩，在短短两年多的时间里，建成了技术厂房、发射阵地、飞机场、铁路、电厂和生活设施。在苏联专家撤走不到一个月，就胜利执行了试验任务，要再接再厉，把我们自己制造的导弹打好。”
　　第二天凌晨6时，聂帅冒着零下20℃的严寒，和随行人员一起赶到发射阵地。执行发射任务的基地一中队列队集合，向聂帅报告。聂荣臻快步走上前，和每位官兵紧紧握手，并叮嘱大家：“一定要沉着、冷静，不要紧张。”
　　8时，孙继先向聂帅报告：导弹发射的一切准备工作就绪！紧接着，李福泽向聂帅敬礼，并大声报告：“报告元帅，导弹发射试验工作全部准备完毕，可否进入一小时准备？”
　　“同意！”聂荣臻大声命令。
　　上午9时，点火发射。
　　不久，弹着区就传来报告，弹头命中目标，导弹第一次飞行试验圆满成功。
　　当天下午，在东风基地第一招待所简陋的小礼堂，举行了祝捷宴会。聂荣臻高举酒杯，激动地向参加试验的科技人员和官兵祝酒：“今天，在祖国的地平线上，飞起了我国自己制造的第一枚导弹，这是我国军事装备史上一个重要的转折点。”
　　这个转折点预示着中国的科技队伍是靠得住的，独立自主的路是走得通的。
　　聂帅力驳“下马论”
　　不久，“大跃进”造成的大饥荒开始蔓延核基地。库存的食物吃光后，部队开始自救，派出小分队采集树叶、野菜，猎获黄羊。为此，聂帅要求海军、北京军区和广州军区，从他们的食品供应中，挤出25000公斤大豆和罐装食品，运往核基地救急。
　　之后，在核武器研制方面出现的“上马”、“下马”争论，很快反映到了中央高层，在1961年7月的北戴河国防工业会议上，双方互不相让。一开始，聂帅因有公务在身，并没有到会。到7月下旬，聂帅赶到北戴河时，“下马”的观点似已占了上风，聂帅深感不安。于是，就找一些人座谈，一方面了解情况，另一方面也是为了做一做一些同志的思想工作。他的态度很明确，近程地对地导弹已试验成功，自行设计的中近程导弹正在进行研制，原子弹已开始基本理论和关键技术的攻关。只要齐心协力，加上政策、措施得当，经过艰苦的努力，争取三年或再长一些的时间，突破“两弹”技术是完全可能的。
　　座谈之后，聂帅又在会上作了一个比较系统的发言，主要说明为什么不能“下马”的原因。他说：“第一，自力更生，‘两弹’为主，导弹第一，这是中央确定的方针，不能动摇。第二，针对搞‘两弹’影响了常规武器装备部队，他说，‘两弹’为主，并没有排除常规武器的发展，我们应该继续两条腿走路，既搞常规，又搞‘两弹’。”