别津科夫告诉他：“日本是苏联远东地区的心腹之患，日本和德国的合作将严重威胁苏联的安全。必须摸清日本的计划，日本对德国的政策以及日本是否进攻苏联等问题。这一行动必须在日本本土上进行。我们必须在日本建立秘密情报小组，以便直接获取重要情报。”
稍微停一下后，别津夫接着说：“日本素以戒备间谍着名，要在这样一个复杂的条件下建立情报组织是一件十分困难的事，只有具备特殊索质和才能的人才能委以这样的重任，而你是唯一、当之无愧的人选。”
别尔津还告诉他、给他指派两名助手，也就是无线电技术专家克劳森和和一名报务人员，在佐尔格到达日本后，俩人将相继回到日本与他联系。
佐尔格接受任务以后，像往常一样需要到柏林找个合适的掩护身份。还是现成的记者身份最合适，他在中国装扮得满像回事，而且确实赢得了优秀记者的名声。
不过，由于佐尔格在《社会学杂志》和《农业报》上所发表的文章产生的巨大影响，他这次是以熟悉远东事务记者的声誉回到柏林的，好几家报纸和杂志都竟相前来与佐尔格签订合同。
佐尔格最后选定伪是影响很大的《柏林交易所报》、《每日展望》、《地理政治》和荷兰的《商业评论》四家报刊。
为了逃避审查，佐尔格重新了一张德国护照，使之从履历看来，他是从中国，而不是途经莫斯科返回德国的。同时他还准备了一些身份证明，确保不对他过去的历史追究太多。
1933年7月，一切准备就绪。佐尔格怀里揣着高级介绍信、记者证和崭新的德国护照登上了旅途，他先到法国港口瑟堡，从那里乘船经纽约到横滨，于1933年秋天抵达东京。
当佐尔格到达东京时，那里的政治气氛像台风即将来临的九月天气一样沉闷，暴力威胁慑人、人人自危。一年多以前，首相犬养毅在官邸遭一伙年轻军官的枪击。就在他到达前两个月，发生了一起企图刺杀全体内阁成员的阴谋事件。
在西方人眼里，日本确实是个荒诞的国家。它在理论上是由一位神化的天皇统治，但天皇并不能直接行使权力。因此，这个国家实际上由一个官僚机构集中掌管着权力，在重大方针政策上遵循某一军队所实行的路线。(
由于日本陆海空三军之间存在着嫌隙，尤其是陆军内部存在着尖锐的矛盾，因而它执行的是一条目标飘浮不定的、甚至是轻举妄动的路线。而这个民族则出名地坚韧、尊孔和勇于自我牺牲。他们规矩礼节往往叫人看不清他们的本来面目，但他们笑容可掬、彬彬有礼也使欧美客人感到安祥自在，有宾至如归之感。
佐尔格到达东京的第一件事是去访问德国大使馆。新任大使还没上任，佐尔格受到使馆高级人员的热情接待。
几个月前，希特勒政府开始执政。他刚从德国来，大家立刻围住他，抢着向他提出种种问题，迫不急特地想了解祖国的情况。
佐尔格从容不迫地回答他们的提问。他的话都很有份量，显示出他是个有地位的消息灵通人士。初次见面就给使馆官员们留下深刻印象，他们一见如故，谈得很投契。
第二天，佐尔格手里持着日本驻华盛顿使馆给外务省情报司司长天羽荣二的介绍信登门拜访。天羽是外务省数一数二的新闻发言人，红极一时。他每周主持一次记者招待会，只有各国驻东京的首席记者才有资格被邀请参加。
与天羽会面后，佐尔格被介绍给驻东京的许多知名的日本记者和外国记者。不久之后，东京小组的核心成员克劳森和报务人员陆续来到东京。他们不定期地与佐尔格交换和分析情报。
佐尔格还吸收了宫木佑德作为小组的第四名成员，宫木是位善于收集情报的“艺术家”，他总是孜孜不倦地搜集各种情报。
佐尔格认为，“假若我真能在日本开始我的学者生活的话，宫木倒是位理想的助手。”与此同时，佐尔格开始加入纳粹党，一年以后就得到批准。之后，他又提出，要求加入德国记者协会。
在佐尔格看来，作为一个外国人，即使像他那样是个德国人，要想直接打入神圣不可侵犯的日本政界去获取情报也是不可能的，必须从德国大使馆着手。为了获得藏在大使馆保险柜里的绝密材料，必须博得大使的绝对信任。这就是他的主攻方向。
他的信条是：不要把手伸向保险柜，而要让保险柜自动打开，让机密材料自动来到自己的办公桌上。
1933年底，新任大使到东京上任。在此之前，佐尔格给《每日展望》撰写的一篇有关日本的文章在德国颇受重视，大使在柏林曾仔细地阅读过。这位记者的博学多才，他的文章材料之翔实、见解之深邃、论述之深刻无不给大使留下了极其深刻的印象。
以后他又获悉，德国外交部并非完全根据大使馆的例行报告来对日本的政治状况作出判断，更多的倒是根据无所不晓，分析透彻精辟的佐尔格所写的文章。于是大使便决定，在起草致柏林的报告前先同深知日本国情的佐尔格交换资料和意见。
佐尔格与使馆人员的关系本来就搞得不错，这下他在人们心目中的地位更是灿若明星。
佐尔格与使馆武官尤金?奥特上校的交情给他帮了大忙。佐尔格到日本后不久，便拿着奥特的一位密友、《每日展望》的一位编辑的介绍