為落實(shí)《北京市加快建設(shè)具有全球影響力的人工智能創(chuàng)新策源地實(shí)施方案（2023—2025年）》和《北京市促進(jìn)通用人工智能創(chuàng)新發(fā)展的若干措施》，加快推動(dòng)本市人工智能領(lǐng)域顛覆性技術(shù)創(chuàng)新，提升人工智能技術(shù)的核心競(jìng)爭(zhēng)力，現(xiàn)征集顛覆性技術(shù)方向儲(chǔ)備課題。

一、征集方向

任務(wù)1：面向新型神經(jīng)網(wǎng)絡(luò)架構(gòu)的顛覆性技術(shù)創(chuàng)新研究

研究?jī)?nèi)容：面向下一代通用人工智能技術(shù)，探索非Transformer的新型神經(jīng)網(wǎng)絡(luò)架構(gòu)，實(shí)現(xiàn)顛覆性的神經(jīng)網(wǎng)絡(luò)架構(gòu)創(chuàng)新。給出不同模型架構(gòu)泛化學(xué)習(xí)能力的理論證明，研究模型訓(xùn)練的穩(wěn)定性，分析模型在大規(guī)模預(yù)訓(xùn)練場(chǎng)景下的計(jì)算復(fù)雜度并進(jìn)行技術(shù)驗(yàn)證。

研究目標(biāo)：自主開(kāi)發(fā)新型神經(jīng)網(wǎng)絡(luò)架構(gòu)，實(shí)現(xiàn)模型算法，并在不小于100億參數(shù)規(guī)模驗(yàn)證模型有效性，在同等數(shù)據(jù)規(guī)模、同等參數(shù)規(guī)模的情況下超過(guò)當(dāng)時(shí)的SOTA（在通用測(cè)試集如 GPQA、LCB、AIME 25等，代碼測(cè)試集如SWE-Bench等，智能體測(cè)試集如BrowseComp等，超過(guò)當(dāng)時(shí)最好的同尺寸Transformer架構(gòu)模型）；開(kāi)源模型架構(gòu)和權(quán)重，在國(guó)際上引起關(guān)注（如：HuggingFace的Trending榜單進(jìn)入前5）；面向大規(guī)模預(yù)訓(xùn)練場(chǎng)景，分析證明模型的泛化能力，分析計(jì)算復(fù)雜度，撰寫(xiě)有影響力的技術(shù)報(bào)告等。

任務(wù)2：面向 Transformer架構(gòu)大模型的計(jì)算優(yōu)化方法研究

研究?jī)?nèi)容：針對(duì)現(xiàn)有模型計(jì)算復(fù)雜度高、推理效率低等問(wèn)題, 改進(jìn)Transformer架構(gòu)，提升計(jì)算效率。探索高效注意力機(jī)制，突破自注意力在長(zhǎng)序列建模中的計(jì)算瓶頸；設(shè)計(jì)更高效的稀疏混合專(zhuān)家架構(gòu)，實(shí)現(xiàn)更高的稀疏率；研究以擴(kuò)散語(yǔ)言模型為代表的非自回歸建模方法，提升模型的雙向建模能力并支持高效并行推理；提出高效準(zhǔn)確的量化方法，進(jìn)一步降低權(quán)重、激活、梯度、注意力等張量所需的位寬。

研究目標(biāo)：研發(fā)Transformer架構(gòu)的改進(jìn)優(yōu)化方式。選擇研究?jī)?nèi)容中的一種、多種或新的技術(shù)路線(xiàn)，至少提出一種優(yōu)化方案，在保持計(jì)算精度及通用問(wèn)題求解能力的同時(shí)，大幅度提升模型的計(jì)算速度、降低計(jì)算資源消耗。相比現(xiàn)有充分優(yōu)化過(guò)的模型架構(gòu)及系統(tǒng)，實(shí)現(xiàn)推理吞吐量提升100%以上、訓(xùn)練速度提升50%以上。開(kāi)源相關(guān)算法并撰寫(xiě)技術(shù)報(bào)告，在國(guó)際上引起廣泛關(guān)注。（申請(qǐng)單位可自行設(shè)計(jì)指標(biāo)，要求評(píng)估指標(biāo)是在主流硬件平臺(tái)和典型計(jì)算場(chǎng)景下，對(duì)不小于100億參數(shù)規(guī)模模型的訓(xùn)練效率提升，計(jì)算精度評(píng)測(cè)要求選用行業(yè)通用評(píng)測(cè)基準(zhǔn)。）

任務(wù)3：面向多模態(tài)模型的模態(tài)融合與統(tǒng)一架構(gòu)研究

研究?jī)?nèi)容：針對(duì)多模態(tài)模型中不同模態(tài)間的信息交互及跨模態(tài)語(yǔ)義理解的挑戰(zhàn), 深入探究多模態(tài)數(shù)據(jù)的特征表示、關(guān)聯(lián)映射及語(yǔ)義整合機(jī)制, 探索在統(tǒng)一單個(gè)模型（例如自回歸、擴(kuò)散及其融合等統(tǒng)一架構(gòu)）中端到端實(shí)現(xiàn)對(duì)文本、圖像、音頻、視頻等多種模態(tài)數(shù)據(jù)的深度融合與對(duì)齊方法，揭示其對(duì)應(yīng)的多模態(tài)尺度縮放定律，進(jìn)一步提升大模型的智能水平。

研究目標(biāo)：在不小于100億參數(shù)規(guī)模下，實(shí)現(xiàn)比相同參數(shù)量、計(jì)算量的單一模態(tài)模型相似或更優(yōu)的模型能力和尺度縮放潛力。開(kāi)源模型架構(gòu)和權(quán)重，在國(guó)際上引起關(guān)注（如：HuggingFace的Trending榜單進(jìn)入前5）。（申請(qǐng)單位可自行設(shè)計(jì)具體指標(biāo)，要求評(píng)估指標(biāo)是在主流硬件平臺(tái)和典型計(jì)算場(chǎng)景下，計(jì)算精度評(píng)測(cè)要求選用行業(yè)通用評(píng)測(cè)基準(zhǔn)。）

任務(wù)4: 大語(yǔ)言模型的記憶機(jī)理與方法研究

研究?jī)?nèi)容: 探索精準(zhǔn)高效的大模型記憶（Memory）機(jī)理。研究包括但不限于大模型中精準(zhǔn)、高效的上下文（Context）管理技術(shù)，突破傳統(tǒng)提示詞工程設(shè)計(jì)范疇，圍繞用戶(hù)指示（Prompt）、歷史知識(shí)檢索（RAG）、個(gè)性化記憶（Memory）及即時(shí)工具調(diào)用（Tool Use）等四大要素，建立更加高效、精準(zhǔn)的上下文管理框架。探索上下文選擇與信息壓縮策略，解決長(zhǎng)對(duì)話(huà)場(chǎng)景下上下文處理低效問(wèn)題；研究長(zhǎng)期記憶與檢索增強(qiáng)生成的協(xié)同機(jī)制，提升模型跨會(huì)話(huà)的知識(shí)更新和推理能力; 探索上下文管理與工具調(diào)用的聯(lián)動(dòng)機(jī)制，強(qiáng)化模型的自主調(diào)用工具并整合工具輸出能力。

研究目標(biāo)：實(shí)現(xiàn)模型對(duì)長(zhǎng)時(shí)、個(gè)性化交互內(nèi)容和外部知識(shí)的高效檢索、篩選和整合，避免信息冗余和計(jì)算浪費(fèi)。在 LoCoMo、LongMemEval、HotpotQA、Musique 等長(zhǎng)時(shí)記憶、跨會(huì)話(huà)評(píng)測(cè)、多跳查詢(xún)等基準(zhǔn)上，實(shí)現(xiàn)回答質(zhì)量較當(dāng)時(shí)最優(yōu)技術(shù)的顯著提升，同時(shí)不增加推理成本。在效果與當(dāng)時(shí)最優(yōu)技術(shù)保持持平的前提下，顯著降低上下文管理的計(jì)算開(kāi)銷(xiāo)（例如上下文處理的計(jì)算資源消耗降低50%以上）。開(kāi)源相關(guān)算法并撰寫(xiě)技術(shù)報(bào)告，在國(guó)際上引起廣泛關(guān)注。

任務(wù)5: 大模型強(qiáng)化學(xué)習(xí)的尺度縮放范式研究

研究?jī)?nèi)容：建立適用于大模型的通用強(qiáng)化學(xué)習(xí)訓(xùn)練范式，設(shè)計(jì)支持大規(guī)模交互和高效獎(jiǎng)勵(lì)傳遞的算法框架，系統(tǒng)研究計(jì)算量、交互輪次和獎(jiǎng)勵(lì)密度等關(guān)鍵維度上的尺度縮放特性，探討數(shù)據(jù)生成策略（如合成軌跡、自我演化環(huán)境）與模型能力提升的耦合機(jī)制，探索開(kāi)放任務(wù)和不確定場(chǎng)景下強(qiáng)化學(xué)習(xí)縮放特性與獎(jiǎng)勵(lì)策略設(shè)計(jì)。

研究目標(biāo)：在不小于100億參數(shù)規(guī)模下，模型在數(shù)理等復(fù)雜任務(wù)中的準(zhǔn)確率等指標(biāo)比同規(guī)模有監(jiān)督微調(diào)模型提升 30% 以上，歸納強(qiáng)化學(xué)習(xí)場(chǎng)景的大模型尺度縮放規(guī)律，明確參數(shù)規(guī)模、訓(xùn)練輪次、交互步長(zhǎng)和獎(jiǎng)勵(lì)密度與性能提升之間的定量關(guān)系。開(kāi)源相關(guān)算法并撰寫(xiě)技術(shù)報(bào)告，在國(guó)際上引起廣泛關(guān)注。

任務(wù)6：大模型的開(kāi)放域自主學(xué)習(xí)方法研究

研究?jī)?nèi)容：探索與當(dāng)前大模型“預(yù)訓(xùn)練-后訓(xùn)練”模仿學(xué)習(xí)范式不同的新型學(xué)習(xí)方法。針對(duì)當(dāng)前大模型架構(gòu)復(fù)雜度高，無(wú)法對(duì)開(kāi)放域新需求、新任務(wù)與新知識(shí)進(jìn)行快速適應(yīng)學(xué)習(xí)的局限性，探索實(shí)時(shí)學(xué)習(xí)機(jī)制，構(gòu)建測(cè)試時(shí)參數(shù)動(dòng)態(tài)更新機(jī)制，實(shí)現(xiàn)對(duì)復(fù)雜指令與多樣化需求的有效記憶與適應(yīng)；提高模型泛化能力，研究面向多樣化環(huán)境反饋的強(qiáng)化學(xué)習(xí)框架，實(shí)現(xiàn)模型在無(wú)人工監(jiān)督的復(fù)雜開(kāi)放環(huán)境中的自主探索與持續(xù)優(yōu)化；探索面向大模型的元學(xué)習(xí)范式，使模型能夠從知識(shí)、樣例、規(guī)則等多形式數(shù)據(jù)中進(jìn)行高效學(xué)習(xí)，具備快速泛化到新任務(wù)的能力。

研究目標(biāo)：自主研發(fā)面向大模型的高效自主學(xué)習(xí)算法。至少提出一種創(chuàng)新訓(xùn)練方法，使得大模型能夠在測(cè)試階段、無(wú)需大量人工標(biāo)注數(shù)據(jù)的前提下，針對(duì)新任務(wù)實(shí)現(xiàn)快速學(xué)習(xí)與適應(yīng)，相比基線(xiàn)模型在目標(biāo)任務(wù)上實(shí)現(xiàn)30%以上的性能提升，顯著降低對(duì)標(biāo)注數(shù)據(jù)的依賴(lài)程度。開(kāi)源相關(guān)算法并撰寫(xiě)技術(shù)報(bào)告，在國(guó)際上引起廣泛關(guān)注。

任務(wù)7：芯算一體協(xié)同設(shè)計(jì)的顛覆性芯片研制

研究?jī)?nèi)容：針對(duì)當(dāng)前模型權(quán)重和芯片帶寬制約、影響深度思考及代碼生成等長(zhǎng)生成場(chǎng)景效果等問(wèn)題，探索融合芯片（核心硬件）與算法（軟件）的下一代人工智能計(jì)算模式。融合芯片和軟件協(xié)同設(shè)計(jì)全新的大模型訓(xùn)練推理算法，優(yōu)化內(nèi)存使用，通過(guò)異步算法調(diào)度減少芯片間通信需求，提升模型的訓(xùn)練與推理效率；設(shè)計(jì)專(zhuān)門(mén)為大模型計(jì)算需求的芯片，支持高效執(zhí)行矩陣乘法和其他大模型緊密相關(guān)的計(jì)算任務(wù)；通過(guò)異步集成減少芯片通信，同時(shí)支持模型算法的快速迭代。

研究目標(biāo)：自主研發(fā)低比特混合量化算法；研制一款大帶寬、面向2/4/8 比特矩陣運(yùn)算優(yōu)化的計(jì)算芯片，通過(guò)國(guó)產(chǎn)工藝實(shí)現(xiàn)量產(chǎn)，對(duì)比當(dāng)前業(yè)界通用的大模型推理方案，生成速度提升 5 倍以上；相關(guān)的量化技術(shù)和芯片作為軟硬一體方案推廣，廣泛提升國(guó)內(nèi)大模型各使用場(chǎng)景的效率。

二、申報(bào)要求

（一）申報(bào)課題

1.申報(bào)課題具有明確的技術(shù)路線(xiàn)，較強(qiáng)的技術(shù)影響力和產(chǎn)業(yè)帶動(dòng)力，具有清晰、可量化的目標(biāo)及考核指標(biāo)。

2.申報(bào)課題具有明顯的技術(shù)突破，課題成果應(yīng)服務(wù)于國(guó)家戰(zhàn)略和實(shí)體經(jīng)濟(jì)，有利于推動(dòng)人工智能相關(guān)技術(shù)產(chǎn)品自主創(chuàng)新發(fā)展。

3.任務(wù)1-6周期原則上不超過(guò)2年，任務(wù)7周期原則上不超過(guò)3年，鼓勵(lì)在各項(xiàng)指標(biāo)達(dá)成的情況下提前結(jié)項(xiàng)，對(duì)于成果優(yōu)異的課題可延續(xù)支持。

（二）申報(bào)單位

1.申報(bào)主體應(yīng)為在北京市注冊(cè)，具有獨(dú)立法人資格的企業(yè)或高校院所，擬來(lái)京發(fā)展的京外主體需在立項(xiàng)支持前完成在北京市注冊(cè)。申報(bào)單位需具備完善的財(cái)務(wù)、檔案和保密管理制度。

2.每個(gè)企業(yè)本年度限申報(bào)1項(xiàng)課題（含聯(lián)合申報(bào)課題）；申報(bào)單位需符合《北京市科技計(jì)劃項(xiàng)目(課題)管理辦法》和《北京市科技計(jì)劃管理相關(guān)責(zé)任主體信用管理辦法》要求;申報(bào)單位和團(tuán)隊(duì)?wèi)?yīng)遵守科研倫理準(zhǔn)則，符合科研誠(chéng)信管理要求，承諾所提交材料真實(shí)性。

3.申報(bào)單位為企業(yè)的，應(yīng)明確說(shuō)明課題投資總額和資金來(lái)源，提供相應(yīng)配套經(jīng)費(fèi)，配套經(jīng)費(fèi)與財(cái)政科技經(jīng)費(fèi)比例不低于2:1。

（三）申報(bào)負(fù)責(zé)人

1.申報(bào)負(fù)責(zé)人應(yīng)為申報(bào)單位的正式在職人員，具有良好的職業(yè)道德，無(wú)不良行為記錄。在課題申報(bào)時(shí)，負(fù)責(zé)人在課題實(shí)施期內(nèi)在職，具有領(lǐng)導(dǎo)和組織開(kāi)展創(chuàng)新性研究的能力，身體健康并能切實(shí)履行職責(zé)，有充足時(shí)間保證課題順利實(shí)施。

2.申報(bào)負(fù)責(zé)人需符合《北京市科技計(jì)劃項(xiàng)目（課題）管理辦法》和《北京市科技計(jì)劃管理相關(guān)責(zé)任主體信用管理辦法》要求。申報(bào)負(fù)責(zé)人作為負(fù)責(zé)人同期承擔(dān)北京市科委、中關(guān)村管委會(huì)課題原則上不超過(guò)1項(xiàng)，作為主要參加人員同期參與課題數(shù)（含擔(dān)任負(fù)責(zé)人的課題）原則上不超過(guò)2項(xiàng)。

三、申報(bào)方式

1.采取在線(xiàn)申報(bào)方式，申報(bào)單位通過(guò)法人一證通登錄“北京市科技計(jì)劃綜合管理平臺(tái)-在線(xiàn)服務(wù)系統(tǒng)”（https://mis.kw.beijing.gov.cn/）更新本單位信息后（以自然人賬號(hào)申報(bào)的，需綁定單位后再填報(bào)），點(diǎn)擊“項(xiàng)目申報(bào)”，選擇“關(guān)于公開(kāi)征集2025年人工智能顛覆性技術(shù)方向儲(chǔ)備課題的通知”，點(diǎn)擊申報(bào)方向，完成課題申報(bào)材料填寫(xiě)，主要包括：課題實(shí)施方案、項(xiàng)目課題簡(jiǎn)表、負(fù)責(zé)人及申報(bào)單位承諾書(shū)（需簽字蓋章），并上傳申報(bào)課題所需的其他證明性材料?；虻卿洷本┦腥嗣裾T(mén)戶(hù)網(wǎng)站“政策兌現(xiàn)”欄目（https://zhengce.beijing.gov.cn）選擇相對(duì)應(yīng)的項(xiàng)目進(jìn)行申報(bào)。

2.申報(bào)系統(tǒng)將于2025年7月23日（星期三）9：00至8月5日（星期二）17：30期間開(kāi)放，截止時(shí)間后系統(tǒng)自動(dòng)關(guān)閉。申報(bào)單位需在系統(tǒng)開(kāi)放期間完成本單位申報(bào)課題審核并統(tǒng)一提交，系統(tǒng)關(guān)閉后將不再受理。

四、咨詢(xún)服務(wù)

咨詢(xún)電話(huà)：章老師010-88827002、010-68619223

咨詢(xún)服務(wù)時(shí)間：9:00—11:30，13:30—18:00（工作日）

技術(shù)支持聯(lián)系電話(huà)：010-58858681、010-58858685、010-58858689、010-58858680

北京市科學(xué)技術(shù)委員會(huì)、中關(guān)村科技園區(qū)管理委員會(huì)

2025年7月23日