您的位置:首頁(yè) >新聞 > 財(cái)經(jīng)要聞 >

《自然》雜志:神經(jīng)技術(shù)的發(fā)展要優(yōu)先考慮四個(gè)方面的倫理

隨著神經(jīng)技術(shù)的快速發(fā)展,我們正走向另一個(gè)世界。在這個(gè)世界里,人們可以破譯人的心理過(guò)程,直接操縱他們的意圖、情感和作出決定等背后的大腦機(jī)制;在這個(gè)世界里,個(gè)人可以通過(guò)思維直接與他人交流;強(qiáng)大的計(jì)算系統(tǒng)直接與人的大腦相連,幫助他們更好地與世界互動(dòng),使他們的精神和身體機(jī)能得到極大的增強(qiáng)。這些進(jìn)步可能會(huì)徹底改變?cè)S多疾病的治療方法,并給人們帶來(lái)更好的體驗(yàn)。但也可能加劇社會(huì)不平等,為企業(yè)、黑客、政府或其他任何人提供利用和操縱他人的新方法?!蹲匀弧冯s志最近刊登了一篇文章,呈現(xiàn)出了學(xué)者們對(duì)這一未來(lái)場(chǎng)景的憂慮,針對(duì)這一現(xiàn)象,學(xué)者們提出了四點(diǎn)建議,希望能夠利用神經(jīng)技術(shù)來(lái)造福人類。文章由36氪編譯。

想象一下這樣的場(chǎng)景:

一個(gè)已經(jīng)癱瘓的人參加了一個(gè)腦機(jī)接口(BCI)的試驗(yàn)。他可以通過(guò)一臺(tái)與他大腦中經(jīng)過(guò)訓(xùn)練的芯片相連接的電腦,來(lái)解釋其大腦活動(dòng)所產(chǎn)生的神經(jīng)活動(dòng),并通過(guò)計(jì)算機(jī)生成指令來(lái)移動(dòng)機(jī)械臂。有一天,他對(duì)試驗(yàn)團(tuán)隊(duì)的成果感到非常沮喪。然后,當(dāng)他控制機(jī)械手臂從一個(gè)研究助理手中接過(guò)一個(gè)杯子時(shí),傷害了這個(gè)助手。為什么會(huì)這樣?是設(shè)備出現(xiàn)了故障?還是他自己的情緒也起到了一定的作用?

雖然場(chǎng)景是假設(shè)的,但它呈現(xiàn)出了社會(huì)可能會(huì)面臨的一些挑戰(zhàn)。

目前,腦機(jī)接口技術(shù)的研究主要集中在治療效果上,比如幫助脊髓損傷者等執(zhí)行相對(duì)簡(jiǎn)單的運(yùn)動(dòng)任務(wù)——移動(dòng)電腦光標(biāo)或控制電動(dòng)輪椅。此外,研究人員也已經(jīng)可以從功能磁共振成像掃描中來(lái)對(duì)一個(gè)人的神經(jīng)活動(dòng)進(jìn)行簡(jiǎn)單解讀——即他正在思考一個(gè)人,而不是一輛汽車。

腦機(jī)接口技術(shù)和其他神經(jīng)技術(shù)成為我們?nèi)粘I畹囊徊糠?,可能只需要?shù)年甚至幾十年。

但也可能加劇社會(huì)不平等,為企業(yè)、黑客、政府或其他任何人提供利用和操縱他人的新方法。同樣,它也可能會(huì)深刻地改變?nèi)祟惖囊恍┖诵奶卣鳎核饺说木裆?、個(gè)人的代理和對(duì)個(gè)人作為被其身體約束的實(shí)體的理解。

這些進(jìn)步可能會(huì)徹底改變?cè)S多疾病的治療方法,從腦損傷、癱瘓到癲癇和精神分裂癥,并給人們帶來(lái)更好的體驗(yàn)。

現(xiàn)在,考慮這項(xiàng)技術(shù)發(fā)展帶來(lái)的潛在后果是至關(guān)重要的。我們認(rèn)為,現(xiàn)有的道德準(zhǔn)則不足以應(yīng)對(duì)這樣的未來(lái),為了解決這一空缺的問(wèn)題,我們?cè)诖肆谐雠c以下四個(gè)方面有關(guān)的建議:

隱私和用戶協(xié)議;代理和身份驗(yàn)證;平等與制約;以及偏見(jiàn)。

不同的國(guó)家和不同宗教、不同種族和不同社會(huì)經(jīng)濟(jì)背景的人將會(huì)有不同的需求和不同的未來(lái)。因此,各國(guó)政府必須設(shè)立自己的審議機(jī)構(gòu),來(lái)決定如何將這些指導(dǎo)原則轉(zhuǎn)化為政策,包括具體的法律法規(guī)。

智能投資

一些投資者正押注于神經(jīng)科學(xué)和人工智能之間的相互作用。今年,包括 Kernel 和埃隆•馬斯克(Elon Musk)創(chuàng)辦的公司Neuralink在內(nèi)的全球十多家相關(guān)公司都在投資研發(fā)能夠“讀取”人類大腦活動(dòng)和“將神經(jīng)信息寫(xiě)入大腦”的設(shè)備。我們估計(jì),目前以營(yíng)利為目的的行業(yè)在神經(jīng)技術(shù)方面的支出已經(jīng)達(dá)到每年1億美元,而且還在快速增長(zhǎng)。來(lái)自其他行業(yè)的投資也相當(dāng)可觀。自2013年以來(lái),僅在美國(guó)的“大腦計(jì)劃”下,就有超過(guò)5億美元的聯(lián)邦資金投入到神經(jīng)技術(shù)的發(fā)展中。

當(dāng)前的能力已經(jīng)令人印象深刻。一位因肌萎縮側(cè)索硬化癥(ALS,也被稱為L(zhǎng)ou Gehrig或運(yùn)動(dòng)神經(jīng)元疾病)癱瘓的神經(jīng)科學(xué)家,借助腦機(jī)接口技術(shù)來(lái)運(yùn)行他的實(shí)驗(yàn)室,編寫(xiě)撥款申請(qǐng),并發(fā)送電子郵件。與此同時(shí),北卡羅來(lái)納州達(dá)勒姆杜克大學(xué)的研究人員發(fā)現(xiàn),三只植入電極的猴子可以構(gòu)成一個(gè)“大腦網(wǎng)”,協(xié)同工作。如果信號(hào)能通過(guò)互聯(lián)網(wǎng)無(wú)線傳輸,這些設(shè)備可以在數(shù)千公里范圍內(nèi)工作。

很快,這些粗糙的設(shè)備就能刺激和讀取幾十個(gè)神經(jīng)元的活動(dòng),這將會(huì)是一件意外的事情。今年早些時(shí)候,美國(guó)國(guó)防高級(jí)研究計(jì)劃局(DARPA)啟動(dòng)了一個(gè)名為“神經(jīng)工程系統(tǒng)設(shè)計(jì)”的項(xiàng)目。它的目標(biāo)是在4年內(nèi)開(kāi)發(fā)出一種無(wú)線的用于人類大腦的設(shè)備,并獲得美國(guó)食品和藥物管理局的批準(zhǔn),它能同時(shí)監(jiān)測(cè)100萬(wàn)個(gè)電極的大腦活動(dòng),并選擇性地刺激多達(dá)10萬(wàn)個(gè)神經(jīng)元。

與此同時(shí),谷歌、IBM、微軟、Facebook、蘋(píng)果以及眾多創(chuàng)業(yè)公司正在打造更加復(fù)雜的人工神經(jīng)網(wǎng)絡(luò),這些人工神經(jīng)網(wǎng)絡(luò)在具有明確輸入和輸出功能的任務(wù)上已經(jīng)超越了人類。

例如,去年,西雅圖華盛頓大學(xué)的研究人員證明,谷歌的FaceNet系統(tǒng)可以識(shí)別出一百萬(wàn)個(gè)人臉。今年8月,微軟宣布,在某些指標(biāo)中,其識(shí)別會(huì)話語(yǔ)音的神經(jīng)網(wǎng)絡(luò),與受過(guò)專業(yè)訓(xùn)練的專業(yè)人士的能力相媲美。利用腦電圖(EEG)數(shù)據(jù),德國(guó)弗萊堡大學(xué)的研究人員在7月展示了神經(jīng)網(wǎng)絡(luò)如何被用于解碼與規(guī)劃相關(guān)的大腦活動(dòng),從而控制機(jī)器人。

目前使用的人工神經(jīng)網(wǎng)絡(luò),受到了50多年前大腦回路模型的啟發(fā),這些模型建立在對(duì)單個(gè)神經(jīng)元進(jìn)行麻醉的記錄的基礎(chǔ)上。在今天的神經(jīng)科學(xué)實(shí)驗(yàn)室里,研究人員可以通過(guò)光學(xué)方法、計(jì)算、分子工程和微電子學(xué)的進(jìn)步,來(lái)監(jiān)測(cè)和操縱在醒著的動(dòng)物中成千上萬(wàn)個(gè)神經(jīng)元的活動(dòng)。

如果未來(lái)的神經(jīng)網(wǎng)絡(luò)如果能更好地理解真實(shí)的神經(jīng)網(wǎng)絡(luò),肯定會(huì)比這些例子更有說(shuō)服力。

我們已經(jīng)與我們的機(jī)器緊密相連。谷歌的研究人員今年計(jì)算出,普通用戶每年觸摸手機(jī)的次數(shù)接近一百萬(wàn)次(未發(fā)布的數(shù)據(jù))。人類的大腦控制著聽(tīng)覺(jué)和視覺(jué)系統(tǒng)來(lái)破譯聲音和圖像,并指揮四肢來(lái)控制和操縱我們的電子設(shè)備。然而,神經(jīng)技術(shù)和人工智能領(lǐng)域的發(fā)展融合將帶來(lái)質(zhì)的不同——即人們的大腦能繞過(guò)大腦和身體的正常運(yùn)動(dòng)功能,與機(jī)器智能的直接連接。

四個(gè)關(guān)注點(diǎn)

正在開(kāi)發(fā)相關(guān)設(shè)備的公司也必須對(duì)自己的產(chǎn)品負(fù)責(zé),遵循一定的標(biāo)準(zhǔn),做到最好,而且也要重視道德規(guī)范。

要想在普通消費(fèi)者市場(chǎng)上取得成功,這些神經(jīng)技術(shù)設(shè)備必須具備以下的這些特點(diǎn):1)非侵入性的,2)風(fēng)險(xiǎn)最小的,3)比當(dāng)前的神經(jīng)外科手術(shù)更便宜的。話雖這樣說(shuō),但即便是現(xiàn)在,

在這篇文章中,我們著重強(qiáng)調(diào)需要立即采取行動(dòng)的四個(gè)方面。盡管我們是在神經(jīng)技術(shù)的背景下提出這些問(wèn)題,但它們也適用于人工智能。

隱私和用戶協(xié)議

麻省理工學(xué)院的研究人員在2015年發(fā)現(xiàn),對(duì)人們的運(yùn)動(dòng)行為進(jìn)行精細(xì)分析,比如每個(gè)人在個(gè)人設(shè)備上的鍵盤輸入模式,可以作為診斷帕金森病的跡象。2017年的一項(xiàng)研究表明,移動(dòng)模式的測(cè)量方法,比如從那些在日常生活中攜帶智能手機(jī)的人中獲得的數(shù)據(jù),可以用來(lái)診斷引起老年癡呆癥的認(rèn)知障礙的早期跡象。

如果能利用神經(jīng)信息相關(guān)的數(shù)據(jù)——例如,與特定的注意力狀態(tài)相關(guān)的神經(jīng)元的活動(dòng)模式,并用于投放廣告、計(jì)算保險(xiǎn)費(fèi)或匹配潛在合作伙伴的算法中,將會(huì)使它們變得更強(qiáng)大。不過(guò),神經(jīng)設(shè)備一旦聯(lián)網(wǎng),則會(huì)給個(gè)人或組織(黑客、企業(yè)或政府機(jī)構(gòu))提供追蹤甚至操縱一個(gè)人的精神體驗(yàn)的可能性。

我們認(rèn)為,公民應(yīng)該有能力、也有權(quán)利保證他們的神經(jīng)數(shù)據(jù)隱私(參見(jiàn)“代理和身份驗(yàn)證”)。我們建議采取以下措施來(lái)確保這一點(diǎn)。

對(duì)于所有的神經(jīng)數(shù)據(jù),不予分享應(yīng)該是默認(rèn)的選擇,并會(huì)得到嚴(yán)格的保護(hù)。在諸如提供網(wǎng)頁(yè)瀏覽,社交媒體或娛樂(lè)的商業(yè)服務(wù)提供商面前,人們很容易就放棄了隱私權(quán),但他們并不完全理解這代表著什么。在神經(jīng)數(shù)據(jù)領(lǐng)域,這樣的做法是不可行的。個(gè)人需要對(duì)自己的數(shù)據(jù)有控制權(quán)。這需要各方力量的一起參與進(jìn)來(lái),制定一個(gè)關(guān)于誰(shuí)將使用這些數(shù)據(jù)、以什么目的使用,以及使用多長(zhǎng)時(shí)間等方面的許可程序。

為解決這一問(wèn)題,我們建議對(duì)神經(jīng)數(shù)據(jù)的銷售、商業(yè)變現(xiàn)和使用進(jìn)行嚴(yán)格監(jiān)管。

即使這樣,結(jié)合一些愿意分享的人的神經(jīng)數(shù)據(jù)和大量的非神經(jīng)數(shù)據(jù),也可以得出一些具有普遍性意義的結(jié)論,在那些不愿意分享的人身上依舊能成立。

另一種保護(hù)措施是限制神經(jīng)數(shù)據(jù)的集中化處理。

我們提倡使用分布式機(jī)器學(xué)習(xí)這樣的計(jì)算技術(shù)來(lái)保護(hù)用戶隱私。使用其他專門用來(lái)保護(hù)人們數(shù)據(jù)的技術(shù)也會(huì)有所幫助。例如,基于區(qū)塊鏈的技術(shù)可以讓數(shù)據(jù)被追蹤和審計(jì),而“智能合約”的存在也讓數(shù)據(jù)的使用變得透明化,從而不需要集中處理。最后,開(kāi)放的數(shù)據(jù)格式和開(kāi)源代碼也會(huì)產(chǎn)生相應(yīng)的幫助。

保護(hù)隱私:Federated Learning

當(dāng)科技公司使用機(jī)器學(xué)習(xí)技術(shù)來(lái)改進(jìn)他們的軟件時(shí),他們通常會(huì)在自己的服務(wù)器上收集用戶信息,以分析某一特定服務(wù)的使用情況,然后使用聚合數(shù)據(jù)對(duì)新算法進(jìn)行培訓(xùn)。谷歌的研究人員正在試驗(yàn)一種叫做Federated Learning的訓(xùn)練人工智能的方法。在這里,訓(xùn)練過(guò)程在每個(gè)用戶的設(shè)備上進(jìn)行,而不需要集中數(shù)據(jù):訓(xùn)練結(jié)果的數(shù)據(jù)(例如,“每周”可以用作形容詞和副詞的知識(shí))會(huì)被送回谷歌的服務(wù)器,但實(shí)際的電子郵件、文本等仍然保留在用戶自己的手機(jī)上。其他公司也在探索類似的想法。因此,改進(jìn)設(shè)計(jì)的信息系統(tǒng)可以用于增強(qiáng)用戶的個(gè)人數(shù)據(jù)所有權(quán)和隱私,同時(shí)還能在這些數(shù)據(jù)上進(jìn)行有價(jià)值的計(jì)算。

有些人通過(guò)在大腦中植入電極來(lái)進(jìn)行腦深部刺激,他們感到自己的身份和身份被改變了。

代理和身份驗(yàn)證 在2016年的一項(xiàng)研究中,一名曾用腦刺激器治療抑郁癥長(zhǎng)達(dá)7年之久的人在一個(gè)焦點(diǎn)小組中報(bào)告稱,他開(kāi)始懷疑自己與他人互動(dòng)的方式總是怪怪的。是設(shè)備造成的?還是抑郁?還是他內(nèi)心深處的一些東西?他說(shuō):“我不確定我是誰(shuí)。”

神經(jīng)技術(shù)可以明顯地?cái)_亂人們的自我認(rèn)同感和能動(dòng)性,這會(huì)動(dòng)搖人們自我本質(zhì)和個(gè)人責(zé)任的核心假設(shè)——不管是法律上的還是道德上的。

如果機(jī)器學(xué)習(xí)和腦機(jī)接口設(shè)備能夠更快地幫人在意圖和行動(dòng)之間進(jìn)行轉(zhuǎn)換,那么人們最終可能會(huì)以一種他們難以描述的方式來(lái)表現(xiàn)自己。也許,可能是通過(guò)一種類似于“自動(dòng)完成”或“自動(dòng)糾正”的功能來(lái)實(shí)現(xiàn)的。如果人們可以通過(guò)他們的思想在很遠(yuǎn)的地方控制設(shè)備,或者是如果幾個(gè)大腦被連接到一起工作,那么我們對(duì)自己是誰(shuí)以及我們?cè)谀睦镄袆?dòng)的理解就會(huì)被打亂。

隨著神經(jīng)技術(shù)的發(fā)展,政府和其他機(jī)構(gòu)開(kāi)始努力賦予人們新的能力,個(gè)人身份(我們的身體和精神的完整性)和代理(我們選擇行動(dòng)的能力)必須作為一種基本的人權(quán)被保護(hù)起來(lái)。

我們建議在1948年《世界人權(quán)宣言》等國(guó)際條約中加入保護(hù)這些權(quán)利的條款(“神經(jīng)系統(tǒng)”)。然而,這可能還不夠——國(guó)際聲明和法律只是國(guó)家之間的協(xié)議,甚至世界宣言也沒(méi)有法律約束力。因此,我們主張建立一項(xiàng)國(guó)際公約,以定義與神經(jīng)技術(shù)和機(jī)器智能相關(guān)的違禁行為,類似于2010年《保護(hù)所有人免遭強(qiáng)迫失蹤國(guó)際公約》所列的禁令??梢猿闪⒁粋€(gè)相關(guān)的聯(lián)合國(guó)工作小組審查簽署國(guó)的遵守情況,并在需要時(shí)建議發(fā)出制裁。

這樣的聲明還必須保護(hù)人們對(duì)神經(jīng)技術(shù)可能對(duì)認(rèn)知和情感影響知情權(quán)。目前,知情同意書(shū)通常只關(guān)注于手術(shù)的物理風(fēng)險(xiǎn),而沒(méi)有設(shè)備對(duì)情緒、個(gè)性或自我意識(shí)的可能影響。

平等與制約

隨著神經(jīng)技術(shù)的采用——那些能讓人們從根本上擴(kuò)大其耐力、感官或心智能力的技術(shù)——可能會(huì)改變社會(huì)規(guī)范,會(huì)引發(fā)一種新的公平感問(wèn)題,誰(shuí)能獲?。空l(shuí)不能獲?。磕切┠軌蛟鰪?qiáng)自身能力的人,會(huì)不會(huì)歧視那些沒(méi)有的人?這也很可能在會(huì)成為劃分社會(huì)階層的重要標(biāo)準(zhǔn)。

如果一些人的身體或大腦與其他大多數(shù)人的不同,會(huì)形成一種偏見(jiàn)。

此外也很容易能夠想到,這會(huì)引發(fā)新的軍備競(jìng)賽。近年來(lái),我們聽(tīng)到美國(guó)國(guó)防部高級(jí)研究計(jì)劃局和美國(guó)情報(bào)高級(jí)研究項(xiàng)目活動(dòng)的工作人員討論了為士兵和參謀人員提供增強(qiáng)心智能力的計(jì)劃(“超級(jí)智能代理”)。這些將用于作戰(zhàn)設(shè)置,并幫助更好地破譯數(shù)據(jù)流。

考慮到我們現(xiàn)在很難預(yù)測(cè)出來(lái)哪些方面的神經(jīng)技術(shù)會(huì)對(duì)人類生活產(chǎn)生負(fù)面影響,但國(guó)際和國(guó)家層面上需要制定指導(dǎo)方針,對(duì)可實(shí)施的增強(qiáng)神經(jīng)技術(shù)加以限制,并對(duì)可使用的環(huán)境進(jìn)行規(guī)范——就像對(duì)人類基因編輯所做的那樣。

在某些文化中,隱私和個(gè)性化可能會(huì)更受重視。因此,在尊重普遍權(quán)利和全球準(zhǔn)則的同時(shí),必須在特定的文化背景下作出監(jiān)管決定。此外,如果徹底禁止某些技術(shù)的話,可能只會(huì)把它們推到“地下”,因此制定具體法律和法規(guī)的努力,必須包括有組織的論壇,以進(jìn)行深入和公開(kāi)的辯論。

而且,這些努力應(yīng)該借鑒國(guó)際社會(huì)共識(shí)的許多先例,并將公眾意見(jiàn)納入國(guó)家層面的科學(xué)決策中。例如,第一次世界大戰(zhàn)后,1925年的一次會(huì)議促成了《日內(nèi)瓦公約》,該條約禁止使用化學(xué)武器和生物武器。同樣,在第二次世界大戰(zhàn)后,聯(lián)合國(guó)原子能委員會(huì)成立,目的是為了和平目的使用原子能,并控制核武器的擴(kuò)散。

特別是,我們建議對(duì)軍事用途的神經(jīng)技術(shù)進(jìn)行嚴(yán)格的監(jiān)管。出于顯而易見(jiàn)的原因,任何杜絕都應(yīng)該是全球性的,并由一個(gè)由聯(lián)合國(guó)牽頭的委員會(huì)發(fā)起。盡管這些努力可能無(wú)法解決所有的問(wèn)題,但它們能夠提供一種解決方式,發(fā)出聲音、公開(kāi)呼吁保持克制,并廣泛投入到技術(shù)的開(kāi)發(fā)和實(shí)施中。

偏見(jiàn)

當(dāng)基于特定階層的系統(tǒng)、結(jié)構(gòu)或社會(huì)概念和規(guī)范作出科學(xué)或技術(shù)決策時(shí),往往只是為自己階層的人群提供特權(quán),這會(huì)對(duì)其他群體造成傷害。2015年的一項(xiàng)研究發(fā)現(xiàn),谷歌廣告算法向女性用戶展示的職位招聘信息,比向男性展示的薪酬要低。同樣,ProPublica的一項(xiàng)調(diào)查顯示,去年美國(guó)執(zhí)法機(jī)構(gòu)使用的算法錯(cuò)誤地預(yù)測(cè),黑人被告比擁有類似犯罪記錄的白人被告更有可能再次犯罪。這種偏見(jiàn)可能會(huì)在神經(jīng)設(shè)備中出現(xiàn)。的確,研究過(guò)這類案例的研究人員已經(jīng)證明,想要用嚴(yán)謹(jǐn)?shù)臄?shù)學(xué)方式定義公平是非常困難的。

業(yè)界和學(xué)術(shù)界已經(jīng)開(kāi)始討論如何在技術(shù)上對(duì)抗偏見(jiàn)。從廣義上來(lái)說(shuō),這種正在進(jìn)行的公開(kāi)討論和辯論對(duì)于界定問(wèn)題偏見(jiàn)的定義,是正常的,是必要的。

我們提倡,在機(jī)器學(xué)習(xí)中對(duì)抗偏見(jiàn)要常態(tài)化。我們還建議,在進(jìn)行算法和設(shè)備設(shè)備的時(shí)候,要加大對(duì)小眾或者邊緣化的群體有所照顧,給予同樣的注意力。

建立負(fù)責(zé)任的神經(jīng)工程學(xué)

在這些建議中,有很多都是呼吁行業(yè)和學(xué)術(shù)研究人員承擔(dān)起相應(yīng)的責(zé)任。

但歷史表明,在企業(yè)界,追逐利潤(rùn)往往勝過(guò)社會(huì)責(zé)任。而且,即使在個(gè)人層面上,大多數(shù)技術(shù)專家本意是為人類造福,但他們通常會(huì)面臨復(fù)雜的道德困境。我們認(rèn)為,應(yīng)該對(duì)相關(guān)的從業(yè)人員進(jìn)行規(guī)范化的培訓(xùn),教導(dǎo)他們?nèi)绾胃钊氲厮伎既绾尾渴饘?duì)社會(huì)有建設(shè)性貢獻(xiàn)的策略,而不是對(duì)社會(huì)帶來(lái)負(fù)面影響。

這種方法和醫(yī)學(xué)領(lǐng)域的培訓(xùn)比較類似。醫(yī)學(xué)專業(yè)的學(xué)生被教導(dǎo)關(guān)于病人的保密、非傷害及他們的善行和正義的義務(wù),并要求他們遵循希波拉克的誓言來(lái)遵守最高的職業(yè)標(biāo)準(zhǔn)。

神經(jīng)技術(shù)的臨床和社會(huì)效益是巨大的。要收獲這些,我們必須采取必要的措施來(lái)引導(dǎo)它向一個(gè)好的方向發(fā)展。

最新動(dòng)態(tài)
相關(guān)文章
人生第一證可線上申領(lǐng) 辦理更自由實(shí)現(xiàn)...
小米手機(jī)銷量首超蘋(píng)果 晉升全球第二智...
衣二三宣布關(guān)閉服務(wù) 共享衣櫥行業(yè)生命...
鄭州花園路正在進(jìn)行升級(jí)改造 將為鄭州...
東方今典集團(tuán)與赤峰市簽訂合作協(xié)議 將...
內(nèi)蒙古赤峰市委書(shū)記孟憲東會(huì)見(jiàn)東方今典...