CPU「4コアあるから処理速いぞ！」　俺「じゃあ計算頼むぞー」ｶﾀｶﾀｯﾀｰﾝ　CPU「よし！」

2018年11月16日雑談, CPU

1: Socket774 2018/11/16(金) 15:11:11.885 ID:8mnRRsfV0 .net

CPU0（使用率100%）「うおおおぉぉぉぉぉ！！！」

CPU1「…」

CPU2「…」

CPU3「…」

舐めてんの？

『CPU「4コアあるから処理速いぞ！」　俺「じゃあ計算頼むぞー」ｶﾀｶﾀｯﾀｰﾝ　CPU「よし！」』へのコメント

名前:名無しの自作er 投稿日：2018/11/16(金) 20:57:57 ID：93e9819a6 返信

よくわからんが、そういう時はOSが勝手に25%x4にしちまうんじゃないのか
- 名前:名無しの自作er 投稿日：2018/11/16(金) 21:18:08 ID：bd00900af 返信
  
  してくれるわけ無いよ
  OSはそこまで万能じゃない
- 名前:名無しの自作er 投稿日：2018/11/16(金) 21:25:54 ID：bff2139c6 返信
  
  そうしてくれたら組む人は誰も苦労しない
- 名前:名無しの自作er 投稿日：2018/11/16(金) 21:29:47 ID：e8bcabd9c 返信
  
  そうじゃないからシングルコア信仰が強いのだ
- 名前:名無しの自作er 投稿日：2018/11/16(金) 22:37:37 ID：eff41c2ac 返信
  
  OSの機能は資源管理と資源割当
  資源割り当ててくれって要求がない限り割り当てないよ
- 名前:名無しの自作er 投稿日：2018/11/16(金) 23:22:26 ID：bf3ff2130 返信
  
  俺も主と同じ様に思ってたわ
  OSでなんとかなりそうだけど難しいのかね
  てかソフトで決めてもOS側が余裕あるかどうか解ってるんだからOSでやらんど駄目だと思うんだがなー、素人考えですまそ
  - 名前:名無しの自作er 投稿日：2018/11/20(火) 00:53:54 ID：24a758a6a 返信
    
    OSが計算をしてるわけじゃない。
    OSはあくまでソフトウェアとハードウェアの仲介。
    ソフトがコア２つ使うよって指令くれなきゃ、OSは勝手に出来ない。
    というかやったら、ソフトの構造無視した事になり、
    計算結果がはちゃめちゃになる。
- 名前:名無しの自作er 投稿日：2018/11/16(金) 23:30:45 ID：34525c928 返信
  
  砂場の水路じゃあるまいし
  指示してくれる作業員と行動できる経路ないと勝手にそんなことはできない
名前:名無しのAMDer＠Y市ASH区投稿日：2018/11/16(金) 21:04:55 ID：8205ff2cc 返信

NOXで8コア仮想コア割り振っても大半の処理が一コアに集中するの止めて。
- 名前:名無しの自作er 投稿日：2018/11/16(金) 21:22:49 ID：7829187f4 返信
  
  そっちのほうが省電力だからな
  - 名前:名無しのAMDer＠Y市ASH区投稿日：2018/11/16(金) 22:54:00 ID：8205ff2cc 返信
    
    スマホならそれでいいけど…
    まぁそれがAndroid(エミュ)の挙動だと言われればそれまでか
名前:名無しの自作er 投稿日：2018/11/16(金) 21:27:04 ID：389308108 返信

スループット重視！！！(アフィニティ手動指定して多重起動しながら)
- 名前:名無しの自作er 投稿日：2018/11/17(土) 14:41:08 ID：9d7b90fbf 返信
  
  windowsのプロセッサーグループ仕様はマジでくそ。
  スリッパ2は64スレッドだからぎりぎりセーフだけど、その次の世代のHEDTが64論理スレッドの壁を超えそうだからmicrosftには何とか対策してほしいもんだ。
名前:名無しの自作er 投稿日：2018/11/16(金) 21:28:11 ID：bd8c38307 返信

前の処理の結果を使って次の処理を行う様な直列的な処理はマルチCPUの恩恵には与れない。
前後関係が関係ない処理は並列で処理させる事が出来る。プログラマはこの様な処理をプログラムから見つけ出して並列化しなければならない。
もしくは、最初から並列化出来る設計でプログラム書き始めなければならない。

処理によって並列化し易いものとしづらいものがあるし、既存のプログラムを並列処理に対応させるのはとても手間のかかる作業になる。
- 名前:名無しの自作er 投稿日：2018/11/16(金) 22:08:24 ID：7829187f4 返信
  
  っつーか普通は直列でしか動かねーよ
  並列で動かせるほうが稀
名前:名無しの自作er 投稿日：2018/11/16(金) 21:49:26 ID：4a7dabcca 返信

Pythonならforの中をdefにしてPool作ってmapするだけだろ
3行書けば4コア使う
名前:名無しの自作er 投稿日：2018/11/16(金) 21:50:02 ID：ac5c11bbd 返信

無能な上司による仕事の割り振りって意味では社会の縮図なのかもしれん
- 名前:名無しの自作er 投稿日：2018/11/16(金) 21:56:01 ID：97dac08c7 返信
  
  無能な上司に言われたことだけをやるある意味有能な部下
  - 名前:名無しの自作er 投稿日：2018/11/16(金) 22:19:48 ID：6c9e89847 返信
    
    電気流しとけば無休で文句言わずに働くし
    一部の天才を除けば正確さにおいてあらゆる人間より優秀な部下やな
  - 名前:名無しの自作er 投稿日：2018/11/16(金) 22:22:50 ID：1198caf56 返信
    
    無能な上司に言われたことだけしかやらないある意味無能な部下
    - 名前:名無しの自作er 投稿日：2018/11/17(土) 16:14:40 ID：a17a2cb4f 返信
      
      でも言われたことを完璧にこなすなら有能では。
    - 名前:名無しの自作er 投稿日：2018/11/19(月) 08:25:10 ID：1515ac1d3 返信
      
      勝手なことやって不具合出したら責任とれんのか？
    - 名前:名無しの自作er 投稿日：2018/11/20(火) 02:47:43 ID：eeb859fda 返信
      
      GTX「わかったで！1+1=2.1や」
名前:名無しの自作er 投稿日：2018/11/16(金) 21:55:46 ID：3de758219 返信

そりゃあ第一から第四まで部署があっても命令する側がきちんと指示しないと動きようがないわ
名前:名無しの自作er 投稿日：2018/11/16(金) 22:06:59 ID：9b7d35c64 返信

物事は順序立てて進んでいくんだよ
名前:名無しの自作er 投稿日：2018/11/16(金) 22:11:08 ID：2a027d3fe 返信

コア数社会の縮図スレ定期
名前:名無しの自作er 投稿日：2018/11/16(金) 22:12:01 ID：c10d7e0ad 返信

マルチスレッドよりマルチプロセスでしょ
名前:名無しの自作er 投稿日：2018/11/16(金) 22:23:31 ID：5e469ae90 返信

詳しくいらないけど、
Pythonだとgilがあるから効果的な並列処理できるのか？
並行処理なら状態を持たない関数型言語でしょ
- 名前:名無しの自作er 投稿日：2018/11/17(土) 00:09:17 ID：b72ea9a5f 返信
  
  GILあるからスレッド並列は無理
  処理をそれなりの粒度で分けて書けば、マルチプロセスにはできるけど。pythonのレイヤで並列化書くならそっち
  あとは低レイヤに持っていけば基本何でもやりたい放題なので、本気で最適化するならcython+numpyにするか、いっそ最初からC/C++のwrapperにしちゃうか……って感じ
  関数型は、「関数」の粒度でマルチプロセッサで並列化してもオーバーヘッドに負けるので損って結論が出てる
  それより小さい粒度で並列化するとなるとSIMDだから関数型関係ないし、もっと大きい粒度で並列化するなら関数型じゃなくてもいいよねって
  - 名前:名無しの自作er 投稿日：2018/11/17(土) 05:56:36 ID：fba82a665 返信
    
    そんなことないだろと思って調べたけどmaltiprocessingのThreadPoolやPython3.2から追加されたconcurrent.futuresのThreadPoolExecutorはGIL問題は解決しててちゃんとパフォーマンスでるぞ
    - 名前:名無しの自作er 投稿日：2018/11/17(土) 06:36:04 ID：fba82a665 返信
      
      ちゃんと見たらGIL問題普通にあったわすまん。
      - 名前:名無しの自作er 投稿日：2018/11/17(土) 07:23:01 ID：fba82a665 返信
        
        と思ったらpython3.2以降は新GILに変わってパフォーマンス良くなったらしいから合ってるぽい
        ただpython自体遅いから更にパフォーマンス求めたかったらcython+numpyもしくはそれ以外の言語で書くの選択肢になるだろうね
        
        名前:名無しの自作er 投稿日：2018/11/17(土) 13:26:19 ID：12b1fa986
        
        最新のPython3.7でもGIL問題は解決してないし、正式に解決するというロードマップすらないよ。新GILはGILのパフォーマンス問題の一部を少し緩和するだけで、何の根本解決にもなってない。
        
        ThreadPoolExecutorをProcessPoolExecutorに差し替えることでGIL問題を回避することはできるけど、これは結局のところスレッド並列処理をプロセス並列処理に置き換えてるだけ。
        
        もしシステム開発の仕事をしてるなら、こういういい加減な知識と調べ方は周りに多大な迷惑をかけることになるので注意した方がいいよ。
        
        名前:名無しの自作er 投稿日：2018/11/17(土) 16:05:34 ID：fba82a665
        
        githubで確認したベンチマークだとThreadPoolExecutorもmultiprocessingのPoolと同等レベルのパフォーマンスはしっかり出てたからthread使い物にならんってわけではないよと言いたかったんや
        GIL問題に関してはそのとおりだわ噛み付いてすまんな、しっかり頭が働いているときに確認すべきだったわ
        
        名前:名無しの自作er 投稿日：2018/11/18(日) 01:23:57 ID：a2916b709
        
        パフォーマンスなんてシチュエーション次第なんで、ベンチで互角だったなら「シングルスレッドで処理したときの速度」と「並列化はしたけど余計なオーバーヘッドも増えたときの速度」がたまたま同じくらいだっただけじゃないすかね
    - 名前:名無しの自作er 投稿日：2018/11/17(土) 08:36:40 ID：bd5f6c2c8 返信
      
      バージョンは忘れたけどPython3の初期は確かに使い物にならなかった記憶がある
      joblibとか並列化のライブラリ使って十分高速化できたけど多少オーバーヘッドは気になった
- 名前:名無しの自作er 投稿日：2018/11/17(土) 18:07:24 ID：a74212c0b 返信
  
  並列してもクソ遅いPythonとか。。
  静的型付言語のせめて1/10は速度出てくれ
名前:名無しの自作er 投稿日：2018/11/16(金) 22:23:48 ID：6105abe13 返信

pythonならmultiprocessinがあるんだろうが…
それ以外ならディープラーニングフレームワークは普通の数値計算もそこそこできるからそっちのcpuバージョンを使え
numpyでも行けるかもしれないが
名前:名無しの自作er 投稿日：2018/11/16(金) 22:33:43 ID：909823c5f 返信

勘違いしやすいのだが、マルチコアの最大のメリットって「遅くなりにくい」ことだからな。
ループ処理でもループ内で処理が完結して他と依存関係がないなら、1ループごとに並列処理できるが、漸化式みたいに強い依存関係がある処理は結局シングルスレッドで処理するしかない。
(そこをマイクロコードレベルで並列化するのがCPU設計のキモではあるが)

ああ、プログラマならGNU make の -j オプションで並列コンパイルしてくれるから、巨大プロジェクトをビルドする時には多コアで良かったと実感するぞｗ
名前:あ投稿日：2018/11/16(金) 22:52:33 ID：1d8115499 返信

並列処理は職人芸。依存関係はコンパイラには判断できないのが理由。スレッド並列ともなると特に面倒。例えば呼び出されたルーチンがスレッド並列のプログラムから呼び出されているのかすらコンパイラには判断できない。
- 名前:名無しの自作er 投稿日：2018/11/17(土) 07:31:40 ID：bd5f6c2c8 返信
  
  今どきのプログラミング言語使ってみ
  子どもでも並列処理できるようになってるから
  
  Scalaなんてparって書くだけで並列化
  イミューダブルに作ってりゃ重い処理の大半は並列化できる
  どうしようもできない処理もたまにはあるけど
  - 名前:名無しの自作er 投稿日：2018/11/17(土) 12:29:12 ID：ffc4a19f4 返信
    
    そりゃABCの処理が全部完全に終わってからDを始めるみたいな単純なものだけだろ。
    ABは終わってるけどCは終わってない。でもABの結果だけでDの処理をやれるところまでやって、あとはCが終わるのを待って再開させるか、なんてことをやりだすと…。
    思うに人類が非同期処理を完全に制御できる日は永遠に来ない。
  - 名前:名無しの自作er 投稿日：2018/11/17(土) 12:33:13 ID：ffc4a19f4 返信
    
    ABCの処理が全部完全に終わってからDを始めるみたいな単純なものだけだろ？
    ABは終わってるけどCは終わってない。でもABの結果だけでDの処理をやれるところまでやって、あとはCが終わるのを待って再開させる、なんてことをやりだすと…。
    思うに人類が非同期処理を完全に制御できる日は永遠に来ない。
  - 名前:あ投稿日：2018/11/17(土) 14:29:59 ID：91084b501 返信
    
    職人芸と書いた理由はまさにそこだよ。スレッド並列は OpenMP でやる程度のことと同じことをどの言語もやっているに過ぎない。つまり最適化する場所をプログラマーが選択せねばならない。icc はループ最適化をかける際に SIMD に置き換えるということをやっているが、こんな単純な処理でさえ最適化で遅くなる場合がある。一般には CPU とメモリが遠過ぎるのでキャッシュ効率を考えないといけないし、それ故の職人芸。コンパイラは実行時のコールスタックを考慮しないので、スレッド並列が入れ子になっているかどうかすら判断できない。並列化する箇所を選んでくれるコンパイラやランタイム系が登場する未来は今のところ見えない。OpenMPI のプロセス並列の方が速い場合も多いし、スレッド並列は取扱いが難しい。
名前:名無しの自作er 投稿日：2018/11/16(金) 23:09:44 ID：1544b0049 返信

Asakusaでも使えばいいんじゃないですかね
1ノードの中で並列化するなら結構良いって聞いたけど
名前:名無しの自作er 投稿日：2018/11/16(金) 23:17:58 ID：31e22dbb1 返信

自動でスレッド分割してくれるコンパイラができるまでソフトの分割は余計に開発の金が･･･
かかるので技術革新が必要だな。コア数増やしたところで対応していないと全く早くないし。
シングルコアの性能に頼りっきりなのが問題。
- 名前:名無しの自作er 投稿日：2018/11/17(土) 00:15:31 ID：b72ea9a5f 返信
  
  ソフト開発にお金がかかった分だけ客からボれば良い
  それで売れなくなるソフトは、まあその程度の需要しかないなら遅かれ早かれ廃れ・・・
名前:名無しの自作er 投稿日：2018/11/16(金) 23:36:47 ID：876c22169 返信

それをやりたいなら、最初からスレッド分割して処理する関数やライブラリを使うしかない。
これは技術の問題じゃなくて、作る側の手法の問題だよ。
名前:名無しの自作er 投稿日：2018/11/16(金) 23:50:56 ID：05d1a1676 返信

シングルコアの頃って、マウスカーソルが動きにくくなるようなこと、ときどきなかったか？いま、あまりないよな。
- 名前:名無しの自作er 投稿日：2018/11/17(土) 02:42:58 ID：9169bcada 返信
  
  Windows標準ポインタの処理/管理はビデオカードによるハードウェア支援がかかっているので、ある意味最初からマルチCPU/GPU処理である。
  動きがおかしいのは凡そビデオカードドライバ側の不具合。
  ゲームソフトなどで標準外マウスカーソルを使用する場合は自前処理になり、この場合不具合が起きやすい。(Windows標準ポインタと二重表示されることもある)
  - 名前:名無しの自作er 投稿日：2018/11/20(火) 00:57:40 ID：24a758a6a 返信
    
    マルチコアならOSのUI処理と、
    ワーク中のソフトウェアの処理をコアを分けて処理するからだろ。
- 名前:名無しの自作er 投稿日：2018/11/17(土) 05:22:26 ID：8d61f5633 返信
  
  Pen4北森で動画エンコとか重い処理を走らせてるとカクつくことはあったな
  その後PhenomIIx4に変えたらほぼ無くなった
名前:名無しの自作er 投稿日：2018/11/17(土) 00:03:12 ID：0ab522ae0 返信

読ませるデータを４ファイルに分けて、それぞれ読み込むファイル名変えて同時に起動しろ
名前:名無しの自作er 投稿日：2018/11/17(土) 00:13:53 ID：b72ea9a5f 返信

素のpythonで一コア使い切って何秒も回り続けるようなもん書くなと言いたい
- 名前:名無しの自作er 投稿日：2018/11/17(土) 07:27:48 ID：bd5f6c2c8 返信
  
  機械学習周りじゃ当たり前のやり方だぞ
  どうしようもなくなりゃcython使ったり他の言語使うけど現実的な時間で収まるならコーディング時間節約の方が求められる
  
  どうせNNの学習とか挟めば何時間とか何日とかかかるから前段で多少時間かかっても気にならない
  - 名前:名無しの自作er 投稿日：2018/11/18(日) 01:30:15 ID：a2916b709 返信
    
    アカデミアで「この論文の手法とりあえず実装して動かさなきゃ」ってシチュエーションならあるかもしれないが、それでもnumpyに頼るだろ
    「for文回してるだけ」という言葉からはもっと悲惨な状況が想像される
名前:名無しの自作er 投稿日：2018/11/17(土) 00:17:38 ID：0c60487aa 返信

ちょっとくすっと来た
名前:名無しの自作er 投稿日：2018/11/17(土) 00:48:33 ID：fe8a928ae 返信

うちのCPUコア0だけが爆熱でOCできないんだけど
- 名前:名無しの自作er 投稿日：2018/11/17(土) 01:42:00 ID：57084d32b 返信
  
  あーあ、グリスにエア入ってるな。
  その部分だけ冷えないので、真下のコアはそういう事になる。
名前:名無しの自作er 投稿日：2018/11/17(土) 04:57:50 ID：f56bd7d36 返信

マルチコアが使われるソフトでも特定の処理だけマルチコアで
基本的な所はシングルコアとかよくあるよね
イラストソフトのブラシ描画とか筆のサイズによってシングルとマルチを切り替えたりでそういうのが多い
- 名前:名無しの自作er 投稿日：2018/11/17(土) 18:31:56 ID：f20259d11 返信
  
  UI系だけはマルチスレッドに出来ないので
  マルチスレッドに出来てもメモリリーク起こしやすくなるとか
  悲惨な事になるし
  地味にマルチスレッドでのUI系との強調動作は難しい
  - 名前:名無しの自作er 投稿日：2018/11/17(土) 23:02:58 ID：d55dff3f9 返信
    
    ちょっと古い話だが、BeOSのGUIフレームワークを調べてみると面白いと思うぞ。
名前:名無しの自作er 投稿日：2018/11/17(土) 10:12:36 ID：996d8abde 返信

既存のプログラムが勝手にマルチスレッドになるわけねーよ。なって困る場合もあるからな
名前:名無しの自作er 投稿日：2018/11/17(土) 10:47:18 ID：9c4967aa5 返信

アリの生態かな？
名前:名無しの自作er 投稿日：2018/11/17(土) 11:42:49 ID：000aa7152 返信

なんか用語ばかり並べて普段知ったかぶってるんだなｗ
初歩的な8bitPCのメモリマップから見直せよ
例えば、べき乗みたいに順序的に計算するものはマルチにする意味ない。向かない。
データの受け渡しの方が重荷になるだろう
受け取った計算結果を他コアに任せて別の計算させるならマルチの意味はある
- 名前:名無しの自作er 投稿日：2018/11/20(火) 01:01:27 ID：24a758a6a 返信
  
  それはあんたが大昔で止まってるからだろ。
  黙ってろよ
  - 名前:名無しの自作er 投稿日：2018/11/20(火) 07:03:14 ID：85546d7ec 返信
    
    ではマルチ化のべき乗を教えてもらおう
名前:名無しの自作er 投稿日：2018/11/17(土) 13:12:36 ID：b08ae92d6 返信

ちゃんとした言語で、ちゃんとした並列コード書けばいいのに…
名前:名無しの自作er 投稿日：2018/11/17(土) 15:10:36 ID：d55dff3f9 返信

ノイマン型コンピューターの呪いである。
名前:名無しの自作er 投稿日：2018/11/17(土) 19:05:45 ID：d53245206 返信

サーバOSのコンパイラならマルチスレッド処理するように最適化するけどな？仮想化してCPUの割り当て変更すればいいんじゃね？
名前:名無しの自作er 投稿日：2018/11/17(土) 19:45:52 ID：4140fd730 返信

そらCPU側も1の糞プログラムで、CPU全スレッド独占とかごめんだからなあ。
名前:名無しの自作er 投稿日：2018/11/17(土) 23:27:27 ID：b17230c12 返信

プロならある程度スレッド分散処理くらいできるだろうけどな
本気で作るとIntelに怒られるから、シングルスレッド～4スレッド対応までしか作らせてもらえない

16や32スレッド対応とか出てきたら、Ryzenやスレッドリッパーに鞍替えする奴が続出するから作らせない
名前:名無しの自作er 投稿日：2018/11/18(日) 01:56:48 ID：a2916b709 返信

ここのコメント欄、軽く10人は科学技術計算系のプログラマが住み着いてそう
ドン引き・・・
- 名前:名無しの自作er 投稿日：2018/11/20(火) 01:28:18 ID：01aee1b58 返信
  
  レベルの高いことなんて言ってない
  アマチュアが聞きかじった知識を並べてるだけ
名前:名無しの自作er 投稿日：2018/11/18(日) 15:24:27 ID：da3b81e4e 返信

1の場合は小手先のマルチスレッド化なんかより、設計を見直す方が優先だろ。そもそも長いループを使わないようにするとか、計算とIO待ちを混同してないかとか、負荷が高い計算はどこか間違った書き方をしてないかとか、不要な計算を条件分岐なくやらせてないかとか。あとは今やらなくていい処理をやってないかとか。そういう基本のとこがしっかりしてないとマルチスレッドもへったくれもないだろうな。
言語にかかわらず言えることだけど、本当にそのforが必要なのかどうかから考えた方がいいはず
名前:名無しの自作er 投稿日：2018/12/31(月) 14:47:43 ID：db53962b2 返信

マルチスレッドを生かすには粒度の荒い分割を要する(アムダールの法則)
歴史的経緯もあり既存アルゴリズムはシングルスレッド志向。
やってみればわかるが、逐次計算の依存性を解決し、並列計算に落とし込むのは骨が折れる。
マルチスレッド前提で設計しなおした方がきっとはやい。
ものにもよるが、並列計算で分割統治した結果をシングルスレッドで合一の必要あり。

『CPU「4コアあるから処理速いぞ！」 俺「じゃあ計算頼むぞー」ｶﾀｶﾀｯﾀｰﾝ CPU「よし！」』へのコメント

『CPU「4コアあるから処理速いぞ！」　俺「じゃあ計算頼むぞー」ｶﾀｶﾀｯﾀｰﾝ　CPU「よし！」』へのコメント